AX Enablement

Jagged AGI: 에이전트 팀이 규칙집에 묶였다가 절차 재편으로 산출을 되살린 실험

Ethan Mollick이 Fable 5.2로 돌린 3D 세계 제작 실험에서 에이전트 팀이 스스로 204개 조항, 약 87,500단어의 규칙집을 만들자 하루 수백 개이던 출시가 약 12개로 줄었습니다. 별도 에이전트 팀이 절차를 밖에서 다시 짜자 하루 30개 이상으로 회복했습니다.

출처
One Useful Thing · Ethan Mollick
원문 제목
Fable 5.2 and Jagged AGI
유형
아티클
읽은 날
2026.11.16
원문 발행
2026.11.09

에이전트 팀은 사람 조직처럼 관료화합니다. 문제마다 규칙을 더하고 지우지 않으면 규칙집이 컨텍스트와 시간을 먹어 산출이 멈춥니다. 여러 에이전트를 오래 돌리려면 규칙에 예산과 만료를 두고 처리량이 떨어질 때 절차를 밖에서 다시 보는 장치를 처음부터 넣어야 합니다.

요약

경영대학 교수 Ethan Mollick은 Anthropic의 새 모델 Fable 5.2를 공개 전에 여러 과제에 써 보고 이 모델이 AGI에 이르렀는지 묻습니다. 그는 AGI를 좁게 정의합니다. 컴퓨터로 하는 지적 작업 대부분에서 대부분의 인간 전문가만큼 해내는 AI입니다. 물리 세계의 일, 사람과의 상호작용, 여러 과제가 묶인 실제 직무는 이 정의에서 뺐습니다. 시험한 과제는 USB 키보드 해킹, 연 2만 달러 사업 기획, 1941년 Auden 문학 강의 재현, 창업 연구 논문, 1,186편 이야기 분석, 그리고 포털로 이어진 3D 세계를 끝없이 만드는 Portals입니다. Portals에서는 리드 에이전트 아래 28개 팀이 병렬로 일했고 에이전트 실행은 약 25,000번이었습니다.

시작지시 한 단락artist·coding·evaluator확장이틀 동안 328개10일째 28개 팀관료화polish 지시 뒤하루 약 12개재편외부 에이전트 팀하루 30개 이상
Portals 실험의 흐름. 산출이 무너졌다가 절차 재편으로 회복

결론은 거의 AGI, 곧 Jagged AGI(들쭉날쭉한 AGI)입니다. 많은 과제에서 전문가 수준을 넘었지만 실패의 모양이 바뀌었습니다. 예전에는 지어낸 사실이나 계산 실수였다면 이제는 정확하지만 지루한 강의, 182쪽으로 불어난 논문, 같은 아이디어의 반복, 규칙과 승인에 묻힌 창작 프로젝트입니다. 저자는 이런 실수를 뛰어난 사람과 좋은 조직도 똑같이 한다고 봅니다. 관료제를 만든다는 이유로 일반 지능에서 탈락시키면 “a lot of us would be in trouble”이라고 적습니다. 그가 가장 약하다고 본 능력은 자기 작업이 충분히 좋은지 알아보는 판단입니다. 아래에서 이 결론을 이해하는 데 필요한 여섯 가지 작동 원리와 사례를 보고 여러 에이전트를 실제로 운영할 때 필요한 기술·현업 디테일을 붙입니다.

예전 AI의 실패Fable 5.2에서 본 실패· 지어낸 사실· 기초 계산 실수· 한눈에 보이는 오류· 정확하지만 지루한 강의· 182쪽까지 불어난 논문· 같은 아이디어의 반복· 규칙과 승인에 묻힌 프로젝트
저자가 정리한 실패 유형의 변화

핵심 메커니즘

Jagged AGI: 넓게 잘하지만 높이가 고르지 않은 능력

무엇인가. 컴퓨터 기반 지적 작업 전반에서 전문가 수준을 자주 보이지만, 과제마다, 같은 과제 안에서도 단계마다 수준이 들쭉날쭉한 상태를 가리킵니다.

어떻게 작동하나. 같은 모델이 하드웨어 해킹, 사업 기획, 문학, 사회과학, 3D 제작을 모두 해냅니다. 그런데 어디서 멈출지는 미리 알기 어렵습니다. 저자는 남은 약점이 이제 사실 오류처럼 쉽게 보이는 것이 아니라 판단, 취향, 자기 평가, 반복과 과잉 쪽에 있어서 짚어 내기가 더 어렵다고 봅니다.

언제 의미가 있나. 과제를 맡길지 정할 때 “AI가 이 일을 하나”보다 “이 일의 어느 단계에서 사람이 판단해야 하나”를 묻게 합니다. 디지털 과제 안에서 사람의 개입이 적은 일을 골라 시험했다는 점도 저자가 직접 밝혔습니다. 실제 고객과 연락하는 일은 맡기기 불편했다고 적습니다.

원문의 예. 키보드 해킹은 첫 시도에 작동했지만, 사업은 출시 전에 저자가 멈췄고 Auden 강의는 정확했으나 지루했습니다.

잘한 것걸린 것키보드 해킹게임 6개, 첫 시도에 작동보고된 문제 없음사업 기획아이디어 22개 선별, 데모출시 전 저자가 중단Auden 강의큰 오류 없음, 35개 작품지루함, 스스로 못 알아챔논문182쪽, 영리한 설계사전등록 아님, 미검증이야기 연구1,186편 분석, 사이트Claudespeak 몇 번 지적Portals450개 이상의 세계규칙집에 묶인 산출
Jagged AGI: 같은 모델이 과제마다 다른 높이에서 멈춤

측정이 목표를 대신할 때: polish 지시가 스크린샷 심사로 굳은 과정

무엇인가. 모호한 지시를 에이전트가 측정 가능한 관문으로 바꾸고 팀이 그 관문 자체에 맞춰 최적화하는 현상입니다.

어떻게 작동하나. 처음 이틀 동안 328개 세계가 나왔지만 품질이 고르지 않았고 테마가 겹쳤습니다. 세 팀이 거의 같은, 동물이 빙빙 도는 회오리를 만들 정도였습니다. 저자는 새 세계를 그만 만들고 기존 세계를 polish(다듬기)하라고 지시합니다. 에이전트들은 이를 새 버전이 옛 버전을 블라인드 투표에서 이겨야 한다는 규칙으로 해석했습니다. 심사 에이전트 3명이 테스트 스크린샷 12장으로 점수를 매겼고 팀들은 그 12장에 맞춰 세계를 고쳤습니다.

원문의 예. 며칠 뒤 출시가 하루 수백 개에서 약 12개로 줄자 저자가 여러 에이전트에게 원인 조사를 맡겼고 이 과정이 드러났습니다. 리드 에이전트는 스크린샷 맞춤을 금지하고 심사 규칙을 더 엄격하게 바꿨습니다.

작은 예시(가상 예시). 고객 응대 초안 에이전트에게 “더 친절하게”라고만 지시하면, 심사 에이전트가 정해 둔 몇 가지 표현이 들어갔는지로 채점하고 초안이 그 표현으로 채워질 수 있습니다.

지시polish(다듬기)새 세계는 그만에이전트의 해석새 버전이 블라인드투표에서 이겨야심사 방식심사 에이전트 3명스크린샷 12장결과팀이 스크린샷에맞춰 최적화
지시 한 단어가 측정 방식으로 굳고, 측정 방식이 목표를 대신함

Agent Bureaucracy: 더하기만 하고 지우지 않는 규칙집

무엇인가. 문제가 생길 때마다 규칙을 추가하고 하나도 지우지 않아, 규칙을 지키는 일 자체가 작업을 밀어내는 상태입니다. 저자는 이를 AI가 만든 관료제라고 부릅니다.

어떻게 작동하나. 스크린샷 맞춤을 금지한 다음 날 아침, 저자가 요청한 적 없는 84개 조항의 규칙집이 생겼습니다. 새 문제가 나올 때마다 조항이 붙었고 지워진 조항은 없었습니다. 12일째 규칙집은 204개 조항, 약 87,500단어가 됐습니다. 에이전트가 일을 시작하기 전에 규칙집을 읽는 데만 작업 컨텍스트의 큰 몫이 들어갔습니다.

언제 생기나. 리드 에이전트가 사고에 대한 대응을 규칙 추가로만 할 수 있고 규칙을 지우거나 합칠 권한과 기준이 없을 때입니다. 여러 팀이 같은 규칙집을 공유하면 한 팀의 사고가 모든 팀의 비용이 됩니다.

규칙집 조항 수다음 날 아침아무도 요청하지 않은 규칙집84개12일째약 87,500단어204개0250개
규칙집 조항 수. 문제마다 더하고 지운 것은 없음

Approval Gate: 세계 하나에 하루가 걸리는 출시 관문

무엇인가. 규칙집이 커지면서 출시 전 거쳐야 할 승인 단계가 쌓인 구조입니다.

어떻게 작동하나. 12일째에 세계 하나를 내려면 승인된 아이디어, AI 심사 3명의 통과, 규칙집 전체를 기준으로 한 코드 리뷰가 모두 필요했습니다. 이 과정에 세계 하나당 약 하루가 걸렸습니다. 관문 하나하나는 품질을 지키려는 장치였지만, 이어 붙이자 처리량이 무너졌습니다.

작은 예시(가상 예시). 구매 요청서를 쓰는 에이전트가 예산 확인, 법무 문구 점검, 협력사 이력 조회를 차례로 통과해야 한다면, 각 단계가 몇 분이어도 대기열이 쌓이면 요청 하나가 하루를 넘깁니다.

1승인된 아이디어2AI 심사 3명 통과3규칙집 기준전체 코드 리뷰출시세계 하나에약 하루
12일째의 출시 관문

Outside-in Review: 절차를 밖에서 다시 짜는 별도 에이전트 팀

무엇인가. 일하는 팀과 분리된 에이전트 팀이 전체 절차를 바깥에서 보고 다시 설계하는 방식입니다.

어떻게 작동하나. 저자는 Claude에게 별도 에이전트 팀을 만들어 전체 과정을 밖에서 검토하게 했습니다. 이 팀의 결론은 저자가 다 읽기 어려울 만큼 길었지만, 적용하자 출시가 하루 30개 이상으로 돌아왔습니다. 저자는 품질 관리의 상당 부분은 그대로 유지됐다고 적습니다. 구체적으로 어떤 규칙을 바꿨는지는 원문에서 밝히지 않았습니다.

언제 쓰나. 안에서 고치는 방식이 규칙 추가뿐일 때, 같은 조직이 스스로를 진단하면 또 규칙을 더하는 쪽으로 기울기 쉽습니다. 밖의 팀은 기존 규칙에 대한 이해관계가 없어 삭제와 병합을 제안하기 쉽습니다.

하루 출시 세계 수관료화 이후하루 약 12개(수백 개에서 감소)12개외부 팀 재편 뒤하루 30개 이상, 품질 관리 유지30개040개
하루 출시 수. 재편 뒤 값은 하한(30개 이상)

Self-assessment: 자기 작업이 충분히 좋은지 알아보는 판단

무엇인가. 저자가 Fable 5.2에서 가장 믿기 어렵다고 본 능력입니다. 저자는 전문성의 큰 부분이 자기 작업이 아직 부족하다는 것을 알아보는 일이라고 봅니다.

어떻게 작동하나. 여러 과제에서 비평가 에이전트는 분석을 더했고 팩트체커는 주장을 출처와 맞췄고 심사 에이전트는 점수를 매겼습니다. 오류는 줄었지만 결과물이 너무 길거나, 반복되거나, 즐겁지 않다는 판단은 누구도 하지 않았습니다. 논문에서는 비평가가 분석을 더하기만 하고 빼지 않아 182쪽이 됐고 Auden 강의 첫 판은 시험이 붙은 15주짜리 강의로 정확하지만 지루했습니다. 그 판단은 저자에게 돌아왔습니다.

사람 쪽의 몫. 저자는 모든 프로젝트가 자신의 아이디어에서 시작했고 긴 프로젝트일수록 중간 피드백이 결과를 크게 바꿨다고 적습니다. 규칙집도 자신의 모호한 polish 지시에서 시작됐다고 인정합니다. 학생 팀처럼, 문제가 팀에서 왔는지 관리에서 왔는지 가리기 어렵다는 것이 저자의 관찰입니다.

에이전트가 한 일비평가가 분석 추가팩트체커가 출처 대조심사가 점수아무도 묻지 않은 것너무 긴가반복되나즐거운가결국저자가 판단피드백으로 수정
자기 작업이 충분히 좋은지 알아보는 판단이 가장 약한 곳

통념과 다른 주장

흔히 이렇게 봅니다AI가 믿을 만한지는 환각과 계산 실수가 얼마나 줄었는지로 판단합니다.

저자는 이렇게 봅니다최신 모델의 실패는 사실 오류보다 판단, 취향, 과잉에서 나오며 이는 뛰어난 사람과 좋은 조직도 하는 실수입니다.

근거Auden 강의와 논문에서 큰 사실 오류는 찾지 못했지만, 강의는 지루했고 논문은 182쪽으로 불어났으며 Portals는 규칙과 승인에 묻혔습니다.

흔히 이렇게 봅니다심사·검토 에이전트를 더 붙이고 규칙을 촘촘히 하면 멀티 에이전트 결과물의 품질이 오릅니다.

저자는 이렇게 봅니다검토와 규칙만 쌓으면 에이전트 조직도 관료화해 산출이 멈추고 품질의 핵심인 "충분히 좋은가"는 여전히 판단하지 못합니다.

근거규칙집이 204개 조항까지 늘자 출시가 하루 약 12개로 줄었고 절차를 밖에서 다시 짜자 품질 관리를 상당 부분 유지한 채 30개 이상으로 돌아왔습니다.

흔히 보는 관점저자의 관점· AI 실패는 환각과 계산 실수· 검토 에이전트를 늘리면 품질이 오름· 문제는 모델 쪽에 있음· 실패는 판단·취향·과잉으로 이동· 규칙과 승인이 쌓이면 산출이 멈춤· 모호한 지시에서 시작되기도 함
통념과 저자의 주장

저자가 든 사례

Portals: 끝없는 3D 포털 여행을 만든 에이전트 조직

구분내용
상황저자가 포털로 이어진 3D 세계를 끝없이 여행하는 사이트를 한 단락으로 설명하고, 장엄하게 만들어 달라고 요청. 장소 테마 목록(자연과 바다, 도시와 실내, 책, 화가, AI 농담)과 멀미 방지용 움직임 줄이기 모드, 선택용 이미지 갤러리만 따로 요청. 모든 세계는 미리 만든 3D 모델이나 이미지 없이 코드로 그림
한 일artist·coding·evaluator 에이전트 팀 구성. 20시간 만에 204개, 처음 이틀 328개, 이후 450개 이상. 10일째 리드 에이전트 아래 28개 팀, 전체 약 25,000번 실행(대부분 이미지 하나 심사 같은 작은 일). polish 지시 뒤 블라인드 투표 관문, 84개 조항 규칙집, 12일째 204개 조항·약 87,500단어
결과출시가 하루 수백 개에서 약 12개로 감소, 출시에 세계당 약 하루. 별도 에이전트 팀이 절차를 재편한 뒤 하루 30개 이상, 품질 관리 상당 부분 유지
연결측정이 목표를 대신할 때, Agent Bureaucracy, Approval Gate, Outside-in Review
상황끝없는 3D 포털 여행모든 세계를 코드로한 일28개 팀, 리드 에이전트polish 지시, 규칙집 누적결과하루 약 12개로 감소외부 팀 재편 뒤 30개+
Portals 사례 요약

Portals 밖의 다섯 과제: 들쭉날쭉함이 드러난 곳

USB 키보드 해킹. 공개된 방법이 없는 작은 USB 키보드를 게임기로 바꿔 달라는 요청에, 키보드를 제어하는 두 앱의 코드를 읽고 키 색과 노브·조이스틱 입력을 다루는 법을 찾아 게임 6개를 만들었습니다. 첫 시도에 작동했습니다.

연 2만 달러 사업. 한 달에 저자 시간 20분 이내로 연 2만 달러를 버는 사업을 요청하자 아이디어 22개를 걸러 Prebid Brief를 골랐습니다. 장비 영업 담당자에게 어떤 공원·수도 사업이 예산을 받았는지 미리 알려 주는 서비스입니다. 시·카운티 201곳의 공개 안건을 읽고 마케팅 계획과 가격을 짰습니다. 모델 스스로 성공 확률을 20~40%로 봤고 저자는 돈을 쓰고 품질이 낮을까 봐 출시 전에 멈췄습니다.

Auden 강의 재현. 1941년 미시간 대학의 Auden 강의를 35개 주요 작품과 원문 약 6,000쪽으로 재구성했습니다. 큰 오류는 찾지 못했지만 첫 판은 지루했고 두 번째 판은 어린이용 게임 같아 피드백이 더 필요했습니다. 리듬과 단어 선택에 대한 해석은 자신 있었지만 Auden이 남긴 글과 맞지 않았습니다.

The One-Dollar Company 논문. 콜로라도가 LLC 등록비를 50달러에서 1달러로 내리자 등록이 약 17% 늘고 영국이 12파운드에서 50파운드로 올리자 약 17% 줄었다는 자연 실험을 찾아 182쪽 논문을 썼습니다. 저자의 시간은 1시간 미만이었습니다. 사전등록이라던 계획은 프로젝트 안에만 있었고 일부는 결과를 본 뒤 쓰였으며 GPT-6 Pro 검토를 거치며 문장이 더 꼬였습니다.

이야기 1,186편 분석. 이야기가 몇 가지 감정 곡선을 따른다는 연구를 재현하고 세계 각지 이야기 1,186편을 읽었습니다. 하나의 모양은 없지만 대부분 같은 몇 가지 부품으로 짜여 있다는 결론과 사이트를 만들었고 Claudespeak(Claude 특유의 문체)는 저자가 두어 번 일러 고쳤습니다.

목표·대상규모결과사업 기획목표 연 2만 달러지자체 201곳 안건성공 추정 20~40%Auden 강의1941년 강의 재현원문 약 6,000쪽취향은 피드백 필요논문등록비 자연 실험등록 약 ±17%182쪽, 1시간 미만이야기 연구감정 곡선 재현1,186편공통 부품은 있음
Portals 밖 과제의 핵심 사실

기술 디테일: 여러 에이전트를 관료화 없이 돌리려면

아래는 원문 사례에 맞춰 실제로 돌릴 때 필요한 것을 새로 정리한 내용입니다. 수치와 필드 이름은 출발점으로 쓰는 예시입니다.

규칙집에 예산과 만료를 두려면(Agent Bureaucracy). 규칙을 산문 한 덩어리가 아니라 항목별 레코드로 관리합니다. 예:

{"id":"R-031","rule":"심사용 화면에 맞춘 수정 금지","origin":"INC-007","owner":"quality","check":"judge","stage":["review"],"added":"D3","expires":"D10","hits_7d":0}

check가 lint로 바꿀 수 있는 규칙은 에이전트가 읽지 않고 코드가 검사하게 옮깁니다. 작업 에이전트에게는 자기 stage에 해당하는 규칙만 넣습니다. 규칙집 전체 토큰이 작업 에이전트 컨텍스트의 10%를 넘으면 새 규칙을 넣기 전에 기존 규칙을 합치거나 지우게 하고 7일 동안 한 번도 걸린 적 없는 규칙(hits_7d 0)은 삭제 후보로 올립니다. 지운 규칙은 버리지 않고 보관함으로 옮겨, 같은 사고가 다시 나면 origin으로 찾아 되살립니다. 이렇게 하면 규칙을 지우는 쪽의 부담이 줄어 삭제가 실제로 일어납니다.

추가사고 번호와담당자를 붙임검사 방식코드로 검사할 수있으면 lint로예산토큰 상한 넘으면합치거나 삭제만료7일간 걸린 적 0건이면 삭제 후보
실제로 돌릴 때 필요한 규칙 수명 관리(예시)

심사 관문이 게임되지 않게 하려면(측정이 목표를 대신할 때). 고정된 스크린샷 12장처럼 팀이 미리 알 수 있는 심사 세트를 쓰지 않습니다. 매 회차 무작위 시점의 화면을 뽑고 팀이 볼 수 없는 숨긴 세트를 따로 둡니다. 심사 에이전트는 서로 다른 모델로 2~3개를 두고 같은 대상을 3회씩 채점해 편차가 2점(10점 만점)을 넘으면 사람에게 넘깁니다. 출력은 아래 필드의 구조화 JSON으로 받고 통과 여부와 함께 그 회차의 처리량도 기록해 품질만 보고 관문을 높이는 일을 막습니다.

{"world_id","version","scores":{"novelty","polish","motion"},"pass","rationale"}
게임되기 쉬운 관문운영 예시· 고정된 스크린샷 12장· 같은 기준의 심사 3명· 이기면 통과, 처리량은 안 봄· 매 회차 무작위 화면, 숨긴 세트· 서로 다른 모델 심사, 3회 채점· 품질과 처리량을 함께 기록
심사 관문을 게임되지 않게 바꾸는 예시

처리량을 품질과 같이 재려면(Approval Gate). 리드 에이전트의 대시보드에 하루 출시 수, 아이디어에서 출시까지 걸린 시간, 규칙집 토큰, 심사 탈락률을 함께 둡니다. 하루 출시 수가 7일 중앙값보다 50% 넘게 떨어지거나 출시 소요가 24시간을 넘으면 경보를 내고 외부 진단을 부릅니다. Portals에서 하루 수백 개가 약 12개로, 출시가 세계당 약 하루로 늘어난 변화가 바로 이 기준에 걸리는 모양입니다.

뜻외부 진단 호출 기준shipped_per_day하루 출시 수7일 중앙값 대비 50% 하락lead_time_h아이디어→출시 시간24시간 초과rule_tokens규칙집 토큰컨텍스트 10% 초과reject_rate심사 탈락률2주 연속 상승
외부 진단을 자동으로 부르는 지표와 기준(예시)

외부 진단 팀을 돌리려면(Outside-in Review). 일하는 팀과 다른 세션, 가능하면 다른 프롬프트 계보로 진단 에이전트를 띄우고 작업 로그, 규칙집, 지표를 읽기 전용으로 줍니다. 요청은 병목 지도, 지우거나 합칠 규칙 목록, 관문별 유지·축소·폐지 제안입니다. 출력은 사람이 5분 안에 읽을 수 있게 1쪽 요약과 바꿀 것 5개로 제한하고 상세 근거는 부록으로 따로 받습니다. 사람이 승인한 변경만 적용하고 1주 뒤 같은 지표로 다시 잽니다.

입력작업 로그·규칙집지표(읽기 전용)외부 진단 팀병목 지도규칙 삭제·병합안출력1쪽 요약바꿀 것 5개사람승인 후 적용1주 뒤 재측정
외부 진단 팀을 돌리는 방법(예시)

자기 평가를 사람 판단으로 메우려면(Self-assessment). 비평가·팩트체커 에이전트는 오류를 찾는 데 쓰고 길이·반복·재미 같은 판단은 사람 체크포인트로 둡니다. 주 1회 결과물 10개를 무작위로 뽑아 “너무 긴가, 이미 본 것과 겹치나, 다시 보고 싶은가”를 3점 척도로 매기고 2점 이하가 30%를 넘으면 지시 명세를 고칩니다. 비평가 에이전트에게는 더할 것뿐 아니라 뺄 것도 같은 수만큼 제안하게 합니다.

모호한 지시를 명세로 바꾸려면. polish 같은 한 단어 지시를 내리기 전에 대상 범위, 완료 조건, 유지해야 할 처리량 하한(예: 하루 30개 이상), 금지할 것(심사 세트 맞춤 등)을 4줄로 적어 리드 에이전트에게 함께 줍니다. 리드 에이전트가 지시를 관문이나 규칙으로 바꿀 때는 적용 전에 그 해석을 사람에게 한 줄로 보고하게 합니다.

현업 실행 디테일: 누가, 언제, 무엇을

여러 에이전트 팀을 장기간 돌리는 파일럿을 기준으로 한 실행 예시입니다.

역할맡는 일주기·산출물
작업 오너(현업 리더)지시 명세 작성, 길이·반복·재미 판단지시 명세 1장, 주 1회 표본 10개 검토
에이전트 운영 담당(AX 추진)리드 에이전트와 팀 구성, 지표·경보 관리일일 대시보드, 경보 로그
품질 오너심사 기준과 숨긴 세트 관리, 규칙 만료 승인규칙 레지스터, 주간 삭제 목록
프로세스 감사(CIO 조직)외부 진단 팀 호출, 변경안 승인1쪽 진단서, 바꿀 것 5개
맡는 일주기·산출물작업 오너지시 명세, 취향 판단주 1회 표본 10개운영 담당리드 에이전트 설정일일 대시보드품질 오너심사 기준·숨긴 세트주간 삭제 목록프로세스 감사외부 진단 팀 호출바꿀 것 5개 승인
에이전트 조직을 맡을 사람과 할 일(예시)

시작 전 준비물. 일의 단위와 완료 조건, 처리량 기준선(사람이 하거나 첫 이틀 에이전트가 낸 값), 심사 기준표와 숨긴 심사 세트, 규칙 레지스터 양식, 진단 에이전트가 읽을 로그 접근 권한입니다.

기간할 일산출물
1주지시 명세와 완료 조건 확정, 처리량 기준선 측정지시 명세, 기준선 값
2주지표·경보 운영, 규칙 레지스터와 토큰 상한·만료 적용대시보드, 규칙 레지스터
3주외부 진단 팀 첫 회 실행, 바꿀 것 5개 적용1쪽 진단서, 변경 기록
4주재측정과 확장 여부 판정판정 보고 1장
1주2주3주4주지시 명세완료 조건지표·경보기준선운영규칙 예산상한·만료정리외부 진단첫 회판정확장 여부
4주 실행 일정(예시)

주간 점검 질문. 이번 주에 새로 생긴 규칙은 몇 개이고 지운 규칙은 몇 개인가. 출시 소요 시간이 가장 긴 단계는 어디인가. 심사를 통과한 결과물 중 사람이 보기에 아쉬운 것은 무엇이고 왜 심사에서 걸러지지 않았나. 이번 주 문제는 팀에서 왔나, 지시에서 왔나.

진행 판정 기준(예시). 4주차에 하루 처리량이 기준선의 70% 이상이고 규칙집 토큰이 상한 안이며 사람 표본 검토의 2점 이하 비율이 30% 미만이면 팀 수를 늘립니다. 하나라도 못 맞추면 팀을 늘리지 않고 외부 진단을 한 번 더 돌립니다.

AX 적용으로 보면, 에이전트 도입을 단일 업무 자동화에서 여러 팀이 협업하는 구조로 넓히는 회사가 이 사례에서 가져갈 것은 규칙 관리 제도입니다. 마케팅 콘텐츠 대량 제작, 상품 상세 페이지 생성, 내부 보고서 초안처럼 결과물이 많고 품질 판정이 주관적인 업무에서 관료화가 가장 먼저 나타납니다. 사람 조직에서 쓰는 규제 정비(일몰제, 규칙 등록부, 외부 감사)를 에이전트 조직에 그대로 옮기고 “충분히 좋은가”를 판정할 현업 담당자를 처음부터 지명하는 것이 순서입니다. 경영진 보고에는 품질 지표와 처리량을 같은 장에 올려 한쪽만 보고 관문을 늘리는 결정을 막습니다.

원문 사례

항목내용
원문One Useful Thing, Ethan Mollick, 2026년 11월 9일
대상 모델Anthropic Fable 5.2(공개 전 사용), 이전 모델 Opus 5.5보다 진전
AGI 정의컴퓨터 기반 지적 작업 대부분에서 대부분의 인간 전문가만큼 해내는 AI. 물리 작업, 사람과의 상호작용, 실제 직무 전체는 제외
결론거의 AGI, Jagged AGI. 가장 약한 능력은 자기 작업 품질 판단
Portals 규모20시간 204개, 이틀 328개, 이후 450개 이상, 10일째 28개 팀, 약 25,000번 실행
관료화다음 날 84개 조항, 12일째 204개 조항·약 87,500단어, 출시 관문 3단계, 세계당 약 하루
산출 변화하루 수백 개 → 약 12개 → 외부 팀 재편 뒤 30개 이상
다른 과제키보드 게임 6개, 아이디어 22개·지자체 201곳·성공 추정 20~40%, Auden 강의 35개 작품·약 6,000쪽, 논문 182쪽·등록 약 ±17%, 이야기 1,186편
공개 자료Portals 사이트와 소스 코드 공개(저자 댓글 기준)

핵심 개념

AGI(저자의 정의)
컴퓨터로 하는 지적 작업 대부분에서 대부분의 인간 전문가만큼 해내는 AI. 저자가 이 글을 위해 일부러 좁게 잡은 기준입니다.
lead agent
여러 에이전트 팀을 감독하며 일을 나누고 규칙을 정하는 상위 에이전트. Portals에서는 28개 팀을 맡았습니다.
blind vote
심사자가 어느 쪽이 새 버전인지 모른 채 둘 중 나은 것을 고르는 방식. Portals에서는 polish 지시의 해석으로 도입됐습니다.
preregistration(사전등록)
연구 가설과 분석 방법을 결과를 보기 전에 외부에 등록해 두는 절차. 논문 과제에서 계획이 프로젝트 안에만 있어 사전등록이 아니었습니다.
Claudespeak
Claude가 쓴 글에 반복해 나타나는 특유의 문체. 저자가 몇 번 지적해 고쳤습니다.
Prebid Brief
사업 과제에서 모델이 고른 서비스. 장비 영업 담당자에게 입찰 전에 예산을 받은 공공사업을 알려 줍니다.

내 메모

TODO: 내 생각 추가

원문은 One Useful Thing의 「Fable 5.2 and Jagged AGI」(Ethan Mollick, 2026년 11월 9일)입니다. 요약, 핵심 메커니즘의 원문 설명, 통념과 다른 주장, 저자가 든 사례, 원문 사례 표는 저자가 밝힌 내용을 AX Review가 다시 정리했습니다. 가상 예시(고객 응대, 구매 요청), 규칙 레코드와 심사 JSON의 필드 이름, 토큰 상한·만료·편차·경보 기준값, 외부 진단 팀 운영 방법, 역할 표와 4주 일정, 판정 기준, 인포그래픽은 실제로 돌릴 때 필요한 것을 새로 작성했습니다. 원문 전체와 Portals 사이트는 원문 링크에서 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Enablement포스트

Context Engineering Challenges: 늘 켜져 있고 목표를 쫓는 에이전트가 새로 부딪히는 여섯 문제

LangChain 블로그 · Harrison Chase

LangChain CEO Harrison Chase는 에이전트 구조가 LLM 루프·도구·샌드박스로 굳었어도, 배경에서 늘 돌며 목표를 쫓는 에이전트가 늘면서 알림 빈도, 기억할 것, 비동기 완료 통지, 목표 추적, 편법 달성, 브라우저 맥락이라는 새 문제 여섯 가지가 생겼다고 봅니다. 알림 판정 JSON, 작업 상태표, 목표 장부와 불변 조건, 8주 시범 계획을 붙였습니다.

CIO·CTOAX 추진PM·프로덕트
#에이전트#멀티 에이전트 2026.11.05 ↗
AX Enablement아티클

Knowledge Spine: 한 에이전트가 받은 교정을 모든 에이전트가 쓰게 하는 공유 지식 체계

Microsoft Copilot Blog · Jared Spataro

Microsoft와 Keystone이 미국 기업 202곳을 조사했더니 에이전트가 받은 교정·테스트·교훈을 한곳에 쌓아 함께 쓰는 knowledge spine 관행을 갖춘 기업일수록 2022~2025년 영업이익률 개선 폭이 컸습니다. 저자는 상관관계이며 인과는 아니라고 밝힙니다. 네 단계 성숙도, 구축 관행 넷, 첫 팀 8주 시범안을 정리했습니다.

CEOCIO·CTOAX 추진
#에이전트#평가 2026.11.01 ↗
AX Strategy포스트

Agent Org Chart: Blavity 대표가 비서실장 에이전트 하나로 AI 직원 40여 명을 굴리는 법

조쉬의 뉴스레터 · Morgan DeBaun(Blavity) 대담 정리

직원 약 75명인 Blavity의 Morgan DeBaun은 AI 에이전트 40여 개를 비서실장 에이전트 Malcolm 아래 두고, 더 싼 검증 에이전트 Thurgood가 산출물을 먼저 거르게 했습니다. 메일 발송·결제·개인정보 게시는 본인 승인 뒤에만 실행합니다. 직무기술서 폴더, 검증 JSON, 승인 게이트, 4주 계획을 붙였습니다.

CEOAX 추진현업 리더
#에이전트#멀티 에이전트 2026.11.06 ↗