Terminal X Eval Agent: 투자 산출물을 54개 항목 기준표로 채점해 시니어 판단과 맞춘 평가 에이전트

Terminal X는 투자 메모를 쓰는 에이전트와 그 메모를 채점하는 에이전트를 나눴습니다. 채점은 그 회사가 정한 54개 항목 기준표로 하고 실패 하나하나를 다음 작업의 지시와 시험 문제로 돌립니다. 우리 조직에 옮기려면 모델보다 먼저 시니어가 실제로 쓰는 판단 기준을 항목으로 적고 과거 판정 수백 건을 정답지로 모아야 합니다.

요약

OpenAI는 2026년 10월 20일 고객 사례로 Terminal X를 소개했습니다. Terminal X는 사모펀드·크레딧 같은 투자 조직에 에이전트를 만들어 주는 회사입니다. 제품 이름은 Capital Memory(회사 고유의 판단 방식을 담는 기억 저장소)입니다. 데이터룸, 재무 모델, 투자 메모, 공시, 이메일, 투자위원회 이력을 색인해 그 회사가 소유하는 에이전트를 만듭니다. 이 사례의 중심은 생산 에이전트와 분리된 Eval Agent(평가 에이전트)입니다. Eval Agent는 생산 에이전트가 내놓은 결과물을 모두 54개 항목 기준표로 읽습니다. 항목마다 통과·실패와 한 줄 이유를 달고 실패한 항목에는 바른 출처를 붙입니다. 실패는 Memory로 저장되고 사람의 수정과 함께 새 작업 지시와 시험 케이스가 됩니다. 판단이 많은 단계에는 GPT-6.1 Sol을, 처리량이 많은 단계에는 GPT-6 Luna를 씁니다.

결과는 회사가 자체 기준표로 잰 숫자입니다. 시니어 심사역의 과거 판정 500건을 정답으로 놓고 비교하니 GPT-6.1 Sol 기반 Eval Agent는 88.6%가 일치했습니다. 같은 틀에서 차선 모델은 86.4%였습니다. 펀드 운용 원칙(mandate)에서 벗어난 추천은 약 25% 더 잡았고 질의당 비용은 비슷한 속도에서 약 30% 낮았습니다. 회사는 비용이 내려간 이유를 긴 맥락에서의 토큰 효율로 설명합니다. 같은 예산 안에서 투자 논리를 mandate와 최근 딜에 차례로 대조하고 불확실한 판정을 다시 돌릴 수 있었고 이 깊은 검토가 1차에서 통과된 딜을 잡아냈다고 합니다. 한 PE 고객사는 실사와 메모 업무 자동화로 연환산 240만 달러를 아꼈다고 밝혔습니다. 아래에서는 이 구조를 다섯 가지 메커니즘으로 나누고 같은 평가 에이전트를 우리 조직에서 6주 안에 시험하는 방법을 붙입니다.

핵심 메커니즘

Capital Memory: 회사의 판단 방식을 담는 기억 저장소

Capital Memory는 한 투자 조직이 어떻게 결정하는지를 에이전트가 읽을 수 있는 형태로 담아 둔 저장소입니다. 입력은 데이터룸, 모델, 메모, 공시, 이메일, 투자위원회 기록입니다. Terminal X의 엔지니어는 금융·투자 실무 출신이고 고객사마다 몇 주를 함께 보내며 문서로 남지 않은 판단 과정을 다시 짭니다. 예를 들어 크레딧 데스크가 차입자를 어떤 순서로 거르는지, 공동투자팀이 메모를 쓰기 전 어떤 자료를 먼저 끌어오는지를 적습니다. 출력은 그 회사 방식대로 일하는 에이전트이고 회사가 소유하며 온프레미스나 회사 자체 클라우드에 둡니다. 에이전트는 각 회사의 비공개 데이터룸 안에서 돌고 영어·한국어·일본어·중국어 자료를 처리합니다. 회사는 지금까지 고객사 Memory 1,700개를 만들었고 맞춤 워크플로 100만 건 이상을 돌렸다고 밝혔습니다.

언제 쓰나: 같은 종류의 판단(딜 심사, 신용 심사, 공급사 평가)을 소수의 시니어가 반복하고 그 기준이 문서보다 머릿속에 있을 때입니다. 판단 기준이 이미 규정집으로 완결된 업무라면 규칙 엔진이 더 싸고 단순합니다.

Eval Agent: 만드는 에이전트와 분리된 채점 에이전트

Eval Agent는 생산 에이전트와 다른 별도의 에이전트입니다. 생산 에이전트가 투자 메모나 실사 요약을 내면 Eval Agent가 그 결과물을 54개 항목에 하나씩 대어 봅니다. 항목은 숫자, 비교 기업(comps), 컨센서스 수치, 인용, 서사, 회사의 house view(투자에 대한 회사 공식 관점)와의 정합성을 다룹니다. 출력은 항목별 통과·실패, 한 줄 이유, 실패 항목의 바른 출처입니다. 점수를 매기는 대신 통과·실패로 가르기 때문에 사람이 결과를 읽고 바로 고칠 곳을 찾습니다. 54개 항목은 한 판정에 대한 54개 시험 케이스가 아니라 결과물 하나를 보는 54개의 관점입니다.

언제 쓰나: 결과물이 길고 틀리는 방식이 여러 갈래(숫자 오류, 출처 오류, 원칙 이탈)일 때입니다. 결과물이 한 줄 분류라면 정답 대조만으로 충분합니다.

작은 예시(가상): 제조사 구매팀의 공급사 평가 보고서에 “재무 수치가 최신 감사보고서와 같은가”, “비교 공급사 선정 이유가 적혀 있나”, “회사 구매 정책의 단일 소싱 금지 원칙과 맞나” 같은 항목을 둡니다.

Failure-to-Memory 고리: 실패가 지시와 시험 문제가 되는 구조

Eval Agent가 실패로 표시한 항목은 Memory로 저장됩니다. 시니어가 그 결과물을 고치면 수정 내용이 함께 남고 이 기록이 다음 작업에서 생산 에이전트가 따를 지시와 Eval Agent가 다시 볼 시험 케이스가 됩니다. 그래서 회사가 시스템을 고칠수록 기준표가 자랍니다. Memory는 데스크 단위로 버전이 관리됩니다. 같은 회사라도 바이아웃 데스크와 크레딧 데스크는 다른 Memory를 씁니다. 공동창업자 겸 CTO Ken Lee는 모든 답을 평가하고 수정이 그 회사의 일하는 방식을 가르친다는 취지로 설명했습니다. 그의 표현으로는 “corrections teach the system how that firm works”입니다.

언제 쓰나: 사람이 이미 결과물을 검토하고 고치는 업무입니다. 검토 기록이 남지 않는 업무라면 수정 이유를 남기는 양식부터 만들어야 고리가 돕니다.

Mandate Drift 검출과 깊은 검토: 원칙에서 벗어난 추천 잡기

Mandate drift는 추천이 펀드의 운용 원칙에서 조금씩 벗어나는 현상입니다. 기사에서 든 예는 NAV(순자산가치)보다 싸게 거래되는 상장사를 비공개화하는 바이아웃 펀드입니다. 시나리오 모델의 가정이 바뀌면 에이전트가 부실 채권 포지션이나 구조조정 자금 지원을 추천할 수 있는데, 그런 추천은 펀드 원칙 밖입니다. 숫자가 맞고 문장이 매끄러워도 원칙에서 벗어나면 실패입니다. 회사는 모델 사이 차이가 가장 크게 나는 오류가 이 이탈이라고 설명합니다. 이를 잡으려고 Eval Agent는 한 번 판정하고 끝내지 않습니다. 투자 논리를 펀드 mandate와 대조하고 다시 최근 딜과 대조하고 불확실한 판정은 다시 돌린 뒤 결과를 맞춰 보고합니다. 이 검토가 1차에서 통과된 딜을 걸러냈다고 회사는 밝혔습니다.

언제 쓰나: 결과물이 “틀렸다”보다 “우리 방식이 아니다”로 문제가 되는 업무입니다. 투자 외에도 브랜드 원칙, 구매 정책, 설계 기준처럼 회사 고유의 원칙이 있는 곳이면 같은 구조가 들어갑니다.

Model Routing: 판단 단계와 처리량 단계에 다른 모델 배치

Terminal X는 모든 단계에 같은 모델을 쓰지 않습니다. 긴 맥락에서 판단이 많은 단계, 곧 투자 논리 종합, 핵심 고려사항 정리, mandate 적합성 판단, Eval Agent에는 GPT-6.1 Sol을 씁니다. 토큰 효율이 더 중요한 대량 처리 단계에는 GPT-6 Luna를 씁니다. 공동창업자 겸 CEO Hyun Hong은 Sol의 긴 맥락 추론과 토큰 효율 덕분에 평가 파이프라인을 더 깊게 만들고 판단을 측정하고 감사할 수 있게 됐다는 취지로 말했습니다. 비싼 모델을 판단 단계에 몰아 쓰면서도 질의당 비용이 차선 모델보다 약 30% 낮았던 것은 같은 예산 안에서 여러 번 대조하는 검토를 넣을 수 있었기 때문이라고 회사는 설명합니다.

언제 쓰나: 한 워크플로 안에 문서 추출처럼 많고 단순한 단계와 원칙 판단처럼 적고 어려운 단계가 섞여 있을 때입니다.

통념과 다른 주장

저자가 든 사례

사례 1. PE 고객사의 실사·메모 자동화

구분	내용
상황	한 PE 운용사가 실사와 투자 메모 작성에 많은 사람 시간을 쓰고 있었습니다. 회사명은 원문에서 밝히지 않았습니다.
한 일	Terminal X 에이전트로 실사와 메모 워크플로를 자동화했습니다.
결과	연환산 240만 달러 절감(Terminal X 발표). 도입 기간은 원문에서 밝히지 않았습니다.
연결	Capital Memory와 Eval Agent가 실제 업무 비용으로 이어진 사례입니다.

사례 2. 바이아웃 펀드의 mandate drift

구분	내용
상황	NAV보다 싸게 거래되는 비공개화 후보를 찾는 바이아웃 펀드에서, 시나리오 모델의 가정이 바뀔 때 추천이 원칙 밖으로 움직일 수 있습니다.
한 일	Eval Agent가 추천을 mandate와 최근 딜에 대조하고 불확실한 판정을 다시 돌렸습니다.
결과	차선 모델보다 mandate 이탈을 약 25% 더 잡았고 1차에서 통과된 딜도 걸러냈습니다.
연결	Mandate Drift 검출과 깊은 검토 메커니즘의 사례입니다.

사례 3. 500건 시니어 판정 대조

구분	내용
상황	어느 모델을 평가 단계에 쓸지 골라야 했습니다.
한 일	같은 틀에서 시니어 심사역의 과거 판정 500건을 정답으로 놓고 모델별 일치율과 비용을 비교했습니다.
결과	GPT-6.1 Sol 88.6%, 차선 모델 86.4%. 질의당 비용 약 30% 낮음, 속도는 비슷. 차선 모델의 이름은 원문에서 밝히지 않았습니다.
연결	Model Routing의 근거가 된 측정입니다.

기술 디테일: 평가 에이전트를 직접 돌리려면

아래는 이 구조를 우리 데이터로 다시 만들 때 필요한 설계입니다. 필드명, 항목 수 배분, 설정값은 모두 가상 예시입니다.

기준표를 만들려면(Eval Agent) 항목 하나를 “통과면 무엇이 참인가”를 묻는 한 문장으로 씁니다. “숫자가 정확한가”처럼 넓게 쓰지 않고 “매출·EBITDA 수치가 데이터룸 최신 재무제표와 일치하는가”처럼 대조할 대상을 박아 둡니다. 원문의 여섯 영역(숫자, comps, 컨센서스, 인용, 서사, house view)을 묶음으로 두고 처음에는 묶음마다 510개, 합계 4060개에서 시작합니다. 항목마다 severity를 둬서 치명 항목 하나만 실패해도 결과물 전체를 반려하게 합니다.

{
  "output_id": "memo-2026-1043",
  "desk": "buyout",
  "rubric_version": "buyout-v12",
  "results": [
    {
      "criterion_id": "NUM-03",
      "group": "numbers",
      "severity": "critical",
      "verdict": "fail",
      "reason": "EBITDA 수치가 최신 감사 재무제표와 다름",
      "corrected_source": "dataroom/fin/2025_audited.pdf#p12",
      "confidence": 0.62
    }
  ],
  "needs_rerun": true
}

채점 호출을 묶으려면 결과물 하나에 54번 호출하지 않고 묶음 단위로 한 번씩 부릅니다. 결과물 원문과 대조 자료, 해당 묶음 항목을 넣고 위 스키마로만 답하게 구조화 출력을 고정합니다. temperature는 0으로 둡니다. confidence가 0.7 아래이거나 치명 항목이 실패한 경우만 같은 입력으로 2회 더 돌리고 셋 중 둘이 같은 판정을 최종으로 씁니다. 셋이 모두 갈리면 사람에게 넘깁니다. 원문의 “불확실한 판정은 다시 돌려 맞춘다”를 실제로 옮긴 방식입니다.

mandate 대조를 넣으려면(Mandate Drift) 펀드 운용 원칙을 자유 문장으로 두지 않고 허용·금지 목록으로 바꿉니다. 예를 들어 allowed_strategies: ["take_private"], excluded: ["distressed_credit", "rescue_financing"]처럼 씁니다. 최근 딜은 최근 12~24개월 투자위원회 승인 건을 검색 근거로 붙이고 판정 이유에 어느 딜과 비교했는지 ID를 남깁니다.

Memory 고리를 만들려면(Failure-to-Memory) 실패 하나와 사람 수정 하나를 한 레코드로 저장합니다. 필드는 memory_id, desk, criterion_id, bad_excerpt, human_fix, fix_reason, added_instruction, test_case_id, version입니다. added_instruction은 생산 에이전트의 지시문에, test_case_id는 Eval Agent의 회귀 시험셋에 들어갑니다. 지시문이 길어지면 데스크별로 최근 승인된 Memory만 검색해 넣습니다.

모델을 나누려면(Model Routing) 단계마다 “판단인가, 처리량인가”를 표시합니다. 문서 추출, 표 정리, 항목 분류는 하위 모델로, 투자 논리 종합과 mandate 판단, 치명 항목 채점은 상위 모델로 보냅니다. 처음 2주는 두 모델로 같은 300건을 돌려 항목별 일치율 차이를 보고 차이가 2%p 안인 단계만 하위 모델로 내립니다.

일치율을 재려면 시니어의 과거 판정 200~500건을 정답지로 씁니다. 원문도 500건을 썼습니다. 건 단위 일치율과 함께 항목 단위 혼동표를 봅니다. 특히 “시니어는 반려했는데 에이전트는 통과시킨” 건을 따로 셉니다. 이 수가 0에 가까워야 1차 검토를 맡길 수 있습니다. 비용은 재실행과 사람 검토 시간을 포함한 승인 건당 비용으로 잽니다. 호출마다 model, input_tokens, output_tokens, rerun_count, latency_ms, reviewer_minutes를 로그로 남기면 모델별 비용을 같은 기준으로 비교할 수 있습니다.

실패하는 경우와 대응 기준표 항목이 겹치면 같은 오류가 두 번 실패로 잡혀 점수가 왜곡됩니다. 항목마다 “다른 항목과 구분되는 이유” 칸을 둬서 정리합니다. 시니어끼리 판정이 갈리는 건은 정답지에서 빼고 따로 모읍니다. Memory가 쌓이며 지시가 서로 부딪히면 version으로 되돌립니다.

현업 실행 디테일: 누가, 언제, 무엇을

투자 메모가 아니더라도 “결과물을 시니어가 검토하고 고치는 업무”면 같은 틀로 6주 파일럿을 돌릴 수 있습니다. 아래는 신규 공급사 평가 보고서에 적용한다고 가정한 예시입니다.

역할	담당	하는 일
업무 스폰서	구매 본부장	대상 업무 선정, 최종 진행 판정
기준표 오너	시니어 바이어 1~2명	항목 작성, 과거 판정 정리, 갈리는 건 판정
검토자	실무 바이어 3~5명	파일럿 기간 결과물 수정, 수정 이유 기록
엔지니어	AX 추진팀 2명	채점 호출, Memory 저장소, 일치율 대시보드
통제 담당	내부통제·감사	판정 기록 보존, 사람 승인 지점 확인

시작 전 준비물은 지난 1~2년의 평가 보고서와 그 승인·반려 결과 300건, 시니어의 반려 사유 메모, 회사 구매 정책 문서, 현재 건당 검토 시간 기준값입니다.

주차	할 일	산출물
1주	시니어 인터뷰, 반려 사유를 항목으로 묶기	기준표 v1 (40~60개 항목)
2주	채점 호출과 출력 스키마 구축	항목별 판정 JSON
3~4주	과거 300건 채점, 시니어 판정과 대조	일치율 표, 놓친 반려 목록
5주	실무 바이어가 새 결과물 수정, Memory 저장	Memory 레코드, 시험 케이스
6주	판정 회의	확대·보류 결정

시니어 인터뷰 질문은 다음과 같습니다. 최근 반려한 보고서 세 건은 무엇이 문제였나? 숫자가 맞아도 반려하는 경우는 언제인가? 우리 회사라면 절대 하지 않는 거래나 선택은 무엇인가? 같은 보고서를 두고 동료와 판정이 갈린 적이 있다면 무엇 때문이었나? 이 답이 house view와 mandate 항목의 재료가 됩니다.

**진행 판정 기준(예시)**은 시니어 판정과 일치율 85% 이상, 치명 항목에서 시니어가 반려한 건을 통과시킨 경우 0건, 1차 검토 시간 30% 이상 단축입니다. 숫자는 우리 조직이 위험 수준에 맞게 정합니다. 셋을 넘으면 에이전트를 1차 검토자로 두고 사람은 실패 항목만 봅니다.

적용 순서는 정답지부터입니다. 과거 판정과 반려 사유가 남아 있는 업무를 먼저 고르면 기준표를 빨리 쓸 수 있고 일치율도 바로 잴 수 있습니다. 금융사의 여신 심사, 제조사의 공급사 평가와 설계 검토, 컨설팅의 보고서 품질 검토가 후보입니다. 처음부터 생산 에이전트를 바꾸려 하지 말고 지금 사람이 만드는 결과물에 Eval Agent만 먼저 붙이면, 기준표와 Memory가 쌓인 뒤 생산 단계를 자동화할 때 같은 기준으로 품질을 지킬 수 있습니다. 스폰서는 판정을 내리는 본부장이 맡아야 시니어의 시간을 확보할 수 있습니다.

원문 사례

항목	내용
출처	OpenAI 고객 사례 “Terminal X”, 2026년 10월 20일 (StartupHub.ai·OrcaRouter·AI Pricing Guru 인용 기사로 확인)
회사	Terminal X. 공동창업자 겸 CEO Hyun Hong, 공동창업자 겸 CTO Ken Lee
제품	Capital Memory. 데이터룸·모델·메모·공시·이메일·투자위원회 이력 색인, 회사 소유, 온프레미스 또는 자체 클라우드
평가 구조	생산 에이전트와 분리된 Eval Agent, 54개 항목 통과·실패, 한 줄 이유, 실패 항목의 바른 출처
학습	실패는 Memory로 저장, 새 작업 지시와 시험 케이스로. Memory는 데스크별 버전 관리
모델	GPT-6.1 Sol: 투자 논리 종합, 핵심 고려사항, mandate 적합성, 평가. GPT-6 Luna: 대량 처리
일치율	500건 시니어 판정 대비 88.6%, 차선 모델 86.4%
효율	mandate 이탈 탐지 약 25% 증가, 질의당 비용 약 30% 감소(속도 비슷)
고객 성과	PE 고객사 연환산 240만 달러 절감(실사·메모 자동화)
규모	고객사 Memory 1,700개, 맞춤 워크플로 100만 건 이상, 주간 활성 사용자가 월간의 81%
언어	영어, 한국어, 일본어, 중국어

핵심 개념

rubric

결과물을 볼 관점을 항목으로 적은 채점 기준표. 이 사례에서는 54개 항목.

mandate

펀드가 투자할 수 있는 대상과 방식을 정한 운용 원칙.

house view

시장과 자산에 대해 회사가 공식으로 취하는 관점.

comps

가치를 비교하려고 고른 비교 대상 기업.

NAV

순자산가치. 자산에서 부채를 뺀 값.

take-private

상장사를 사들여 비상장으로 바꾸는 거래.

rescue financing

자금난에 빠진 회사에 넣는 구조조정용 자금.

data room

딜 실사용 자료를 모아 둔 비공개 저장소.

내 메모

TODO: 내 생각 추가

원문: OpenAI, “Terminal X” 고객 사례(2026.10.20). openai.com 원문은 이번 작업에서 직접 열지 못해, 원문을 인용한 StartupHub.ai(“Terminal X hits 88.6% match on GPT-6.1 Sol”, 2026.10.21), OrcaRouter 블로그(Elias Hawthorne, 2026.10.21), AI Pricing Guru(2026.10.21) 기사로 내용을 확인했습니다. 수치는 모두 Terminal X가 자체 기준표로 잰 회사 발표입니다. 요약, 핵심 메커니즘의 원문 내용, 통념과 다른 주장, 사례, 원문 사례 표는 위 자료에 나온 사실을 AX Review가 다시 정리했고 기술·현업 디테일과 인포그래픽, 표, 예시는 새로 작성했습니다. 전체 내용은 원문에서 볼 수 있습니다.