Terminal X Eval Agent: 투자 산출물을 54개 항목 기준표로 채점해 시니어 판단과 맞춘 평가 에이전트
OpenAI 고객 사례 · Terminal X (StartupHub.ai, OrcaRouter 인용 기사로 확인)
Terminal X는 투자사의 실사·메모 결과물을 54개 항목 기준표로 통과·실패 채점하는 평가 에이전트를 따로 두고 실패와 사람의 수정을 메모리로 쌓습니다. 500건에서 시니어 심사역 판정과 88.6% 일치했고 PE 고객사는 연 240만 달러를 아꼈다고 밝혔습니다(회사 자체 기준표 결과).
CIO·CTOAX 추진현업 리더
Where to Draw the Line: 전문가용 업무 도구에 채팅·화면·에이전트를 나눠 붙이는 기준
UX Collective · Patrick Neeman
B2B 제품에 일괄로 붙인 채팅창이 숙련자를 오히려 느리게 만들 수 있다는 글입니다. 반복 업무는 화면에 두고, 드문 질문은 채팅으로, 상시 감시는 Ambient Agent로 보내라는 배치 기준과 함께, 티켓 분석·검증 시간·fallback ratio로 판정하는 4주 계획을 붙였습니다.
PM·프로덕트CIO·CTO현업 리더
The Missing Infrastructure for AI Agents: 에이전트가 PDF·스캔·엑셀을 빠짐없이 읽게 하는 문서 계층
a16z Show · Adit Abraham(Reducto CEO), Jennifer Li(a16z)
누적 70억 쪽을 처리한 문서 파싱 기업 Reducto의 CEO가 프런티어 모델은 긴 추출에서 틀리기보다 조용히 빠뜨린다고 말합니다. 문서를 쪼개 읽고 에이전트가 검증 규칙으로 스스로 다시 보게 하는 구조, 그리고 우리 문서로 평가하는 방법과 4주 파일럿을 붙였습니다.
CIO·CTOAX 추진현업 리더
Forward Deployed Engineering: 시범을 운영까지 끌고 가서 다음 팀이 하루에 쓰게 만드는 법
OpenAI 블로그 · Colin Jarvis
OpenAI의 FDE 책임자 Colin Jarvis가 고객사 AI 도입에서 배운 것을 정리했습니다. 운영 기준 eval을 먼저 세우고, 사용 사례별 맞춤 코드를 공통 harness 위의 skill·plugin으로 바꾸면 첫 배포에 두 달 걸린 일이 다음 팀에는 하루에 넘어갑니다. 우리 조직의 시범 사업을 같은 구조로 돌리는 12주 일정과 판정 기준을 붙였습니다.
AX 추진CIO·CTOCEO