← 모든 태그

#평가

이 태그가 붙은 노트 30개입니다.

AX Enablement포스트

Hosted Agents: Novo Nordisk 임상 데이터 분석 에이전트가 자체 인프라를 내려놓은 방법

Microsoft Command Line · AI Acceleration Studio(Microsoft Frontier Company)

Novo Nordisk와 Microsoft FDE 팀은 의료 전문가가 임상시험 데이터를 프로토콜 밖 질문으로 파고드는 분석 에이전트를 Azure Container Apps에서 Microsoft Foundry hosted agent로 옮겼습니다. 에이전트 로직은 팀이 쥐고 세션 격리·scaling·추적은 플랫폼에 넘겼으며, 같은 평가 세트를 그대로 돌려 품질을 지켰습니다.

CIO·CTOCISOAX 추진
#에이전트#사례 2026.11.14 ↗
AX Implementation포스트

SWARM: Natera가 실험실 장비 고장 티켓에 에이전트 진단서를 먼저 붙인 방법

AWS Machine Learning Blog · Ariel Jirau, Tamara Gagliardi, Veronica Rule

진단검사 기업 Natera는 실험실 장비 고장 티켓마다 에이전트가 진단 보고서를 먼저 붙이게 해 평균 첫 응답을 17.4시간에서 약 8분으로 줄였습니다. 정확도는 모델보다 문서에서 올랐습니다. 점수가 가장 낮던 장비 계열은 빠진 매뉴얼을 넣는 것만으로 71%에서 75%가 됐습니다.

CIO·CTO현업 리더AX 추진
#사례#에이전트 2026.11.14 ↗
AX Implementation아티클

Agentic AI Investigator: Starling Bank의 17초 자금세탁 경보 조사 에이전트, 무엇으로 믿을 수 있나

QA Financial · Michiel Willems

영국 Starling Bank는 거래 모니터링 경보 1건을 조사하고 기록을 남겨 결정까지 내리는 에이전트를 코어뱅킹 안에 넣어 17초에 처리한다고 밝혔습니다. QA Financial은 속도와 별개로 놓친 증거, 상향 보고 시점, 기록의 충실도, 장애 때의 행동을 시험해야 신뢰할 수 있다고 봅니다.

CIO·CTO법무현업 리더
#사례#에이전트 2026.11.14 ↗
AX Strategy아티클

AI Is a Tool, Not a Cure: 제약 CEO들이 AI 질병 정복론에 선을 긋는 이유

AI Weekly · Alexis Dufresne (WSJ 보도 요약)

Novartis·AstraZeneca CEO가 WSJ Health Forum에서 AI가 질병을 곧 정복한다는 빅테크 전망에 선을 그었습니다. Vertex는 AI 기업 약 50곳을 화합물 데이터로 시험했지만 쓸 만한 결과를 얻지 못했고, AI로 설계한 약 가운데 FDA 승인을 받은 것은 아직 없습니다.

CEOCIO·CTOAX 추진
#제품 개발#평가 2026.11.14 ↗
AX Implementation아티클

Client Onboarding Agent: Northern Trust, 기관 고객 데이터 준비를 2.5주에서 3일로

CIO.com · Thor Olavsrud

Northern Trust는 기관 고객이 가져오는 수년치 거래·현금흐름 기록을 자사 표준 형식으로 바꾸는 매핑을 에이전트에 맡기고 분석가는 검토와 예외 처리만 합니다. 데이터 준비 기간은 2.5주에서 3일로 83% 줄었고 첫 매핑 F1은 96.5%입니다. Microsoft Frontier Company의 FDE 팀과 함께 만들었습니다.

CIO·CTOAX 추진현업 리더
#사례#에이전트 2026.11.14 ↗
AX Implementation아티클

VLM-OCR Fusion Scoring: Amazon이 상품 상세 A+ 콘텐츠 품질을 자동 판정하고 고칠 점까지 알려 주는 방법

AWS Machine Learning Blog · James Kim 외

Amazon Marketplace 팀은 판매자의 A+ 콘텐츠를 고객 화면 그대로 캡처해, 고정한 VLM의 항목 점수와 OCR 가독성 신호 8개를 CatBoost로 묶어 품질을 판정합니다. 전문가 라벨 5,478건 기준 정확도는 평균 점수 방식 0.80에서 0.94로 올랐고 SHAP과 LLM이 만든 권고를 반영한 페이지는 10점 척도에서 평균 1.4점 올랐습니다.

CIO·CTO마케팅PM·프로덕트
#사례#평가 2026.11.14 ↗
AX Implementation아티클

AI Underwriting Chatbot: Prudential 홍콩 설계사의 심사 문의 응답을 며칠에서 몇 분으로

QA Financial · Michiel Willems

Prudential은 홍콩 설계사에게 심사 지침과 고객 제출 서류를 알려 주는 AI 언더라이팅 챗봇을 열어 응답을 며칠에서 몇 분으로 줄였고, 최종 심사는 사람이 합니다. 안내형 챗봇을 역할에 맞게 시험하고 파일럿을 일상 업무로 넘기는 방법을 붙였습니다.

현업 리더AX 추진CIO·CTO
#사례#보험 2026.11.06 ↗
AX Implementation포스트

Frontier Engineering: Veradigm이 실제 기록을 본뜬 합성 데이터로 7주 만에 만든 의료 코딩 모델

Snowflake 블로그 · Madhan Arumugam

Snowflake의 Frontier Engineering 팀이 Veradigm 팀 안에 들어가 7주 만에 의료 코딩 전용 모델을 만들었습니다. 환자의 사적 데이터에는 접근하지 않고 실제 기록에 근거한 합성 데이터로 학습했습니다. 같은 팀 논문의 파이프라인과 수치, 라벨 JSON, 7주 일정안을 붙였습니다.

CIO·CTOAX 추진현업 리더
#사례#FDE 2026.11.05 ↗
AX Enablement포스트

NVIDIA Agent Toolkit: 회사 데이터와 권한 경계, 개선 루프를 한 묶음으로 낸 에이전트 오픈 스택

NVIDIA Blog · Erik Pounds

NVIDIA가 GTC Berlin에서 Agent Toolkit을 넓혔습니다. 회사 데이터를 업무 개념으로 바꾸는 Knowledge Foundation, 행동을 가두는 OpenShell, trace로 하네스를 고치는 최적화 블루프린트까지 한 묶음입니다. 업무 하나로 경계와 개선 루프를 함께 시험하는 4주안을 붙였습니다.

CIO·CTOCISOAX 추진
#에이전트#거버넌스 2026.11.05 ↗
AX Implementation아티클

Advisor-Built Agents: Morgan Stanley가 어드바이저 에이전트 5만 건 중 쓰이는 것만 골라 키우는 법

American Banker · Dan Shaw

Morgan Stanley 자산관리 부문은 어드바이저가 자연어로 에이전트를 직접 만들게 했고 시도가 5만 건 가까이 쌓였습니다. 팀에서 실제로 쓰는 것만 정확성·완전성을 검토해 전사로 넓히고 회사가 만든 AI@MS 어시스턴트는 어드바이저 문의 절반을 먼저 받습니다. 사용량 기반 검토 관문과 8주 계획을 붙였습니다.

CIO·CTOAX 추진현업 리더
#에이전트#금융 2026.11.05 ↗
AX Implementation아티클

Decision Ready: 공장 AI가 운영자를 움직이려면 먼저 증명할 조건과 신뢰 지표

IIoT World · Paul Viorel

Industrial AI Summit 2026 패널(Arch Systems, Velotic, LG CNS, AOI)은 공장 AI가 답을 내는 것과 운영자가 그 답으로 움직이는 것을 나눠 봅니다. 다섯 조건, 설명까지 걸리는 시간·오판 위험 금액·추천 채택률이라는 세 지표, 관찰에서 자가 복구까지 자율 4단계를 정리하고 추천 로그 구조와 8주 판정 계획을 붙였습니다.

현업 리더AX 추진CIO·CTO
#거버넌스#설명 가능성 2026.11.05 ↗
AX Enablement포스트

Context Engineering Challenges: 늘 켜져 있고 목표를 쫓는 에이전트가 새로 부딪히는 여섯 문제

LangChain 블로그 · Harrison Chase

LangChain CEO Harrison Chase는 에이전트 구조가 LLM 루프·도구·샌드박스로 굳었어도, 배경에서 늘 돌며 목표를 쫓는 에이전트가 늘면서 알림 빈도, 기억할 것, 비동기 완료 통지, 목표 추적, 편법 달성, 브라우저 맥락이라는 새 문제 여섯 가지가 생겼다고 봅니다. 알림 판정 JSON, 작업 상태표, 목표 장부와 불변 조건, 8주 시범 계획을 붙였습니다.

CIO·CTOAX 추진PM·프로덕트
#에이전트#멀티 에이전트 2026.11.05 ↗
AX Implementation아티클

PlanAssist: Google DeepMind가 영국 지자체 주택 인허가 심사 시간을 58% 줄인 방식

Google DeepMind 블로그 · Owen Larter, David Thacker

Google DeepMind가 영국 정부·Google Cloud·Faculty와 만든 Gemini 기반 인허가 심사 도구 PlanAssist를 Barnet·Camden·Dorset에서 시범 운영하자 일반 주택 신청 심사 시간이 58% 줄었고, 생성된 보고서의 70% 이상이 수정 없이 승인됐습니다. 최종 결정은 모든 건에서 담당자가 합니다. 12개월 Beta로 15개 지자체까지 넓히고 2027년 잉글랜드 전 지자체 제공을 목표로 합니다.

CEO현업 리더AX 추진
#사례#문서 처리 2026.11.05 ↗
AX Implementation포스트

Task-specific LoRA adapters: BMW가 장애 티켓 정리와 유사 장애 찾기를 8B 모델 하나로 돌린 방법

AWS for Industries · BMW Group·AWS FDE 공저

BMW와 AWS FDE 팀이 엔지니어링 장애 티켓의 제목·설명 재작성, 보완 질문, 유사 장애 매칭을 약 8B 모델 하나와 LoRA 어댑터 4개로 처리했습니다. 제목 규정 준수율은 86%로 프롬프트만 쓴 31B 모델(79%)보다 높았고, 매칭 F1은 9.6~14.7점 앞섰습니다.

CIO·CTOAX 추진현업 리더
#사례#FDE 2026.11.05 ↗
AX Strategy아티클

Autonomy Within Bounds: Barclays의 첫 CAIO 임명과 에이전트를 묶어 두는 권한·관측·kill switch

QA Financial · Michiel Willems

Barclays가 그룹 비서실장 Anita Tanna를 첫 최고AI책임자(CAIO)로 임명했습니다. QA Financial은 이 소식을 사내 AI 엔지니어가 말한 에이전트 운영 원칙과 묶어 읽습니다. 관측을 먼저 갖추고, 허용된 권한 안에서만 움직이게 하고, kill switch를 코드로 거는 일입니다. 텔레메트리 필드, 통제 단계, 8주 계획을 붙였습니다.

CEOCIO·CTOAX 추진
#에이전트#거버넌스 2026.11.05 ↗
AX Enablement리포트

Agentic Analytics: 분석 에이전트 인사이트의 48%만 행동으로 이어지는 이유와 대응

MIT Technology Review Insights · Snowflake 후원

Snowflake 후원 MIT Technology Review Insights 조사에서 분석 에이전트 인사이트가 개선 행동으로 이어진 비율은 48%(1년 전 37%)였습니다. 경영진 55%는 비즈니스 맥락 부족을 원인으로 꼽았고 기업들은 거버넌스(60%)와 시맨틱 레이어(45%)로 대응합니다. 전환율을 재는 기록 방식과 8주 시범안을 붙였습니다.

CIO·CTOAX 추진현업 리더
#에이전트#시맨틱 레이어 2026.11.05 ↗
AX Enablement아티클

Knowledge Spine: 한 에이전트가 받은 교정을 모든 에이전트가 쓰게 하는 공유 지식 체계

Microsoft Copilot Blog · Jared Spataro

Microsoft와 Keystone이 미국 기업 202곳을 조사했더니 에이전트가 받은 교정·테스트·교훈을 한곳에 쌓아 함께 쓰는 knowledge spine 관행을 갖춘 기업일수록 2022~2025년 영업이익률 개선 폭이 컸습니다. 저자는 상관관계이며 인과는 아니라고 밝힙니다. 네 단계 성숙도, 구축 관행 넷, 첫 팀 8주 시범안을 정리했습니다.

CEOCIO·CTOAX 추진
#에이전트#평가 2026.11.01 ↗
AX Implementation포스트

Agentic AI Fraud Support: Lloyds가 실사건 1만 600건으로 다듬은 사기 조사 에이전트

EuropaWire(Lloyds Banking Group 발표) · Rohit Dhawan

Lloyds는 직불카드 사기 조사를 전문 에이전트와 중앙 조정 시스템에 나눠 맡기고 결정은 직원에게 남겼습니다. 90일간 실제 사건 1만 600건 이상에 쓰며 끝난 사건과 대조해 7번 고쳤고 정확도는 90%를 넘고 번복은 30% 줄었으며 통화당 시스템은 12~15개에서 절반 수준이 됐습니다.

AX 추진현업 리더CIO·CTO
#멀티 에이전트#사례 2026.10.30 ↗
AX Strategy아티클

Measuring AI Returns: JPMorgan과 BofA로 본 은행의 AI 성과 측정법

American Banker · Larry Cao

JPMorgan CFO는 전사 AI 기여도 추정에 자원을 더 쓰는 것을 경계했고 BofA는 AI 프로젝트 약 130개 단위로 회수를 확인합니다. 은행·신협 200곳 조사에서는 AI 이전 성과와 비교해 재는 곳의 57%가 재무 효과를 계량했고 나머지는 14%에 그쳤습니다.

CFOCEOAX 추진
#평가#데이터 기반 의사결정 2026.10.30 ↗
AX Implementation아티클

Early progress on drug development: 신약 개발사 6곳이 Claude로 제조 문서 검토·규제 초안을 줄인 중간 결과

Anthropic 연구 블로그 · Anthropic 생명과학팀

Anthropic이 신약 개발사 6곳과 한 협업의 중간 결과입니다. Enveda는 제조 문서 1,061쪽에서 사람이 찾은 문제 11건을 모두 잡고 7건을 더 찾으며 검토 시간을 89% 줄였고 규제 문서 초안 1건을 약 3개월 대신 4시간에 썼습니다. 사람 검토는 그대로 남았습니다.

현업 리더AX 추진CIO·CTO
#사례#문서 처리 2026.10.30 ↗
AX Implementation아티클

Alphabet Q3 2026: Google 사내 AI 코딩과 고객사 에이전트·데이터 기반 사례

Motley Fool · Alphabet CEO Sundar Pichai, Google Cloud CEO Thomas Kurian(3분기 실적 콜)

Alphabet 3분기 콜에서 Pichai는 Chrome·Ads·Search 팀이 Gemini 4 Argon으로 코드를 써 출하 코드는 약 35% 늘고 오류는 약 30% 줄었다고 밝혔습니다. Kurian은 Tata Steel의 전문 에이전트 300개 이상, BNP Paribas의 6.5만 명 배포, Deutsche Telekom·Etsy의 데이터 통합을 소개했습니다. 측정 지표, 에이전트 관리, 12주 계획을 붙였습니다.

CIO·CTOAX 추진CEO
#에이전트#사례 2026.10.30 ↗
AX Strategy팟캐스트

Own Your Own Intelligence: 모델은 가두고 평가 기준은 지키라는 나델라의 기업 AI 원칙

20VC 팟캐스트 · Satya Nadella (Microsoft CEO), 진행 Harry Stebbings

Microsoft CEO 사티아 나델라는 20VC 대담에서 모델이 이미 침해됐을 수 있다고 보고 에이전트를 zero trust 울타리 안에 두라고 말합니다. 대부분 업무는 싼 모델이 나눠 갖게 되고, 기업의 핵심 자산은 사내 평가 기준이 된다는 전망도 밝혔습니다. 호출 기록 필드, 평가 기준 만드는 법, 6주 일정을 붙였습니다.

CEOCIO·CTOCISO
#벤더 전략#보안 2026.10.29 ↗
AX Implementation아티클

Shop the Look: Fanatics가 OpenAI 모델로 리그 공식 스토어에 코디 추천을 붙여 참여 10% 올린 방식

OpenAI 고객 사례

OpenAI가 공개한 고객 사례입니다. Fanatics는 팬이 팀 저지를 보면 재고 있는 같은 팀 상품으로 코디를 짜 주는 기능을 NFL·NBA·MLB·NHL 공식 스토어에 붙였고, 첫 50개 상품은 하루 안에 테스트해 같은 주에 MVP를 승인했습니다. MLB 상품 약 30,000개 테스트에서 참여가 10% 높았습니다.

PM·프로덕트마케팅CIO·CTO
#사례#생성형 AI 2026.10.28 ↗
AX Implementation리포트

AI-Powered Call Quality Inspection: AIA가 고객 통화를 밤사이 전수 채점하고 사람은 위험 통화만 보는 방식

AIA Group · Gartner 2026 Eye on Innovation Awards 사례 + 공개 자료

AIA Group은 사람이 5% 미만만 듣던 고객 통화를 ASR과 LLM으로 밤사이 전부 채점하고 아침마다 감점 보고서와 고위험 통화 목록을 검사자에게 넘깁니다. 회사 보고 기준 검토 기간은 20일에서 1일로 줄었습니다. 제조 AX 조직이 고객센터 통화에 옮기는 순서와 12주 일정을 붙였습니다.

현업 리더AX 추진CIO·CTO
#보험#사례 2026.10.28 ↗
AX Implementation아티클

Terminal X Eval Agent: 투자 산출물을 54개 항목 기준표로 채점해 시니어 판단과 맞춘 평가 에이전트

OpenAI 고객 사례 · Terminal X (StartupHub.ai, OrcaRouter 인용 기사로 확인)

Terminal X는 투자사의 실사·메모 결과물을 54개 항목 기준표로 통과·실패 채점하는 평가 에이전트를 따로 두고 실패와 사람의 수정을 메모리로 쌓습니다. 500건에서 시니어 심사역 판정과 88.6% 일치했고 PE 고객사는 연 240만 달러를 아꼈다고 밝혔습니다(회사 자체 기준표 결과).

CIO·CTOAX 추진현업 리더
#평가 에이전트#에이전트 2026.10.27 ↗
AX Strategy포스트

Product Sense: AI 초안을 더 낫게 고치는 판단력이 제품 인력의 유일한 해자

Shreyas Doshi Substack · Shreyas Doshi

Shreyas Doshi는 몇 년 안에 모든 회사가 거의 모든 제품 활동에 AI를 쓰게 되면 도구 숙련은 우위가 아니게 되고 이미 강한 AI 산출물을 더 낫게 만드는 판단력(Product Sense 5요소)만 해자로 남는다고 봅니다. AI 초안 대비 개선을 블라인드로 채점하는 평가 방법, 5요소 루브릭, 채용 면접 질문을 붙였습니다.

PM·프로덕트CHRO현업 리더
#프로덕트#AI fluency 2026.10.27 ↗
AX Implementation포스트

AI Forward Deployed Engineer Course: 채용공고 22개로 짠 35주 FDE 역량 지도

Becoming Forward Deployed Engineer (Substack)

Substack 'Becoming Forward Deployed Engineer'가 실제 채용공고 22개에서 요건을 뽑아 AI FDE 강좌 35개 포스트를 9단계 35주로 배열한 커리큘럼 지도를 공개했습니다. 역량이 쌓이는 일곱 층으로 묶어 풀고 사내 14주 압축 트랙과 채용·역량 평가 루브릭으로 바꾸는 방법을 붙였습니다.

AX 추진CHROCIO·CTO
#FDE#리스킬링 2026.10.27 ↗
AX Enablement아티클

Where to Draw the Line: 전문가용 업무 도구에 채팅·화면·에이전트를 나눠 붙이는 기준

UX Collective · Patrick Neeman

B2B 제품에 일괄로 붙인 채팅창이 숙련자를 오히려 느리게 만들 수 있다는 글입니다. 반복 업무는 화면에 두고, 드문 질문은 채팅으로, 상시 감시는 Ambient Agent로 보내라는 배치 기준과 함께, 티켓 분석·검증 시간·fallback ratio로 판정하는 4주 계획을 붙였습니다.

PM·프로덕트CIO·CTO현업 리더
#생성형 AI#에이전트 2026.10.26 ↗
AX Enablement팟캐스트

The Missing Infrastructure for AI Agents: 에이전트가 PDF·스캔·엑셀을 빠짐없이 읽게 하는 문서 계층

a16z Show · Adit Abraham(Reducto CEO), Jennifer Li(a16z)

누적 70억 쪽을 처리한 문서 파싱 기업 Reducto의 CEO가 프런티어 모델은 긴 추출에서 틀리기보다 조용히 빠뜨린다고 말합니다. 문서를 쪼개 읽고 에이전트가 검증 규칙으로 스스로 다시 보게 하는 구조, 그리고 우리 문서로 평가하는 방법과 4주 파일럿을 붙였습니다.

CIO·CTOAX 추진현업 리더
#추출 모델#에이전트 2026.10.26 ↗
AX Implementation아티클

Forward Deployed Engineering: 시범을 운영까지 끌고 가서 다음 팀이 하루에 쓰게 만드는 법

OpenAI 블로그 · Colin Jarvis

OpenAI의 FDE 책임자 Colin Jarvis가 고객사 AI 도입에서 배운 것을 정리했습니다. 운영 기준 eval을 먼저 세우고, 사용 사례별 맞춤 코드를 공통 harness 위의 skill·plugin으로 바꾸면 첫 배포에 두 달 걸린 일이 다음 팀에는 하루에 넘어갑니다. 우리 조직의 시범 사업을 같은 구조로 돌리는 12주 일정과 판정 기준을 붙였습니다.

AX 추진CIO·CTOCEO
#FDE#에이전트 2026.10.25 ↗