AX Enablement

Agent Governance at Scale: BMW R&D가 수백 개 에이전트를 자율 등급·레지스트리·배포 관문으로 통제하는 방식

BMW Group R&D는 개발자 1만 2,500명 이상이 만드는 에이전트 수백 개를 MCP gateway와 중앙 레지스트리, 단계별 자율 등급(0~2), 4단계 배포 관문으로 통제합니다. 규칙을 에이전트 코드 밖의 결정적 코드로 집행해 프레임워크나 모델을 바꿔도 거버넌스가 유지됩니다.

출처
AWS Machine Learning Blog · Jens Kohl, Lukas Stappen, Martin Haubold, Veit Wenninger 외
원문 제목
How the BMW Group governs hundreds of agents across thousands of developers
유형
포스트
읽은 날
2026.11.21
원문 발행
2026.11.19

BMW Group R&D는 팀마다 다른 프레임워크로 에이전트를 만들게 두되 인증·권한·호출 한도·콘텐츠 필터는 MCP gateway와 중앙 레지스트리에서, 배포 승인은 CI/CD의 4단계 관문에서 일괄 집행합니다. 자율성은 에이전트가 아니라 작업 단계마다 0~2단계로 매깁니다. 따라 하려면 먼저 에이전트 목록과 소유자를 레지스트리에 모으고 정답 데이터셋 없이 배포되는 에이전트가 없게 파이프라인부터 막아야 합니다.

요약

BMW Group의 엔터프라이즈 아키텍트와 AI 리더 네 명이 AWS 아키텍트 세 명과 함께 2026년 11월 19일 AWS Machine Learning Blog에 쓴 글입니다. BMW R&D에서는 개발자 1만 2,500명 이상이 약 5억 줄의 차량 소프트웨어를 다룹니다. Connected Vehicle 백엔드는 마이크로서비스 1,300개 이상으로 차량 2,400만 대에 디지털 서비스를 냅니다. 회사는 2023년부터 에이전트를 만들어 왔고 지금은 전 세계 수백 개 팀이 각자 에이전트를 만듭니다. 저자들은 이 상황에서 팀의 실험 속도를 살리면서 AI islands(팀마다 고립돼 같은 기능을 중복으로 만드는 상태)를 막는 방법을 다섯 가지 원칙과 배포 파이프라인으로 정리합니다. 출발점은 agent harness(LLM을 감싸 실행 루프·도구 호출·메모리·관측 지점을 제공하는 런타임 계층)이며 하나의 프레임워크를 강요하지 않고 거버넌스를 바깥 계층과 코드로 표준화합니다.

개발자1만 2,500명 이상BMW R&D차량 SW약 5억 줄백엔드마이크로서비스1,300개 이상서비스 차량2,400만 대
원문이 밝힌 규모, 2023년부터 에이전트 구축

저자들은 거버넌스를 처음부터 구조에 넣어야 하며 나중에 감사로 덧붙이면 늦다고 봅니다. 저자들은 글머리에서 이를 “enterprise governance can’t be an afterthought”라고 적습니다. 규칙은 에이전트 추론 바깥의 결정적 코드로 돌고 프롬프트로는 우회할 수 없습니다. 품질은 HTTP 성공 응답이 아니라 정답 데이터셋 채점과 실행 trace로 증명합니다. 에이전트는 MCP tool, skill, flow 세 층으로 조립하고 커지면 전문 에이전트로 쪼갭니다. 인프라는 Terraform이나 AWS CloudFormation 같은 IaC로 고정합니다. 효과는 정성적으로만 밝혔습니다. 재사용 템플릿과 공유 인프라로 개발비가 줄고 운영 전환이 빨라졌으며 품질이 올랐다고 합니다. 아래에서는 자율 등급, 레지스트리, 4단계 관문이 각각 어떻게 돌아가는지 풀고 우리 조직에서 같은 구조를 세울 때 필요한 기술·현업 디테일을 덧붙입니다.

공통 틀템플릿·공유 인프라IaC 거버넌스 모듈팀별 개발MCP tool·skill레지스트리 공유관문 통과4단계 배포 관문효과(정성)개발비 절감더 빠른 운영 전환
원문이 밝힌 효과는 정성 서술이며 수치는 없음

핵심 메커니즘

Externalized Governance: 규칙을 에이전트 밖 통합 계층에서 집행한다

무엇인가. 인증, 권한, 호출 한도(rate limiting), 콘텐츠 필터를 각 에이전트 코드에 넣지 않고 MCP gateway, central agent registry, orchestration boundary(에이전트 사이 위임이 오가는 경계)에서 집행하는 방식입니다.

어떻게 작동하나. 에이전트가 도구를 부르면 요청은 먼저 MCP gateway를 지나며 신원과 권한, 호출 한도를 검사받습니다. 레지스트리는 어떤 에이전트와 도구가 운영 승인을 받았는지를 쥐고 있어, 승인되지 않은 자산은 연결 자체가 막힙니다. 규칙이 에이전트 밖에 있으니 팀이 프레임워크를 바꾸거나 모델을 교체하거나 조직이 개편돼도 통제는 그대로 남습니다. 여기에 egress control(외부로 나가는 호출 통제)을 더합니다. 수신처 allowlist와 외부 송신 비밀값 검사로, 기밀 데이터를 가진 에이전트가 정상처럼 보이는 호출로 데이터를 흘리는 일을 막습니다.

언제 쓰나. 여러 팀이 서로 다른 프레임워크로 에이전트를 만드는 조직에 맞습니다. 에이전트가 두세 개뿐이고 한 팀이 모두 관리한다면 gateway 운영 부담이 효과보다 클 수 있습니다.

에이전트 안에 규칙통합 계층에서 집행· 프롬프트·코드마다 따로 구현· 프레임워크 바꾸면 다시 구현· 에이전트가 규칙을 우회할 여지· MCP gateway: 인증·권한·호출 한도·필터· central agent registry: 승인·감사· orchestration boundary: 위임 경계
거버넌스를 에이전트 코드 밖으로 빼 프레임워크·모델 교체에도 유지

Per-step Autonomy Levels: 자율성은 에이전트가 아니라 단계마다 매긴다

무엇인가. 위험에 따라 감독 수준을 세 단계로 나눕니다. Level 0(human-in-the-loop)은 모든 행동에 사람의 명시적 승인이 필요합니다. 새 에이전트와 고위험 작업의 출발점입니다. Level 1(human-on-the-loop)은 에이전트가 스스로 실행하되 결정을 비동기 검토에 올립니다. 입력·출력과 되돌리기 방법이 정해진 중위험 작업용입니다. Level 2는 가드레일 안에서 자율로 움직입니다. 경계는 프롬프트 지시 대신 결정적 정책으로 집행하며 검증된 이력이 있는 저위험 작업에만 줍니다.

어떻게 작동하나. 등급은 에이전트 하나에 붙지 않고 작업 단계마다 붙습니다. 한 워크플로 안에 세 등급이 섞일 수 있습니다. 등급은 평가 데이터가 쌓여 근거가 생길 때만 올립니다. 배포 관문 2단계에서는 선언한 자율 등급과 실제로 부여된 권한이 맞는지 대조합니다. L2라고 선언했는데 되돌릴 수 없는 쓰기 권한이 있으면 배포가 멈춥니다.

언제 쓰나. 같은 에이전트가 요약처럼 안전한 일과 병합·결재처럼 되돌리기 어려운 일을 함께 할 때 특히 쓸모가 큽니다. 에이전트 단위로만 등급을 주면 가장 위험한 단계에 맞춰 전체가 느려지거나, 반대로 위험한 단계까지 풀려 버립니다.

L0 사람 승인L1 사후 검토L2 가드레일 내 자율요구사항 요약L2코드 수정안L1테스트 실행L2main 병합L0고객 데이터 조회L0
가상 예시, 등급 정의는 원문 기준

Verify-then-Evaluate CI: 결정적 검증을 통과해야 채점한다

무엇인가. 프롬프트 수정, 도구 추가, 모델 교체 같은 변경이 생기면 CI 파이프라인이 두 단계로 돕니다. 먼저 verification(구성 요소와 그 상호작용을 보는 결정적 회귀 테스트)을 돌립니다. 통과한 빌드만 evaluation(비결정적 출력을 ground-truth 데이터셋으로 채점해 품질 임계값으로 판정)으로 넘어갑니다.

어떻게 작동하나. harness 구성 요소는 대부분 결정적이라 verification은 빠르고 전부 자동화됩니다. 비싼 LLM 채점은 그다음에만 돕니다. ground-truth 데이터셋은 첫날부터 흔한 질의와 경계 사례를 담아야 하고 저자들은 합성 프롬프트로 평가하는 방식을 받아들이지 않습니다. 계측도 필수입니다. 실행마다 추론 단계, 도구 호출, 컨텍스트 검색을 OpenTelemetry span으로 남겨 요청에서 최종 출력까지 거슬러 볼 수 있게 합니다. 계측이 빠진 에이전트는 평가 전에 파이프라인에서 떨어집니다. 여러 모델로 라우팅할 때는 결과와 함께 그 모델을 고른 이유도 남깁니다. 작업 유형별 모델 등급은 평가 결과로 정하고 나쁜 결과는 새 평가 사례가 됩니다.

언제 쓰나. 변경이 잦고 여러 팀이 같은 도구를 공유할 때 씁니다. 정답 데이터셋을 만들 수 없는 탐색형 작업이라면 L0에 묶어 두고 사람 판정 기록부터 쌓습니다.

변경프롬프트·도구모델 교체Verification결정적 회귀 테스트구성 요소→상호작용Evaluationground-truth 채점품질 임계값기록OpenTelemetry trace라우팅 근거
verification을 통과한 빌드만 evaluation으로 넘어감

MCP Tool → Skill → Flow: 원자 도구를 묶어 업무 흐름을 조립한다

무엇인가. 에이전트를 세 층으로 조립합니다. MCP tool은 API 호출이나 DB 조회처럼 기능 하나만 감싼 원자 단위로, 업무 흐름을 가정하지 않습니다. Skill은 MCP tool을 묶은 도메인 단위 조합입니다. 원문의 예는 정적 분석 도구, 스타일 검사 도구, LLM 판단 단계를 잇는 코드 리뷰 skill입니다. Flow는 skill을 엮어 업무 전체를 처리합니다. 원문은 PR 리뷰 파이프라인 전체와 요구사항에서 배포까지 가는 주기를 예로 듭니다.

어떻게 작동하나. 오케스트레이션 코드를 쓰기 전에 다섯 가지를 먼저 만듭니다. 할 일과 하지 않을 일을 적은 범위 정의, 사용자와 다른 에이전트가 부르는 방식, 매개변수까지 분명한 도구 정의, 구현 전에 확정한 정답 데이터셋, 품질 임계값과 벤치마크입니다. 이렇게 해야 프롬프트가 불어나 정확도가 떨어지고 지연이 늘어나는 일을 막습니다. 층마다 CI에서 따로 시험합니다. tool과 skill은 구성 요소 테스트, flow는 상호작용 테스트를 받습니다.

언제 쓰나. 같은 도구를 여러 팀이 다시 쓸 때 효과가 큽니다. 한 번 쓰고 버릴 실험 에이전트까지 세 층으로 나눌 필요는 없습니다.

Flow: PR 리뷰 파이프라인Skill: 코드 리뷰Skill: 변경 요약Skill: 승인 요청정적 분석스타일 검사LLM 판단git diff 조회이슈 조회결재 등록알림 발송MCP tool: 한 가지 기능만 감싼 원자 단위
원문의 code review skill 예를 가상 PR 리뷰 flow로 펼침

Specialize as You Learn: 커지면 쪼개고 A2A로 위임한다

무엇인가. 운영 중 질의 패턴이 바뀌거나 도구 선택이 흔들리면, 큰 에이전트를 지시가 명확하고 도구가 적은 전문 에이전트로 나눕니다. 맡은 영역 밖의 일은 기존 에이전트를 키우지 않고 A2A 프로토콜로 전문 에이전트에 넘깁니다. 저자들은 에이전트가 컨텍스트가 아니라 역량으로 자라야 한다고 봅니다.

어떻게 작동하나. 에이전트 안에서는 기능을 skill로 쪼갭니다. 도구 정의와 few-shot 예시는 호출마다 컨텍스트를 먹어 정확도와 비용을 함께 나쁘게 하기 때문입니다. 쪼개는 크기는 실측으로 정합니다. 거의 선택되지 않는 skill은 합치고 입력에 따라 다르게 움직이는 skill은 나눕니다. 나눈 에이전트는 따로 갱신하고 따로 확장합니다. 요구사항 에이전트를 고쳐도 코딩 에이전트는 그대로입니다. 한 에이전트의 환각이 흐름 전체로 번지지 않고 좁은 에이전트는 더 작은 모델로 돌릴 수 있습니다. 각 에이전트는 역할에 필요한 데이터와 도구에만 접근합니다(least privilege). 저자들은 이를 규제 산업의 준수 요건으로 봅니다.

언제 쓰나. 한 에이전트의 도구가 늘면서 엉뚱한 도구를 고르는 비율이 올라갈 때가 신호입니다.

범용 에이전트 하나에 계속 추가전문 에이전트로 쪼개고 A2A 위임· 도구·few-shot이 매 호출 컨텍스트 차지· 정확도 하락, 비용 증가· 한 곳 실패가 전체로 번짐· 좁은 도구 세트, 명확한 지시· 작은 모델로도 운영· 필요한 데이터·도구만 접근
컨텍스트가 아니라 역량이 커지게 설계

Central Agent Registry: 찾기·승인·보안·중복 검사를 한곳에서

무엇인가. 에이전트, 도구, skill을 빌드 시점 메타데이터로 등록하는 중앙 목록입니다. 네 가지 일을 합니다. 다른 팀이 찾아 쓰게 하는 discovery, 운영 승인 여부와 감사 기록을 쥔 governance checkpoint, 승인 전 prompt injection 같은 자동 검사를 돌리는 security checkpoint, 다른 팀이 이미 운영하는 기능을 등록 시점에 짚는 deduplication입니다.

어떻게 작동하나. 에이전트마다 세 묶음의 메타데이터를 남깁니다. Core data에는 ID, 이름, 설명, 버전, business owner와 IT owner, 제공·사용하는 기능 목록, 상태(plan·active·deprecated), 명세나 agent card 링크, hosting mode(on-prem·cloud·cloud-region)가 들어갑니다. SLA에는 가용성 목표(%), P95 응답 시간(ms), 지원 시간이 들어갑니다. 데이터 거버넌스 플래그에는 정보 등급, 개인정보 처리 여부, 보존 기간, 요청·응답 로그 저장 여부, PII 마스킹 여부, 그리고 영향이 크거나 되돌릴 수 없는 행동에 붙는 human-in-the-loop 필요 여부가 들어갑니다.

언제 쓰나. 에이전트가 수십 개를 넘고 소유 팀이 둘 이상이면 바로 필요합니다. 등록이 귀찮으면 팀이 우회하므로 등록은 배포 파이프라인 마지막 단계에 자동으로 붙입니다.

식별·운영책임·성능통제Core dataID·버전·상태business·IT ownerhosting modeSLA가용성 목표 %P95 응답 ms지원 시간데이터 플래그정보 등급개인정보·PII 마스킹HITL 필요 여부
원문 Table 1의 세 묶음 중 일부 필드를 골라 재구성

Four-phase Deployment Gate: 배포 전 4단계 관문

무엇인가. 모든 에이전트가 운영에 나가기 전에 거치는 표준 CI/CD 관문입니다. 어느 단계든 실패하거나 지표가 나빠지면 배포를 멈추고 원인 분석용 로그를 남깁니다.

어떻게 작동하나. 1단계는 빠른 결정적 점검입니다. 승인된 레지스트리만 쓰는지 보는 공급망 보안, 구성 요소·상호작용 테스트, 평가 라이브러리 참조, 관측 계측을 봅니다. 2단계는 보안·거버넌스 점검을 병렬로 돌립니다. 정적 분석, 격리된 staging 환경의 보안 테스트, egress control과 최소 권한 검증, 선언한 자율 등급과 실제 권한의 일치, policy-as-code 규칙 통과를 확인합니다. 여기서 거버넌스 에이전트가 표준에 비춰 scope creep(정한 목적·권한 밖으로 번짐), prompt bloat(지시문 비대화), tool misuse(용도 밖 도구 호출), 성능 저하를 찾아 사람 검토에 올립니다. 3단계는 돌아가는 시스템을 평가합니다. 설계 때 정한 ground-truth 기준으로 채점하고 지연 시간과 토큰 사용량을 봅니다. 4단계는 중복 검사 뒤 에이전트와 하위 에이전트, 도구, skill을 레지스트리에 등록하고 컨테이너 워크로드로 배포합니다.

언제 쓰나. 사람이 문서 검토로 배포를 승인하던 조직이 에이전트 수가 늘어 검토가 병목이 될 때 씁니다.

점검 A점검 B점검 C1 빠른 점검공급망·승인 레지스트리구성·상호작용 테스트계측 누락 시 실패2 보안·거버넌스정적 분석·staging 보안egress·최소 권한자율 등급↔권한 일치3 실행 평가ground-truth 게이트지연 시간토큰 사용량4 등록중복 검사레지스트리 등록컨테이너 배포
원문 4단계를 표로 재구성, 어느 단계든 실패하면 배포 중단·로그 보존

통념과 다른 주장

흔히 이렇게 봅니다에이전트의 행동 규칙은 시스템 프롬프트에 적고 문제가 생기면 사후 감사로 잡는다.

저자는 이렇게 봅니다규칙은 에이전트 추론 바깥의 결정적 코드로 집행해야 하고 배포 전에 관문으로 막아야 합니다. 프롬프트로는 규칙을 보장할 수 없습니다.

근거권한 검사, policy-as-code, 준수 검증이 CI/CD에서 따로 돌기 때문에 에이전트나 프롬프트가 이를 덮어쓸 수 없고 egress control이 정상처럼 보이는 호출을 통한 유출까지 막는다고 설명합니다.

흔히 이렇게 봅니다에이전트마다 신뢰 등급을 하나 정해 그 범위에서 자율로 둔다.

저자는 이렇게 봅니다신뢰는 에이전트가 아니라 단계에 줍니다. 한 워크플로 안에 L0·L1·L2가 함께 있을 수 있습니다.

근거등급을 평가 데이터가 뒷받침할 때만 올리고 배포 관문에서 선언 등급과 실제 권한을 대조하는 방식으로 운영합니다.

흔히 이렇게 봅니다잘 만든 범용 에이전트 하나에 도구와 예시를 계속 더하는 편이 관리하기 쉽다.

저자는 이렇게 봅니다범위를 좁힌 전문 에이전트로 쪼개고 영역 밖 일은 A2A로 위임해야 정확도와 비용이 함께 좋아집니다.

근거도구 정의와 few-shot 예시가 호출마다 컨텍스트를 차지해 정확도를 떨어뜨리고 비용을 올리며 좁은 에이전트는 작은 모델로도 돌릴 수 있다고 듭니다.

저자가 든 사례

BMW R&D 에이전트 플랫폼: 수백 개 팀의 에이전트를 한 틀로

구분내용
상황개발자 1만 2,500명 이상, 차량 SW 약 5억 줄, 수백 개 팀이 각자 에이전트를 만들며 AI islands와 중복 개발 위험
한 일중앙 팀이 CI 파이프라인에 자동 거버넌스 검사와 governance-as-code 모듈을 넣고 각 팀은 자기 문제용 skill·MCP tool을 만들어 레지스트리로 공유
결과재사용 템플릿·공유 인프라로 개발비 절감, 운영 전환 가속, 품질 향상(정성 서술, 수치는 원문에서 밝히지 않음)
연결Externalized Governance, Central Agent Registry, Four-phase Deployment Gate
거버넌스 에이전트scope creepprompt bloattool misuse근거·권고성숙도 평가대시보드사람 확인four-eyes책임자 결정기록레지스트리 상태지식 베이스 감사
원문 Figure 3 데모 설명을 흐름으로 재구성

거버넌스 에이전트의 성숙도 평가 데모

구분내용
상황에이전트가 늘면서 사람이 하나씩 표준 준수를 검토하기 어려움
한 일거버넌스 에이전트가 대시보드에서 에이전트 성숙도를 평가하고 근거와 실행 가능한 권고를 냄. 권고는 사람이 확인한 뒤 적용(four-eyes 원칙)
결과판정 결과가 레지스트리의 거버넌스 상태를 갱신하고 전체 내용은 중앙 지식 베이스에 감사용으로 기록. 데모의 정량 결과는 원문에서 밝히지 않음
연결Four-phase Deployment Gate 2단계, 운영 중 drift 감시

운영 중 drift 대응

구분내용
상황배포 뒤 질의 패턴 변화나 상위 API 변경(data drift), 오류율 상승·도구 선택 정확도 하락(model drift)
한 일고객 응답 신고 drift·분포 변화·평가 점수 하락 경보가 단계적 대응을 일으키고 사람 검토로 넘어감. 거버넌스 에이전트를 상시로 돌려 담당 팀에 알림
결과원문에서 수치를 밝히지 않음
연결Verify-then-Evaluate CI, Specialize as You Learn
Data driftModel drift· 새 질의 패턴· 질의 분포 변화· 상위 API 변경· 오류율 상승· 도구 선택 정확도 하락· 평가 점수 하락
경보는 단계적 대응과 사람 검토로 넘어감

기술 디테일: 레지스트리와 배포 관문을 실제로 세운다면

아래는 원문에 없는 내용으로, 같은 구조를 우리 조직에서 돌릴 때 필요한 것을 정리했습니다. 필드명과 수치는 모두 가상 예시입니다.

레지스트리 레코드는 원문 Table 1의 세 묶음을 그대로 스키마로 씁니다. 여기에 단계별 자율 등급 표를 더합니다. 등급이 단계마다 붙으므로 steps 배열에 단계마다 autonomy와 그 단계가 쓰는 도구를 적습니다. 관문 2단계는 이 표와 IAM 권한을 대조합니다.

{
  "agent_id": "rnd-pr-review-agent",
  "version": "1.4.0",
  "status": "active",
  "business_owner": "sw-quality-lead",
  "it_owner": "devplatform-team",
  "hosting_mode": "cloud-region:eu-central-1",
  "sla": { "availability_pct": 99.5, "p95_ms": 8000, "support": "업무일 08~18시" },
  "data_flags": {
    "classification": "internal",
    "personal_data": false,
    "payload_logged": true,
    "pii_redacted": true,
    "hitl_required": true
  },
  "steps": [
    { "step": "summarize_change", "autonomy": 2, "tools": ["git.diff.read"] },
    { "step": "propose_fix", "autonomy": 1, "tools": ["repo.branch.write"] },
    { "step": "merge_main", "autonomy": 0, "tools": ["repo.main.merge"] }
  ],
  "eval_dataset": "gt-pr-review-v3",
  "a2a_card": "https://registry.example/agents/rnd-pr-review-agent/card.json"
}

자율 등급과 권한의 일치는 policy-as-code로 막습니다. Open Policy Agent 규칙 하나로 “L2 단계가 되돌릴 수 없는 쓰기 도구를 쓰면 거부”, “hitl_required가 true인데 L0 단계가 하나도 없으면 거부”를 검사합니다. 도구마다 reversible: true/false 속성을 MCP tool 정의에 붙여 두어야 이 규칙이 돕니다. 검사는 CI에서 레코드와 IaC 템플릿을 함께 읽어 수행하고 거부 사유를 PR 코멘트로 남겨 팀이 바로 고치게 합니다.

deny[msg] {
  s := input.steps[_]
  s.autonomy == 2
  t := s.tools[_]
  data.tools[t].reversible == false
  msg := sprintf("L2 단계 %v가 되돌릴 수 없는 도구 %v 사용", [s.step, t])
}
입력검사결과등록 요청agent cardowner 2명autonomy 단계표자동 검사중복 유사도prompt injection권한 대조판정승인보류·사람 검토반려
가상 예시 구성

중복 검사는 설명과 기능 목록의 유사도로 합니다. 등록 요청의 description과 기능 목록을 임베딩해 기존 active 자산과 비교하고 유사도 0.85 이상이면 보류해 두 소유자에게 알립니다. 이름만 비교하면 “pr-reviewer”와 “code-review-bot”을 다른 것으로 봅니다. 오탐을 줄이려면 같은 기능이라도 hosting mode나 데이터 등급이 다르면 별도 자산으로 인정하는 예외 규칙을 둡니다.

평가 게이트는 정답 데이터셋 버전과 묶어 판정합니다. 데이터셋은 실제 질의에서 뽑은 흔한 사례 70%, 경계 사례 30% 정도로 시작해 사례당 기대 출력과 허용 도구 호출 순서를 적습니다. LLM 채점은 temperature 0으로 같은 사례를 3회 돌려 점수 편차가 1점(10점 척도)을 넘으면 그 사례를 사람 검토로 돌립니다. 판정에는 데이터셋 버전을 남겨 둡니다. 그래야 데이터셋을 고친 뒤 점수가 바뀐 것인지 에이전트가 바뀐 것인지 가릅니다.

정답률ground-truth 통과 기준90%정책 위반허용 건수0%P95 지연SLA 대비 상한70%0100%
가상 예시, 기준값은 조직이 정함

trace는 span 속성을 표준화해야 거슬러 볼 수 있습니다. OpenTelemetry span마다 agent.id, agent.version, step, autonomy, tool.name, model.id, routing.reason, tokens.in, tokens.out을 붙입니다. routing.reason에는 “코드 생성 작업, 평가 등급 A 모델”처럼 라우팅 근거를 남깁니다. 도구 선택 정확도는 정답 데이터셋의 허용 도구 순서와 trace를 비교해 주 단위로 계산하고 직전 4주 평균보다 5%p 떨어지면 model drift 경보를 냅니다.

실패하는 경우는 대개 세 가지입니다. 첫째, 팀이 gateway를 거치지 않고 API 키로 도구를 직접 부르는 우회입니다. 네트워크 단에서 gateway 외 경로를 막고 키 발급을 레지스트리 승인과 묶어 대응합니다. 둘째, 정답 데이터셋이 오래돼 실제 질의를 반영하지 못하는 경우입니다. 고객 신고와 낮은 점수 사례를 월 1회 데이터셋에 추가합니다. 셋째, 거버넌스 에이전트의 권고를 사람이 일괄 승인해 four-eyes가 형식만 남는 경우입니다. 승인자에게 근거 trace 링크를 열어 보게 하고 승인 시간 분포를 봅니다.

현업 실행 디테일: 누가, 언제, 무엇을

역할맡는 일
플랫폼 팀(중앙)MCP gateway·레지스트리 운영, 관문 파이프라인과 governance-as-code 모듈 제공
business owner에이전트 범위 정의, 정답 데이터셋 승인, 자율 등급 상향 요청
IT ownerSLA 운영, 배포 실패 원인 분석, drift 경보 대응
보안 담당egress allowlist, 데이터 등급별 접근 규칙, staging 보안 테스트 기준
거버넌스 검토자거버넌스 에이전트 권고 확인(four-eyes), 등급 상향 승인
각 개발 팀skill·MCP tool 개발과 레지스트리 공유, 계측 적용

시작 전 준비물. 지금 운영 중이거나 개발 중인 에이전트 목록(팀, 쓰는 모델, 접근하는 데이터와 도구), 데이터 정보 등급 기준표, 되돌릴 수 없는 행동 목록(병합, 결재, 외부 발송, 고객 데이터 변경), 에이전트별로 실제 질의 50건 이상을 모은 정답 데이터셋 초안입니다.

기간할 일산출물
1~2주에이전트 전수 조사, owner 2명 지정, 레지스트리 스키마 확정레지스트리 초기 목록, 중복 후보 목록
3~4주관문 1·2단계 파이프라인, 자율 등급 정책 규칙 작성파이프라인 템플릿, 정책 규칙
5~6주정답 데이터셋으로 3단계 게이트, 4단계 자동 등록평가 보고서, 등록 완료 에이전트
레지스트리파이프라인평가·등록1~2주목록·소유자3~4주관문 1·2단계5~6주평가·등록
가상 예시 일정

확인 질문. 지금 운영 중인 에이전트는 몇 개이고 각각 누가 책임지나? 에이전트가 쓸 수 있는 도구 가운데 되돌릴 수 없는 것은 무엇인가? 같은 일을 하는 에이전트가 두 팀 이상에 있나? 프롬프트를 바꿨을 때 품질이 떨어졌는지 지금은 무엇으로 아나? 에이전트가 외부로 보내는 호출의 수신처를 알고 있나?

진행 판정 기준(가상 예시). 6주 뒤 운영 에이전트의 90% 이상이 레지스트리에 owner 2명과 함께 등록되고 새 배포의 100%가 관문을 거치며 관문 2단계에서 선언 등급과 권한 불일치가 0건이 되면 다음 분기에 자율 등급 상향 심사를 엽니다. 정답 데이터셋이 없는 에이전트는 L0에 둡니다.

AX 적용 제언. 국내 대기업 계열사처럼 여러 부서와 SI 협력사가 각자 에이전트를 만드는 곳이라면, 플랫폼 선정보다 레지스트리 구축과 owner 지정을 먼저 합니다. 목록이 없으면 중복도 위험도 셀 수 없습니다. 그다음 MCP gateway로 공통 통제를 한곳에 모으고 단계별 자율 등급표를 법무·보안과 함께 정합니다. 마지막으로 governance-as-code 모듈을 배포해 팀은 자유롭게 만들되 관문은 자동으로 통과하게 합니다. 경영진 보고에는 “에이전트 수”보다 “관문을 통과한 에이전트 비율”과 “L2로 올라간 단계 수”를 올려 통제와 확산이 함께 가는지 보여 줍니다.

1단계에이전트 목록소유자 지정2단계MCP gateway공통 통제3단계단계별 자율 등급정답 데이터셋4단계IaC 모듈 배포팀 자율 개발
가상 예시 순서

원문 사례

항목내용
글AWS Machine Learning Blog, 2026.11.19
저자BMW Group: Jens Kohl, Lukas Stappen, Martin Haubold, Veit Wenninger. AWS: Brendan Jones, Vadim Omeltchenko, Aishwarya Lakshmi Krishnan
규모R&D 개발자 1만 2,500명 이상, 차량 SW 약 5억 줄, Connected Vehicle 백엔드 마이크로서비스 1,300개 이상, 차량 2,400만 대, 2023년부터 에이전트 구축
다섯 원칙처음부터 거버넌스, 지속 계측·검증·평가, 좁게 시작해 조립 가능하게, 배우면서 전문화, 코드로 확장
거버넌스 집행MCP gateway, central agent registry, orchestration boundary, egress control(수신처 allowlist, 외부 송신 비밀값 검사)
자율 등급L0 human-in-the-loop, L1 human-on-the-loop, L2 가드레일 내 자율, 단계마다 부여
조립 구조MCP tool → skill → flow, A2A 위임, OpenTelemetry, Agent Skills
코드화Terraform·AWS CloudFormation, AWS Config·Open Policy Agent, 최소 권한 역할
배포 관문1 빠른 결정적 점검, 2 보안·거버넌스 병렬 점검, 3 ground-truth·지연·토큰 평가, 4 중복 검사·등록·컨테이너 배포
레지스트리 메타데이터Core data, SLA(가용성 %, P95 ms, 지원 시간), 데이터 거버넌스 플래그(정보 등급, 개인정보, 보존, 로그, PII 마스킹, HITL)
효과개발비 절감, 운영 전환 가속, 품질 향상(정성 서술)
다음 계획패턴·안티패턴 가이드, IaC 템플릿 확대, 거버넌스 준수 CI 테스트, 자동 점검 확대, agentic FinOps, 아키텍처 안내 에이전트 Archimedes에 통합

핵심 개념

Agent harness
LLM을 감싸 실행 루프, 도구 호출, 메모리, 관측 지점을 제공하는 런타임 계층입니다.
MCP gateway
에이전트의 도구 호출이 모두 지나가는 관문으로, 인증·권한·호출 한도·콘텐츠 필터를 한곳에서 집행합니다.
A2A
에이전트끼리 일을 주고받는 프로토콜로, 영역 밖 작업을 다른 전문 에이전트에 넘길 때 씁니다.
Policy-as-code
조직 규칙을 실행 가능한 코드로 적어 배포 전에 자동 검사하는 방식입니다. 원문은 AWS Config와 Open Policy Agent를 예로 듭니다.
Egress control
에이전트가 밖으로 내보내는 호출의 수신처와 내용을 검사해 데이터 유출을 막는 통제입니다.
Four-eyes 원칙
자동 권고를 적용하기 전에 책임 있는 사람이 한 번 더 확인하는 이중 확인 원칙입니다.
Agentic FinOps
모델과 도구 호출의 크기와 비용을 작업에 맞게 조정하는 에이전트 비용 관리입니다.

내 메모

TODO: 내 생각 추가

원문은 AWS Machine Learning Blog에 실린 Jens Kohl, Lukas Stappen, Martin Haubold, Veit Wenninger(BMW Group)와 Brendan Jones, Vadim Omeltchenko, Aishwarya Lakshmi Krishnan(AWS)의 글 「How the BMW Group governs hundreds of agents across thousands of developers」(2026.11.19)입니다. 요약, 핵심 메커니즘의 원문 내용, 사례, 원문 사례 표는 원문이 밝힌 사실을 AX Partners가 다시 정리했습니다. 기술·현업 디테일(레지스트리 JSON, 정책 규칙, 유사도·평가 기준값, span 속성, 일정, 판정 기준)과 인포그래픽, 표는 새로 작성했으며 디테일 절의 수치는 가상 예시입니다. 원문의 그림은 옮기지 않고 다른 예시로 새로 그렸습니다. 전체 내용은 원문에서 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Enablement아티클

Retest When Models Change: 기술 리더 7명이 말한 AI 에이전트 통제와 모델 변경 재시험

TechTarget · Tim Murphy

Travelers, Sedgwick 등 기술 리더 7명이 2027년에 대비할 AI 과제를 말했습니다. 벤더가 모델을 바꾸면 처음 인수 시험을 다시 돌리고 에이전트에는 권한·지출 한도·에스컬레이션·사람의 무효화 장치를 핵심 업무 투입 전에 갖추라는 것이 공통 조언입니다.

CIO·CTOCISOAX 추진
#에이전트#거버넌스 2026.11.21 ↗
AX Enablement아티클

Agentic Payment Controls: Deutsche Bank가 AI 에이전트에게 결제 제안만 맡기고 실행 직전에 다시 확인하는 설계

QA Financial · Michiel Willems

Deutsche Bank는 Ant Digital Technologies와 낸 11월 백서에서 자금·국경 간 결제·무역금융 에이전트가 혼자 판단·승인·실행하지 못하게 나누고, 위임은 범위를 정해 언제든 거둘 수 있게 하며, 제재·유동성·신용 익스포저·계좌 적격성은 실행 직전에 다시 확인하자고 제안했습니다. QA Financial은 여기서 단계 경계 테스트와 자동 재시도 중복 결제 점검을 끌어냅니다.

CIO·CTOCFOCISO
#에이전트#거버넌스 2026.11.21 ↗
AX Enablement아티클

AI Orphans: 주인 없는 에이전트를 찾아 책임자·권한·폐기 규칙으로 정리하는 5단계

InformationWeek · Kelsey Ziser

직원이 떠나거나 갈아타면서 남은 '주인 없는 에이전트'를 다섯 단계로 정리합니다. 목록화, 가치에 묶은 lifecycle, 이름 있는 책임자, API·MCP 계층 통제, 상시 감사입니다. 한 고객은 AI 예산 약 19%를 일정 자동화에 쓰고도 전체 가치를 내지 못했습니다.

CIO·CTOCISOAX 추진
#에이전트#거버넌스 2026.11.14 ↗