AX Strategy

AI Portfolio Pruning: 미국 IT·데이터 리더 500여 명 중 거의 4분의 1이 성과 없는 AI 과제를 줄이거나 멈췄다

데이터 플랫폼 기업 Ocient가 Propeller Insights와 미국 IT·데이터 리더 500여 명을 조사했습니다. 4분의 3이 AI 비용이 늘고 있다고 답했고 큰 ROI를 본 곳은 38%였습니다. 거의 4분의 1은 부진한 과제를 줄이거나 멈췄고 약 45%는 잘되는 과제에 투자를 늘렸으며 남길 과제는 보안 위험·재무 수익·정확도·확장 비용을 거의 같은 무게로 따져 골랐습니다.

출처
CIO Dive · Paige Gross (Ocient 조사)
원문 제목
As AI costs climb, knowing when to pull back becomes critical
유형
아티클
읽은 날
2026.11.07
원문 발행
2026.11.05

AI 비용이 오르자 미국 기업의 IT·데이터 리더는 AI 투자를 한꺼번에 줄이지 않고 과제를 골라 정리하고 있습니다. 거의 4분의 1은 성과가 부진한 과제를 줄이거나 멈췄고 약 45%는 잘되는 과제에 돈을 더 넣었습니다. 따라 하려면 과제별 비용을 따로 잴 수 있어야 하고 보안 위험·재무 수익·정확도·확장 비용 네 기준으로 정기적으로 판정하는 자리가 있어야 합니다.

요약

데이터·분석 플랫폼 기업 Ocient가 시장조사 회사 Propeller Insights와 함께 미국 IT·데이터 리더 500여 명을 조사해 화요일(11월 3일)에 연례 보고서로 냈습니다. CIO Dive의 Paige Gross 기자는 11월 5일 이 결과를 Gartner, Dun & Bradstreet, SAP의 조사와 엮어 기사로 정리했습니다. 조사를 낸 Ocient는 대용량 데이터 분석 인프라를 파는 회사입니다. 아래 숫자는 모두 이 벤더 조사의 결과입니다. 기사의 줄기는 이렇습니다. AI 에이전트(사람 대신 여러 단계를 스스로 처리하는 AI) 사용이 늘면서 데이터 처리와 분석 비용이 오르고 있습니다. 그래서 IT 리더에게는 어느 AI 과제를 키우고 어느 과제를 접을지 고르는 일이 중요해졌습니다.

조사Ocient+ Propeller Insights미국 IT·데이터 리더500여 명압력비용 증가인프라 한계비용 예측 어려움대응부진 과제 축소·중단성과 과제 증액사용·지출 통제
조사 대상에서 압력, 대응까지. 기사 내용을 세 칸으로 다시 묶음

응답자의 4분의 3이 비용이 늘고 있다고 답했습니다. 약 4분의 1은 AI 수요가 지금 인프라를 넘어섰다고 했고 큰 변경 없이 늘어나는 AI 워크로드를 감당할 수 있다는 곳은 4분의 1이 안 됐습니다. 비용을 예측하기 어렵다는 점을 주요 데이터 과제로 꼽은 비율은 2년 전 35%에서 41%로 올랐습니다. AI 투자에서 큰 ROI(투자 대비 수익)를 봤다는 곳은 38%였습니다. 그래도 리더들은 손을 놓지 않았습니다. 거의 4분의 1이 부진한 과제를 줄이거나 멈췄고 약 45%는 성과가 난 과제에 투자를 늘렸습니다. 남길 과제를 고를 때는 보안 위험, 재무 수익, 정확도, 확장 시 비용을 거의 같은 무게로 따졌습니다. 보고서는 이 움직임을 “Pruning isn’t pulling back”이라고 표현합니다. 가지치기는 물러서는 일이 아니라 키울 곳에 자리를 내 주는 일이라는 뜻입니다. 아래에서 다섯 가지 작동 원리와 기사가 든 조사들을 보고 이를 우리 회사에서 돌릴 때 필요한 기술·현업 디테일을 붙입니다.

비용이 늘고 있다4분의 375%성과 과제에 투자 증액약 45%45%큰 ROI를 봤다38%38%부진 과제 축소·중단거의 4분의 125%0100%
Ocient 조사(미국 IT·데이터 리더 500여 명). 4분의 3은 75%, 거의 4분의 1은 25%로 그린 근사치. 항목끼리 겹칠 수 있어 합계는 뜻이 없음

핵심 메커니즘

Agent Workload Pressure: 에이전트가 늘수록 쿼리·처리·지연 요구가 함께 커진다

에이전트 워크로드 압력은 AI 에이전트가 데이터 인프라에 거는 부담을 말합니다. 에이전트는 일 하나를 끝내려고 데이터를 여러 번 조회하고 사람이 기다리는 동안 답을 내야 하니 빠른 응답도 필요합니다. 응답자들은 에이전트 때문에 쿼리가 늘고 처리할 데이터가 많아지고 낮은 지연(latency)을 요구받고 인프라 비용이 오른다고 답했습니다. 그 결과 약 4분의 1은 수요가 지금 인프라를 넘어섰다고 했고 큰 변경 없이 버틸 수 있다는 곳은 4분의 1이 안 됐습니다. 기사는 Gartner 자료를 들어 2026년 세계 AI 지출이 거의 두 배가 되고 그 일부가 인프라 수요 때문이라고 덧붙입니다. 예측도 어려워졌습니다. 비용 예측이 어렵다는 응답이 2년 사이 35%에서 41%로 늘었습니다. 사용량에 따라 비용이 움직이는 구조에서는 에이전트 호출 수가 달마다 달라지기 때문에, 총액보다 변동 폭이 먼저 문제가 됩니다. 가상 예시로, 영업 지원 에이전트가 고객 브리핑 한 건에 CRM·주문·청구 데이터를 여섯 번 조회한다면 영업 담당자 200명이 하루 다섯 건씩만 써도 쿼리는 하루 6,000회가 됩니다.

에이전트 사용팀마다 에이전트 도입업무 하나에여러 단계 조회인프라 요구쿼리 증가처리 데이터 증가낮은 지연 요구비용 결과인프라 비용 상승수요가 인프라 초과예측 어려움 35%→41%
응답자가 꼽은 에이전트발 부담을 입력, 처리, 결과로 정리
2년 전비용 예측 어려움을 주요 과제로35%이번 조사비용 예측 어려움을 주요 과제로41%050%
Ocient 조사. 0 기준 비례, 최대 50%

Pruning and Doubling Down: 부진한 과제는 줄이고 잘되는 과제에 몰아준다

이 조사의 중심은 AI 과제를 하나씩이 아니라 포트폴리오(과제 묶음)로 보고 자원을 옮기는 방식입니다. 각 과제의 성과를 보고 부진한 쪽은 줄이거나 멈추고 그렇게 생긴 돈과 인력을 성과가 난 쪽에 넣습니다. 응답자의 거의 4분의 1이 부진한 과제를 줄이거나 멈췄고 약 45%가 성공한 과제에 투자를 늘렸습니다. 보고서는 거의 모든 응답자가 수익을 개선하려고 무언가를 하고 있다고 적었습니다. 안 되는 것은 자르고 되는 것은 밀어주며 그 밑에 깔린 데이터에 다시 힘을 쏟는다는 내용입니다. 이 방식이 필요한 이유는 큰 ROI를 본 곳이 38%뿐이기 때문입니다. 성과가 고르지 않을 때 모든 과제에 같은 예산을 주면 잘되는 과제도 자원이 모자랍니다. 가상 예시로, AI 과제 12개를 돌리는 회사가 분기 점검에서 3개를 멈추고 그 예산을 성과가 확인된 2개의 확장에 돌리는 식입니다.

과제 포트폴리오진행 중인 AI 과제과제별 비용·성과판정네 기준으로남길지 결정축소·중단부진한 과제거의 4분의 1이 실행증액성과 난 과제약 45%가 실행
줄인 만큼 성과 난 곳에 다시 넣는 재배치. 비율은 Ocient 조사

Four-Criteria Keep Decision: 보안 위험·재무 수익·정확도·확장 비용을 같은 무게로 본다

어떤 과제를 남길지 정할 때 응답자들은 네 가지를 거의 같은 비중으로 따졌습니다. 보안 위험, 재무 수익, 정확도, 확장할 때의 비용입니다. ROI 하나로 판정하지 않았습니다. 네 기준은 서로 다른 실패를 잡습니다. 재무 수익이 좋아도 보안 위험이 크면 사고 한 번으로 이익이 사라지고 시범에서 정확도가 높아도 사용자가 늘 때 비용이 가파르게 오르면 확장할 수 없습니다. 정확도가 낮으면 사람이 결과를 다시 확인해야 해서 줄였다고 생각한 공수가 돌아옵니다. 기사는 기준별 비율을 따로 밝히지 않았습니다. 가상 예시로, 계약서 검토 에이전트가 시범에서 검토 시간을 줄였더라도 외부 모델로 고객 정보를 보내야 하고 전사 확대 시 비용이 세 배가 된다면, 재무 수익 점수가 높아도 보류 판정이 나올 수 있습니다.

묻는 질문놓치면보안 위험데이터가 어디로 가나사고 한 번에 이익 소멸재무 수익돈이 되나ROI·비용 절감정확도믿고 쓸 수 있나낮으면 사람 재확인확장 시 비용늘려도 감당되나시범엔 안 보이는 비용
응답자는 네 기준을 거의 같은 무게로 봄(기사). 질문과 문제 열은 새로 정리

Usage and Spending Controls: 보안·거버넌스 요건과 사용·지출 한도를 붙인다

과제를 고르는 것만으로는 비용이 잡히지 않습니다. 응답자들은 AI 과제에 보안·거버넌스 요건을 더하고 AI 사용량과 지출을 통제하는 장치를 들였다고 답했습니다. 목적은 둘입니다. 당장 비용을 줄이고, 더 투자할 곳을 정할 근거를 쌓습니다. 통제 장치가 있으면 과제마다 얼마를 썼는지 보이고 그 기록이 다음 판정의 입력이 됩니다. 기사는 이런 조치를 한 응답자 비율을 밝히지 않았습니다. 가상 예시로, 과제별 월 예산을 정하고 80%에 이르면 담당자에게 알리고 100%가 되면 더 싼 모델로 돌리거나 요청 수를 제한하는 방식이 있습니다.

요건보안·거버넌스요건 추가사용 통제누가 어떤 모델을얼마나 쓰나지출 통제과제별 한도경보와 차단다음 판정쓴 기록이투자 근거로
기사에 나온 세 조치에 '다음 판정' 칸을 이어 새로 그림

Data Readiness and Operational Efficiency: 가치는 운영 효율에서, 걸림돌은 데이터에서

보고서에 따르면 리더들이 가장 큰 가치를 본 곳은 직원 생산성이 아니라 운영 효율이었습니다. 기사는 SAP의 비슷한 보고서도 소개합니다. AI가 비용 효율이나 생산성보다 직원이 인사이트를 얻고 결정을 내리고 고객을 응대하는 일을 더 많이 돕는다는 내용입니다. 반대로 걸림돌은 데이터입니다. Dun & Bradstreet 조사에서 자사 데이터가 AI에 준비됐다고 답한 기업은 8%뿐이었습니다. 기사는 TechTarget 기사를 들어 최근 AI 과제 실패율이 오른 원인이 기술의 한계가 아니라 데이터 준비 부족이라고 전합니다. 보고서가 과제를 정리하면서 기반 데이터에 다시 힘을 쏟는다고 적은 것도 같은 흐름입니다. 실제로 판정할 때는 과제가 데이터 때문에 막혔는지, 과제 설계 때문에 막혔는지를 나눠 기록해 두면 다음 투자가 같은 곳에서 멈추지 않습니다.

AI에 데이터가 준비됨Dun & Bradstreet 조사8%AI에서 큰 ROIOcient 조사38%050%
서로 다른 조사의 수치. 같은 표본이 아니므로 나란히 비교하지 않고 크기만 보여 줌. 0 기준 비례, 최대 50%

통념과 다른 주장

흔히 이렇게 봅니다AI 비용은 오르는데 ROI가 잘 보이지 않으면, 기업은 AI 투자 속도를 전반적으로 늦춘다.

보고서는 이렇게 봅니다줄이는 것은 후퇴가 아니라 재배치입니다. 부진한 과제를 잘라 낸 자원을 성과가 난 과제와 기반 데이터에 다시 넣습니다.

근거같은 조사에서 거의 4분의 1이 부진한 과제를 줄이거나 멈췄고 동시에 약 45%가 성공한 과제에 투자를 늘렸습니다. 거의 모든 응답자가 수익 개선 조치를 하고 있었습니다.

흔히 보는 대응조사에서 보인 대응· 비용 상승, ROI 불확실· AI 투자 전반 감속· 모든 과제를 똑같이 줄임· 부진 과제 축소·중단(거의 4분의 1)· 성과 과제 증액(약 45%)· 기반 데이터에 다시 집중
줄이는 쪽과 늘리는 쪽이 한 조사 안에 함께 있음

흔히 이렇게 봅니다생성형 AI의 가치는 직원 한 사람의 생산성을 높이는 데서 나온다.

보고서는 이렇게 봅니다리더들이 가장 큰 가치를 본 곳은 직원 생산성이 아니라 운영 효율입니다.

근거Ocient 보고서의 응답이 그렇게 나왔고 기사가 함께 든 SAP 보고서도 AI가 생산성보다 인사이트, 의사결정, 고객 응대를 더 많이 돕는다고 봤습니다.

흔히 기대하는 가치리더가 본 가치· 직원 1인 생산성· 개인 업무 시간 절감· 운영 효율(Ocient)· 인사이트·의사결정·고객 응대(SAP)
가치를 재는 단위를 개인에서 운영 흐름으로 옮겨 봄

저자가 든 사례

Ocient Beyond Big Data 2026 조사: 비용 압력 속의 과제 정리

  • 상황: 미국 IT·데이터 리더 500여 명이 에이전트발 쿼리·처리·지연 요구로 인프라 비용이 오르는 상황에 있었습니다. 4분의 3이 비용 증가를 겪었고 약 4분의 1은 수요가 인프라를 넘어섰습니다.
  • 한 일: 거의 4분의 1이 부진한 과제를 줄이거나 멈췄고 약 45%가 성공한 과제에 투자를 늘렸습니다. 보안·거버넌스 요건과 사용·지출 통제를 더했고 남길 과제는 네 기준을 거의 같은 무게로 따져 골랐습니다.
  • 결과: 큰 ROI를 봤다는 곳은 38%였고 비용 예측이 어렵다는 응답은 35%에서 41%로 늘었습니다. 조치 이후의 비용 변화는 원문에서 밝히지 않았습니다.
  • 연결: Agent Workload Pressure, Pruning and Doubling Down, Four-Criteria Keep Decision, Usage and Spending Controls.
상황비용 증가 4분의 3인프라 초과 약 4분의 1예측 어려움 41%한 일축소·중단 거의 4분의 1증액 약 45%사용·지출 통제결과큰 ROI 38%조치 후 비용 변화는원문에 없음
Ocient 조사(미국 IT·데이터 리더 500여 명)를 상황, 한 일, 결과로 재구성

기사가 함께 든 조사: 지출은 늘고 데이터 준비는 더디다

  • 상황: 기사는 Ocient 결과를 다른 조사와 나란히 놓아 비용 압력과 데이터 문제를 함께 보여 줍니다.
  • 한 일: Gartner 전망(2026년 세계 AI 지출이 거의 두 배, 일부는 인프라 수요 때문), Dun & Bradstreet 조사(데이터가 AI에 준비됐다는 기업 8%), TechTarget 기사(실패율 상승의 원인은 데이터 준비 부족), SAP 보고서(AI는 생산성보다 인사이트·의사결정·고객 응대를 도움)를 인용했습니다.
  • 결과: 지출은 빠르게 늘지만 데이터가 따라오지 못해 성과가 고르지 않다는 그림이 됩니다.
  • 연결: Data Readiness and Operational Efficiency, Agent Workload Pressure.
핵심읽는 법Gartner2026년 AI 지출 거의 2배일부는 인프라 수요Dun & Bradstreet데이터 AI 준비 8%준비 부족이 다수TechTarget실패율 상승원인은 데이터 준비SAP생산성보다인사이트·결정·고객 응대
기사가 Ocient 결과와 함께 든 자료. 수치는 각 자료 기준

기술 디테일: AI 과제 포트폴리오를 숫자로 판정하려면

아래 필드명, 설정값, 기준은 조사 결과를 실제로 돌리기 위한 실행 제안이자 가상 예시이며 Ocient 보고서나 기사가 밝힌 방법이 아닙니다.

과제별 비용을 따로 재려면(Agent Workload Pressure, Pruning) 모든 모델 호출과 데이터 쿼리에 project_id 태그를 붙여야 합니다. 태그가 없으면 비용은 클라우드 청구서 한 줄로만 보이고 과제를 비교할 수 없습니다. 게이트웨이나 프록시 한 곳으로 모델 호출을 모으고 데이터 웨어하우스 쿼리에는 쿼리 태그나 서비스 계정을 과제별로 나눠 줍니다. 모을 필드는 project_id, agent_id, model, input_tokens, output_tokens, query_count, compute_seconds, latency_ms, cost_usd, outcome_id입니다. outcome_id는 그 호출이 어떤 업무 결과(처리한 건, 응대한 고객)에 쓰였는지 잇는 키로, 단위 비용(결과 한 건당 비용)을 계산하는 데 씁니다.

수집모델 호출웨어하우스 쿼리project_id 태그집계과제·월별 비용쿼리 수·지연결과 건수지표단위 비용예측 오차율p95 지연판정네 기준 점수분기 검토로
가상 예시. 과제별 비용이 보여야 정리와 재투자를 판정할 수 있음

비용 예측 가능성을 재려면(35%→41%) 과제마다 다음 달 비용 예측값을 미리 적어 두고 실제와 비교합니다. 예측 오차율은 |실제 - 예측| / 예측으로 계산합니다. 오차율이 20%를 넘는 달이 두 달 연속이면 원인을 나눕니다. 사용자가 늘었는지, 에이전트 한 번에 도는 단계 수가 늘었는지, 모델 단가나 모델 자체가 바뀌었는지를 봅니다. 세 번째 경우가 잦다면 모델 버전을 과제 기록에 남기고 바꾸기 전에 같은 입력 100건으로 비용과 정확도를 다시 재는 절차를 둡니다.

네 기준 스코어카드는 구조화된 형식으로 받습니다(Four-Criteria Keep Decision). 조사에서 네 기준을 거의 같은 무게로 봤으므로 시작 가중치는 각 0.25로 둡니다. 각 점수에는 근거 필드를 붙이고 근거가 비면 그 기준은 0점으로 처리합니다.

{
  "project_id": "AX-CONTRACT-REVIEW",
  "quarter": "2026-Q4",
  "scores": {
    "security_risk": {"score": 2, "evidence": "외부 모델로 고객명 전송, 마스킹 미적용"},
    "financial_return": {"score": 4, "evidence": "검토 건당 42분 → 15분, 월 1,100건"},
    "accuracy": {"score": 3, "evidence": "표본 100건 사람 채점, 조항 누락 7건"},
    "cost_at_scale": {"score": 2, "evidence": "전사 확대 시 월 비용 3.1배 추정"}
  },
  "weights": {"security_risk": 0.25, "financial_return": 0.25, "accuracy": 0.25, "cost_at_scale": 0.25},
  "weighted_score": 2.75,
  "data_blocker": true,
  "decision": "fix",
  "owner": "법무운영팀장"
}
점수보안 위험재무 수익정확도확장 시 비용
0민감 데이터가 통제 없이 외부로 나감효과 측정 불가표본 채점 안 함확대 비용 추정 없음
3마스킹·접근 통제 있음, 감사 기록 일부공수·비용 절감이 측정됨사람 채점 기준 90% 안팎확대 시 단위 비용 유지
5보안 검토 통과, 감사 기록 완비절감액이 손익에 반영됨95% 이상, 오류 유형 관리확대 시 단위 비용 하락
점수(0~5)근거보안 위험2마스킹 미적용재무 수익4건당 42분→15분정확도3조항 누락 7/100확장 시 비용2확대 시 3.1배
가상 예시. 가중 평균 2.75, 데이터 문제 있음, 판정은 보완

정확도 점수는 사람 채점을 기준으로 합니다. 과제마다 월 1회 실제 결과에서 100건을 뽑아 담당 현업이 채점합니다. 채점을 LLM으로 보조할 때는 결과를 만든 모델과 다른 모델로 같은 건을 3회 채점(temperature 0)하고 세 점수의 차이가 1점을 넘는 건은 사람에게 넘깁니다.

사용·지출 통제는 게이트웨이에서 겁니다(Usage and Spending Controls). 과제별 월 예산을 두고 80%에 경보, 100%에 저가 모델 라우팅이나 요청 제한을 겁니다. 에이전트 한 번 실행의 최대 단계 수(예: 15단계)와 최대 토큰을 정하고 같은 질문이 반복되는 과제는 응답 캐시를 둡니다. 보안 요건은 개인정보 마스킹, 모델별 허용 데이터 등급, 호출 로그 보관 기간으로 적어 둡니다.

막히는 경우증상대응
과제 태그가 빠진 호출공용 비용이 전체의 30%를 넘음태그 없는 호출은 게이트웨이에서 거절, 공용 비용은 사용량 비율로 배분
성과 지표가 없는 과제재무 수익 점수를 매길 수 없음판정 전 4주 동안 기준선(사람 처리 시간·건수)을 먼저 잼
비용은 낮은데 정확도 미측정사람이 몰래 재작업재작업 시간을 별도로 기록해 재무 수익에서 뺌
모델 교체 뒤 비용 급변예측 오차율 급등모델 버전을 기록하고 교체 전 100건 비교 시험
데이터 문제로 멈춘 과제모든 기준이 낮게 나옴data_blocker 표시 후 중단 대신 데이터 과제로 넘김

현업 실행 디테일: 누가, 언제, 무엇을

기사는 IT 리더가 어느 과제에 돈을 대고 어느 과제를 접을지 정해야 한다고 말합니다. 아래 역할, 일정, 판정 기준은 이를 분기 포트폴리오 검토로 옮긴 가상 예시입니다.

역할맡는 일
CIO 또는 CDO검토 주관, 최종 판정, 인프라 증설 여부 결정
CFO 조직의 FinOps 담당과제별 비용 집계, 예측 대비 실적, 단위 비용 보고
AX 추진 PMO 1~2명과제 목록과 스코어카드 관리, 검토 회의 운영
CISO 조직보안 위험 점수, 통제 요건 점검
데이터 책임자데이터 준비도 점검, data_blocker 판정
사업부 스폰서재무 수익·정확도 근거 제출, 증액 과제의 확장 계획

준비물. 진행 중인 AI 과제 전체 목록(담당자, 시작일, 사용 모델), 과제별 최근 3~6개월 비용, 과제별 성과 지표와 도입 전 기준선, 보안 검토 기록, 과제가 쓰는 데이터 원천 목록이 필요합니다. 과제별 비용이 나뉘지 않는 회사가 많으므로 태그 작업을 첫 주에 시작합니다.

기간할 일산출물
1~2주과제 목록 정리, 비용 태그 적용, 기준선 수집과제 대장, 과제별 비용표
3주사업부·보안·데이터 담당이 네 기준 점수와 근거 작성과제별 스코어카드
4주PMO가 점수 검증, 데이터 문제 과제 분리판정 초안, 데이터 과제 목록
5주검토 회의: 증액·유지·보완·축소·중단 결정결정서, 재배치 예산
6주사용·지출 통제 반영, 다음 분기 예측값 기록과제별 예산 한도, 예측표
1~2주3주4주5주6주과제·비용 정리1~2주스코어카드3주검증·분리4주검토 회의5주통제 반영6주
가상 예시 일정. 이후 분기마다 반복

현업에 물을 것.

  1. 이 과제가 없어지면 어떤 업무 결과가 얼마나 나빠지나요?
  2. 도입 전에는 같은 일을 몇 명이 몇 시간에 했나요?
  3. AI 결과를 사람이 다시 고치는 비율은 얼마이고 그 시간은 어디에 기록되나요?
  4. 사용자를 지금의 10배로 늘리면 비용과 데이터 처리는 어떻게 되나요?
  5. 이 과제가 쓰는 데이터 가운데 외부 모델로 나가면 안 되는 것은 무엇인가요?

진행 판정 기준(예시). 가중 점수 3.5 이상이고 단위 비용이 지난 분기보다 내려갔으면 증액합니다. 2.5~3.5면 한 분기 동안 보완하고 2.5 미만이면 축소하거나 중단합니다. 보안 위험이 1점 이하면 다른 점수와 관계없이 통제가 갖춰질 때까지 멈춥니다. data_blocker가 붙은 과제는 중단으로 끝내지 않고 데이터 준비 과제로 넘겨, 데이터가 준비되면 다시 판정합니다.

AX 적용 제언. 국내 기업도 시범 과제가 쌓이면서 같은 질문을 받고 있습니다. 순서는 셋입니다. 먼저 과제별 비용이 보이게 태그와 게이트웨이를 깔고 다음으로 네 기준 스코어카드를 사업부·보안·데이터 담당이 함께 쓰게 하고 마지막으로 분기 검토에서 줄인 예산을 성과 난 과제와 데이터 기반에 다시 넣는 규칙을 정합니다. 처음 적용할 곳은 과제 수가 10개를 넘고 비용이 한 청구서에 섞여 있는 그룹 IT 조직이 좋습니다. 현업 스폰서는 CFO가 맡는 편이 좋습니다. 줄이는 결정과 다시 넣는 결정을 한 사람이 같이 내려야 가지치기가 예산 삭감으로만 끝나지 않습니다.

원문 사례

항목내용
원문CIO Dive, 2026.11.5, Paige Gross 기자
조사Ocient 연례 보고서(Beyond Big Data 2026), 시장조사 Propeller Insights 공동, 화요일 공개
조사 주체 성격데이터·분석 플랫폼 벤더 Ocient의 조사
대상미국 IT·데이터 리더 500여 명
비용4분의 3이 비용 증가, 비용 예측 어려움 35%(2년 전) → 41%
인프라약 4분의 1은 AI 수요가 인프라 초과, 큰 변경 없이 감당 가능은 4분의 1 미만
에이전트 영향쿼리 증가, 데이터 처리 증가, 낮은 지연 요구, 인프라 비용 상승
성과큰 ROI 38%
대응부진 과제 축소·중단 거의 4분의 1, 성공 과제 증액 약 45%, 보안·거버넌스 요건과 사용·지출 통제
판정 기준보안 위험, 재무 수익, 정확도, 확장 시 비용을 거의 같은 비중
가치직원 생산성보다 운영 효율
함께 인용Gartner(2026년 AI 지출 거의 2배), Dun & Bradstreet(데이터 준비 8%), TechTarget(실패 원인은 데이터 준비), SAP(인사이트·결정·고객 응대)

핵심 개념

Propeller Insights
Ocient와 함께 이번 조사를 진행한 시장조사 회사입니다.
Latency
요청을 보내고 답을 받기까지 걸리는 시간입니다. 에이전트는 사람이 기다리는 동안 여러 번 조회하므로 낮은 지연이 중요합니다.
FinOps
클라우드와 AI 사용 비용을 팀·과제 단위로 보이게 하고 재무와 기술이 함께 관리하는 운영 방식입니다.
Unit cost
처리한 업무 한 건(응대 한 건, 문서 한 건)에 든 비용입니다. 총비용이 늘어도 단위 비용이 내려가면 확장할 만하다는 신호가 됩니다.
Data readiness
AI에 쓸 데이터가 정의, 품질, 접근 권한, 연결 면에서 바로 쓸 수 있는 상태인지를 말합니다.

내 메모

TODO: 내 생각 추가

원문은 CIO Dive의 「As AI costs climb, knowing when to pull back becomes critical」(Paige Gross, 2026.11.5)입니다. 이 기사는 데이터·분석 플랫폼 벤더 Ocient가 Propeller Insights와 함께 낸 조사(미국 IT·데이터 리더 500여 명)를 바탕으로 합니다. Ocient 보고서 페이지는 이번 작업에서 열지 못해, 조사 수치는 기사에 실린 것만 썼습니다. Gartner, Dun & Bradstreet, TechTarget, SAP 내용은 기사가 인용한 범위입니다. 요약, 핵심 메커니즘의 조사 내용, 통념과 다른 주장, 사례, 원문 사례 표는 기사 내용을 AX Review가 다시 정리했습니다. 에이전트 쿼리 계산, 비용 태그 필드, 예측 오차율, 스코어카드 JSON과 점수 기준표, 통제 설정값, 막히는 경우 표, 역할·일정·판정 기준, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 숫자는 가상 예시입니다. Latency, FinOps, Unit cost, Data readiness의 뜻풀이는 일반적인 정의로 보탰습니다. 전체 내용은 원문 기사에서 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Strategy아티클

Put Agents on a Budget: 에이전트 작업량에 상한을 걸고 결과 책임자를 정하는 AI 비용 관리

TechTarget · Tim Murphy

Forrester의 Kevin Ogunsua는 AI 청구서가 토큰 단가보다 에이전트가 요청 하나에 하는 일의 양에 따라 흔들린다고 봅니다. 입력량·모델 호출 수·하위 에이전트 수에 상한을 두고 예산이 확인된 지출만 승인하며 확대 전에 매출·비용·리스크 지표와 결과 책임자 1명을 정하라고 권합니다.

CIO·CTOCFOAX 추진
#비용 절감#에이전트 2026.11.08 ↗
AX Strategy아티클

Human-Agent Workforce: 사람과 에이전트가 함께 일할 직무를 다시 짠 CIO는 4%뿐

CIO Dive · Roberto Torres

Gartner가 CIO·기술 임원 2,002명을 조사한 결과, 사람과 AI 에이전트가 섞인 조직에 맞춰 직무를 재설계할 계획이 있는 곳은 4%였고 이들은 AI 상위 성과 그룹일 확률이 2.4배 높았습니다. 비용 압박이 인력 문제를 가리는 구조와 함께, 업무 단위 인벤토리·중단 기준·실행 비용 계측으로 6주 안에 첫 재설계안을 만드는 방법을 붙였습니다.

CIO·CTOCHROCEO
#조직 설계#에이전트 2026.10.26 ↗
AX Enablement아티클

Data Readiness: 데이터가 준비된 기업일수록 AI 수익을 크게 본다는 1만 곳 조사

CIO Dive · Makenzie Holland

Dun & Bradstreet가 32개국 1만 곳을 조사했더니 데이터가 AI에 완전히 준비됐다는 기업은 8%였고, 이들의 81%가 넓거나 강한 AI ROI를 봤습니다. 일부만 준비된 기업은 12%에 그쳤습니다. use case별 준비도 채점표와 4주 진단안을 붙였습니다.

CIO·CTOCFOAX 추진
#데이터 준비도#가치 평가 2026.11.05 ↗