AX Strategy

Product Sense: AI 초안을 더 낫게 고치는 판단력이 제품 인력의 유일한 해자

Shreyas Doshi는 몇 년 안에 모든 회사가 거의 모든 제품 활동에 AI를 쓰게 되면 도구 숙련은 우위가 아니게 되고 이미 강한 AI 산출물을 더 낫게 만드는 판단력(Product Sense 5요소)만 해자로 남는다고 봅니다. AI 초안 대비 개선을 블라인드로 채점하는 평가 방법, 5요소 루브릭, 채용 면접 질문을 붙였습니다.

출처
Shreyas Doshi Substack · Shreyas Doshi
원문 제목
Why Product Sense is the only product skill that will matter in the AI age
유형
포스트
읽은 날
2026.10.27
원문 발행
2026.03.05

AI 도구는 몇 년 안에 모든 회사가 비슷하게 쓰게 되므로, 도구를 먼저 익혀서 얻는 우위는 오래가지 않습니다. Shreyas Doshi는 제품 인력에게 남는 해자가 이미 잘 만든 AI 산출물을 한 번 더 낫게 만드는 판단력이라고 봅니다. 그는 이 판단력을 공감·시뮬레이션·전략·취향·창의적 실행 다섯 가지로 나눠 Product Sense라고 부릅니다. 조직이 이 기준을 쓰려면 AI 초안을 기준선으로 두고 사람이 더한 차이를 채점하는 평가 방식부터 갖춰야 합니다.

요약

Shreyas Doshi는 2026년 3월 5일 자신의 Substack에 새 AI 도구가 제품 일을 어떻게 바꾸느냐는 질문에 답하는 글을 올렸습니다. 결론부터 말하지 않습니다. 독자가 가정을 바꿔 보며 자기 예측을 내도록 working backwards(미래 상태를 먼저 정하고 거꾸로 따져 오는 추론) 과정을 그대로 펼칩니다. 출발 가정은 1~7년 뒤(시점은 독자가 고름) 경쟁력 있는 회사라면 discovery부터 디자인, 코딩, 분석, 영업, 그로스, 실험까지 거의 모든 제품 활동에 AI를 쓴다는 전제입니다. 그렇게 되면 도구는 서로 바꿔 쓸 수 있는 물건이 됩니다. 어떤 도구가 앞선다는 사실은 금방 모두가 알게 됩니다. 저자는 도구가 제품 성공의 주된 원천이었던 적이 없고 AI도 이를 바꾸지 않는다고 봅니다.

미래 전제1~7년 뒤거의 모든 제품활동에 AI도구 평준화앞선 도구는금방 모두 씀차별화 원천AI 산출물을더 낫게 만들기누가책임지는제품 리더어떤 역량Product Sense5요소
저자의 working backwards 사슬을 다섯 고리로 다시 그림.

그래서 지금 AI 도구를 잘 쓰는 것은 오래가는 우위가 아닙니다. 저자는 제품 인력의 약 80~90%가 아직 AI-native가 아니라서 당장은 앞설 수 있다고 인정합니다. 하지만 길게 보면 가장 AI에 능숙한 사람들과 겨루게 됩니다. 도구가 같아지면 차이는 AI가 내놓은 고객·시장·분석 인사이트, 전략, 우선순위, GTM 아이디어를 얼마나 더 낫게 만드느냐에서 납니다. 저자는 이 능력을 유일하게 지속되는 커리어 해자로 꼽으며 대부분이 넘기 어려운 기준이라고 덧붙입니다. 그 능력의 바탕인 좋은 제품 결정을 다섯 요소로 나눈 묶음이 Product Sense입니다. 글 끝에는 저자가 이 논지를 놓고 Claude와 토론한 기록이 붙어 있습니다. 아래에서는 추론의 고리와 다섯 요소를 풀고 조직이 ‘AI 초안보다 낫게 만드는 능력’을 평가·훈련·채용에 쓰는 방법을 덧붙였습니다.

AI 숙련의 가치: 지금과 1~7년 뒤지금제품 인력 약 80~90%가아직 AI-native 아님AI 도구 숙련 = 단기 우위1~7년 뒤 (시점은 독자가 고름)가장 AI에 능숙한제품 인력끼리 경쟁해자 = 산출물을 더 낫게 만드는 능력
단기 우위와 장기 해자. 80~90%는 저자의 추정.

핵심 메커니즘

Working Backwards: 미래 상태에서 거꾸로 따져 오는 추론

저자는 결론 대신 가정과 추론 사슬을 공개합니다. 입력은 미래 시점과 ‘AI가 거의 모든 제품 활동에 쓰인다’는 전제입니다. 여기서 도구 평준화, 차별화의 원천, 누가 그 일을 하나, 어떤 역량이 필요한가 순서로 한 고리씩 따라갑니다. 출력은 저자의 결론이 아니라 독자가 직접 낸 예측입니다. 독자가 스스로 생각하길 바라서입니다. 가정을 알고 있으면 나중에 어느 고리가 무너졌는지 짚을 수 있습니다.

이 방식은 불확실한 미래를 놓고 커리어나 조직 결정을 내릴 때 맞습니다. 시점을 정하는 것이 첫 결정입니다. 가상 예시로, 한 CPO가 시점을 2년으로 잡으면 ‘AI 도구에 능숙한 PM 채용’이 아직 유효한 전략입니다. 7년으로 잡으면 같은 예산을 판단력 평가와 훈련에 더 나눠야 합니다.

입력: 가정시점 1~7년 (독자가 고름)모든 제품 활동에 AI도구는 서로 대체 가능처리: 한 고리씩가정을 공개독자가 바꿔 봄결론이 따라 바뀜출력: 내 예측남의 결론이 아니라내가 낸 예측가정이 틀리면 고침
Working Backwards. 결론보다 가정과 추론 과정을 먼저 보여 줌.

Tool Parity: 도구가 같아지면 도구 우위는 사라진다

저자가 꼽은 제품 활동은 discovery부터 experimentation까지 열세 가지입니다(아래 그림). 이 모두에 AI가 들어가면 어떤 회사가 어떤 도구를 쓰느냐는 차이를 만들지 못합니다. 앞선 도구는 금방 알려지고 경쟁사도 그 도구를 씁니다. 팀은 더 작아지고 경쟁은 더 치열해집니다.

저자는 지금 AI 숙련이 실제 우위라는 점을 부정하지 않습니다. AI-native가 아닌 사람이 다수이기 때문입니다. 다만 이 우위에는 유효기간이 있고 그 뒤에 남는 차이는 같은 도구가 낸 산출물을 누가 더 낫게 고치느냐 하나라고 봅니다.

저자가 꼽은 제품 활동 13개 · 모두에 AI가 들어간다는 전제discoverydesignprototypingcodingtestingdeploymentanalyticscustomer feedbackcompetitive analysissalesmarketinggrowthexperimentation도구 차이 → 곧 평준화남는 차이: 같은 도구가 낸 산출물을 누가 더 낫게 고치나
Tool Parity. 활동 목록은 원문, 배치는 새로 그림.

Improving on AI Output: 이미 강한 산출물을 한 번 더 낫게 만드는 능력

비교 대상이 약한 초안이 아니라는 점이 이 주장의 무게입니다. 저자는 이미 강한 AI 산출물을 더 낫게 만드는 능력을 해자로 꼽습니다. 지난 1년 동안 LLM이 얼마나 나아졌는지 보고 앞으로를 외삽해 보라고도 권합니다. 기준선이 해마다 오른다는 뜻입니다. 대상 산출물은 고객 인사이트, 시장 인사이트, 분석 인사이트, 전략, 우선순위, GTM 아이디어입니다.

작동 방식으로 보면 입력은 AI가 낸 최선의 초안, 처리는 책임자의 판단, 출력은 초안과의 차이입니다. 그 차이가 0이면 그 사람은 AI 초안을 전달하는 역할에 그칩니다. 가상 예시로, AI가 만든 경쟁 분석에 시장 규모와 기능 비교표가 잘 정리돼 있다면 개선은 표를 다듬는 데서 나오지 않습니다. ‘이 중 어느 세그먼트를 버릴지’와 ‘왜 지금인지’를 더할 때 나옵니다.

이미 강한 AI 산출물고객·시장 인사이트분석 인사이트전략·우선순위GTM 아이디어책임자의 판단AI가 못 본 니즈미래 시나리오고르고 설명하기개선 폭 = 해자도구가 같아도사람마다 다름기준선은 계속 오름
Improving on AI Output. 산출물 종류는 원문, 판단 항목은 5요소 요약.

Accountable Product Leader: 결정을 책임지는 사람

저자는 그 일을 하는 사람을 결과에 책임지는(accountable) 제품 리더로 봅니다. ASI(초지능)가 오기 전까지는 소수의 사람이 대부분 AI가 만든 입력과 출력을 놓고 결정하고 그 결정을 책임집니다. 그러면 질문은 ‘어떤 역량이 있어야 그 사람에게 결정을 맡길 수 있나’로 바뀝니다. 저자의 답은 제품 결정을 잘 내리는 능력입니다.

산출물을 만드는 일은 AI로 옮겨 가도 무엇을 내보낼지 정하고 책임지는 자리는 남습니다. 그 자리에 앉힐 사람을 고르는 기준이 Product Sense입니다.

AI가 만든 것입력 (리서치·분석)출력 (전략·기능안)소수의 책임자ASI 전까지결정은 사람 몫신뢰의 근거제품에 대해좋은 결정을 내림
Accountable Product Leader. 신뢰를 정당화하는 역량이 질문의 출발점.

Product Sense: 좋은 제품 결정을 다섯으로 나눈 묶음

저자는 좋은 제품 결정을 다섯 역량으로 나누고 그 묶음을 편의상 Product Sense라고 부릅니다. Strong empathy(공감)는 AI가 이미 분석한 것 너머의 니즈를 알아내는 능력입니다. Excellent simulation(시뮬레이션)은 도메인·기술·경쟁·고객과 사용자를 이해한 바탕에서 앞으로 일어날 수 있는 일을 그려 보는 능력입니다. Stellar strategic thinking(전략적 사고)은 제품이 반드시 공감을 얻어야 할 세그먼트와 차별점을 짚는 능력입니다. Great taste(취향)는 강한 추천안 가운데 사업 목표에 가장 맞는 것을 고르고 그 이유를 남에게 분명히 설명하는 능력입니다. Creative execution(창의적 실행)은 좋은 인사이트와 선택지를 바탕으로 경쟁사가 쉽게 따라 하지 못할 기능과 해법을 떠올리는 능력입니다.

다섯 요소는 모두 AI 산출물을 전제로 정의돼 있습니다. 공감은 ‘AI가 분석한 것 너머’, 취향은 ‘강한 추천안 가운데’ 고르는 일입니다. 그래서 평가할 때도 AI 초안 옆에 놓고 무엇이 더해졌는지를 봐야 합니다. 저자는 이 분해를 현재 AI 물결 전인 약 2년 전 강의용 마인드맵으로 만들었다고 밝힙니다.

저자의 정의 (요약)AI 초안 대비 더하는 것Strong empathyAI가 분석한 것 너머의 니즈새 인터뷰·관찰에서 온 근거Simulation도메인·기술·경쟁·사용자의 미래가정이 다른 시나리오 여러 개Strategic thinking꼭 공감을 얻을 세그먼트·차별점버릴 세그먼트를 명시Great taste목표에 가장 맞는 추천 고르기고른 이유를 남에게 설명Creative execution베끼기 어려운 기능·해법경쟁사가 못 따라올 조합
가운데 열은 원문 정의를 줄인 것, 오른쪽 열은 평가할 때 볼 흔적(새로 작성).

Two Tiers: 시스템은 생존 문턱, Product Sense는 상위권 사이의 차별화

이 구분은 저자가 글에 붙인 Claude와의 토론 기록에 나옵니다. Claude는 AI 주변의 좋은 시스템(피드백 루프, 데이터 파이프라인, 결정 워크플로)을 별도의 해자로 인정하라고 제안했습니다. 저자는 둘을 층으로 나눠 답합니다. 좋은 시스템은 상위 회사와 나머지를 가르는 생존 문턱이고 그 문턱을 넘은 회사들 사이의 차이는 결정하는 사람들의 Product Sense에서 납니다. Claude는 이 구분에 동의했습니다. 1층을 넘지 못한 회사는 위험하다는 데에도 의견이 같았습니다.

이 구분을 쓰면 투자 순서가 정해집니다. 데이터와 워크플로 없이 판단력 평가부터 하면 잴 산출물이 없고 시스템만 갖추면 경쟁사와 같은 지점에 멈춥니다.

1층 · 생존 문턱AI 주변의 좋은 시스템 (피드백 루프, 데이터 파이프라인, 결정 워크플로)2층 · 상위 회사 사이의 차별화결정하는 사람들의 Product Sense1층을 못 넘으면AI-native 경쟁자에게 밀려남
Two Tiers. 저자가 Claude와의 토론에서 내놓은 구분(부록).

Seven Powers: 판단이 상류의 입력이고 해자는 그 결과

저자는 2025년 트윗에서 AI 시대의 seven powers를 꼽았습니다. 독점적 고품질 데이터, 독특하게 옳은 인사이트, 최적의 UX, 유통·번들링, 틈새 비즈니스 모델, 규제 포획·정부 관계, 긴 런웨이입니다. 저자는 이것이 정도의 문제이며 1·2·3·6번이 더 중요하다고 봅니다. 토론에서 Claude는 처음에 유통, 규제, 런웨이를 Product Sense와 무관한 구조적 해자로 봤습니다. 저자가 반박하자 Claude는 그것들도 시장과 고객, 이해관계자를 읽은 판단이 만든 결과라고 인정했습니다.

토론은 Product Sense가 상류의 입력이고 seven powers는 그 결과라는 결론으로 끝납니다. 데이터 독점이나 유통망에 투자할 때도 그 자산을 어디에 쓸지 정하는 사람의 판단이 먼저라는 뜻입니다.

Product Sense상류의 입력 (판단)1 독점적 고품질 데이터2 독특하게 옳은 인사이트3 최적의 UX4 유통·번들링5 틈새 비즈니스 모델6 규제 포획·정부 관계7 긴 런웨이하류의 결과주황 = 저자가더 중요하다고본 1·2·3·6
Seven powers는 저자의 2025년 트윗, 상류·하류 정리는 부록 토론의 결론.

통념과 다른 주장

흔히 이렇게 봅니다AI 도구를 빨리, 많이 익혀 두면 AI 시대에도 커리어가 안전하다.

저자는 이렇게 봅니다AI 도구 숙련은 단기 우위일 뿐입니다. 도구는 곧 평준화되며 오래가는 해자는 이미 강한 AI 산출물을 더 낫게 만드는 능력 하나입니다.

근거앞선 도구는 금방 모두가 알게 되고 도구는 제품 성공의 주된 원천이었던 적이 없습니다. 지금 우위가 생기는 이유는 제품 인력의 약 80~90%가 아직 AI-native가 아니기 때문이고 그 비율은 줄어듭니다.

흔히 이렇게 봅니다저자는 이렇게 봅니다· AI 도구를 빨리 익히면 커리어가 안전· 도구 숙련이 곧 경쟁력· 도구 숙련은 단기 우위일 뿐· 도구는 곧 평준화· 해자는 산출물을 고치는 능력
통념과 저자의 주장 1.

흔히 이렇게 봅니다AI가 분석과 전략 초안까지 쓰게 되면 사람 PM의 판단이 차지하는 몫은 줄어든다.

저자는 이렇게 봅니다ASI 전까지 결정의 책임은 소수의 사람에게 남습니다. AI 초안이 강해질수록 그 위에 무엇을 더하느냐가 결정의 질을 가르므로 판단력의 몫은 오히려 커집니다.

근거저자는 책임자를 신뢰하게 만드는 역량을 좋은 제품 결정으로 정의하고 다섯 요소로 나눴습니다. 부록 토론에서 Claude가 'conviction under uncertainty', 'knowing when to override AI' 같은 대안을 시험했지만 모두 다섯 요소의 조합으로 수렴했습니다.

흔히 이렇게 봅니다저자는 이렇게 봅니다· AI가 전략 초안까지 쓰면· 사람의 판단 몫은 줄어든다· ASI 전까지 결정 책임은 사람에게· 그래서 판단력의 몫이 더 커짐· 초안이 강해질수록 기준도 오름
통념과 저자의 주장 2.

저자가 든 사례

2022년 10월 트윗과 Product Sense 강의

  • 상황: 저자는 Product Sense 강의를 팔고 있으니 이 글이 강의 홍보를 위한 주장으로 읽힐 수 있다고 스스로 짚습니다.
  • 한 일: 이 변화를 수년 전에 봤기 때문에 강의를 시작했다고 답합니다. 근거로 ChatGPT 출시 전인 2022년 10월 커뮤니티에 올린 트윗을 듭니다. 강의 마인드맵도 현재 AI 물결 전인 약 2년 전에 만들었다고 밝힙니다.
  • 결과: 저자는 당시 영향을 오히려 과소평가했으며 AI의 영향이 웹보다 클 것이라고 봅니다. 강의 수강생 수나 성과 수치는 원문에서 밝히지 않았습니다.
  • 연결: Working Backwards의 사례입니다. 결론만 내놓지 않고 자신이 언제 무엇을 근거로 판단했는지 공개해, 독자가 편향 여부를 직접 따져 보게 합니다.
2022.10커뮤니티에 트윗ChatGPT 출시 전약 2024Product Sense 강의마인드맵 제작2026.03.05이 글 발표편향 지적에 답함저자: 당시 영향을 과소평가했고, AI의 영향은 웹보다 클 것
편향 지적에 대한 저자의 답. '약 2024'는 글 시점 기준 약 2년 전.

Claude와의 토론: 반론을 하나씩 세워 시험하기 (부록)

  • 상황: 저자는 본문 논지를 검증하려고 Claude와 논쟁하고 그 기록을 글에 붙였습니다. 아래 반론은 Claude가, 반박은 저자가 했습니다.
  • 한 일: Claude는 논리와 working backwards 구조를 타당하다고 본 뒤 두 가지를 제안했습니다. 조직·시스템 해자를 인정할 것, 다섯 요소 분해가 저자 고유의 모델임을 밝힐 것입니다. 강의 홍보 의혹을 방어한 대목은 저자를 모르는 독자에게 동기화된 추론으로 읽힐 수 있다고도 짚었습니다. 이어 유통·네트워크 효과, 독점 데이터, 결정 속도, 구조적 해자를 반론으로 세웠습니다.
  • 결과: 시스템 해자는 Two Tiers로, 유통과 독점 데이터는 seven powers 안으로 정리됐습니다. 결정 속도는 Claude가 철회했습니다. 속도는 주로 되돌릴 수 있는 결정에서 중요하고 빠른 B+ 결정이 쌓이면 큰 오류가 된다는 이유였습니다(Bezos의 ‘disagree and commit’, one-way-door 결정). 구조적 해자도 판단의 산물이라고 Claude가 인정했습니다.
  • 연결: Two Tiers와 Seven Powers의 출처입니다. 저자가 AI를 반론 상대로 써서 자기 논지를 시험한 방식 자체가, 아래 기술 디테일에서 쓰는 ‘반론 생성’ 단계의 본보기가 됩니다.
정리 근거결과조직·시스템 해자저자: 생존 문턱일 뿐Two Tiers로 정리5분해의 고유성대안도 다섯 조합Claude 철회유통·네트워크 효과seven powers 4번이미 포함독점 데이터seven powers 1번이미 포함결정 속도빠른 B+가 쌓이면 오류Claude 철회구조적 해자유통·규제도 판단의 산물Claude 인정
부록 토론 기록 정리. 반론은 Claude가, 반박은 저자가 했다.

기술 디테일: AI 초안 대비 개선을 재는 평가 파이프라인

원문의 기준을 조직에서 쓰려면 ‘AI 산출물을 더 낫게 만드는 능력’을 잴 수 있어야 합니다. 아래는 그 측정 장치를 AI로 돌리는 방법입니다. 숫자는 모두 가상 예시입니다.

강한 기준 초안을 먼저 만들려면 (Improving on AI Output). 비교 대상이 약하면 누구나 개선한 것처럼 보입니다. 실제로 지난 분기에 내린 결정 3개를 과제로 고릅니다(예: 진입 세그먼트 선정, 다음 분기 로드맵 우선순위, 신기능 GTM). 과제마다 입력 묶음을 고정합니다. 고객 인터뷰 녹취 10~15건, 지원 티켓 표본 200건, 사용 지표 추출본, 경쟁사 공개 자료(확인 날짜를 기록)입니다. 같은 프롬프트로 서로 다른 계열 모델 두 개를 각 3회 돌려 초안 6개를 만듭니다. temperature는 기본값으로 둡니다. 시니어 PM 2명이 그중 가장 나은 1개를 골라 기준 초안(baseline)으로 씁니다. 저자가 지난 1년의 LLM 발전을 외삽하라고 한 만큼, 모델은 분기마다 그때의 최신 모델로 바꿔 기준선이 오르는 것을 반영합니다.

입력 묶음 고정녹취 10~15건지원 티켓 200건지표·경쟁 자료2계열 × 3회같은 프롬프트기본 temperature초안 6개best-of-6시니어 2명이가장 나은 1개 선택기준 초안참가자에게 배포분기마다 모델 교체
기준 초안 만들기(가상 예시). '이미 강한' 산출물이 비교 대상.

개선본을 블라인드로 비교하려면 (Product Sense 5요소). 참가자는 기준 초안과 같은 입력 묶음을 받고 과제당 90분 안에 개선본을 냅니다. AI 도구는 자유롭게 씁니다. 도구를 막으면 원문이 말하는 경쟁 조건과 달라지기 때문입니다. 분량은 A4 2쪽으로 제한하고 제출본은 LLM으로 서식만 통일합니다(내용 수정 금지를 지시하고 원본과 diff로 확인). 평가자는 사람 3명과 LLM judge 1개입니다. judge는 기준 초안을 만든 모델과 다른 계열을 써서 자기 산출물 선호를 피합니다. 쌍 비교는 A·B 순서를 바꿔 두 번 돌립니다. judge에는 과제 설명, 분기 목표, 입력 묶음 요약, 이름을 가린 두 문서, 루브릭의 0·3·5점 기준을 넣습니다. 출력은 structured output으로 아래 JSON 스키마에 맞춰 받습니다.

{
  "task_id": "T2-roadmap",
  "pair_id": "P07",
  "order": "AB",
  "winner": "B",
  "scores": { "empathy": 4, "simulation": 3, "strategy": 4, "taste": 5, "creative_execution": 2 },
  "added_beyond_baseline": ["이탈 고객 2명 재인터뷰로 확인한 가격 외 이탈 사유", "버릴 세그먼트 1개와 그 이유"],
  "evidence_tags": ["new_interview", "reasoning"],
  "rationale": "B는 기준 초안의 우선순위 3개 중 1개를 빼고 그 이유를 매출 목표와 연결했다"
}

편차와 judge 신뢰도를 관리하려면. 같은 쌍을 judge로 3회 채점해, 요소 점수의 표준편차가 1점을 넘으면 사람 재검토로 넘깁니다. 첫 회차에서 LLM judge의 승패 판정과 사람 3명의 다수결이 80% 미만으로 일치하면 judge는 쓰지 않고 사람만 채점합니다. 길이 편향도 봅니다. 개선본 글자 수와 승률의 상관이 뚜렷하면 분량 제한을 더 좁힙니다. 두 순서(AB, BA)의 결과가 엇갈린 쌍은 무승부로 처리합니다. 참가자 10명이 과제 3개를 하면 1인당 비교는 3쌍뿐이라 승률의 오차가 큽니다. 개인 판정은 세 과제를 합산해 내고 한 과제 결과만으로 결론 내지 않습니다.

Empathy와 Simulation을 근거로 확인하려면. 개선본의 주장마다 출처 태그를 붙이게 합니다. Empathy는 ‘입력 묶음 밖’에서 온 근거가 있는 니즈만 인정합니다. 원문 정의가 ‘AI가 분석한 것 너머’이기 때문입니다. Simulation은 가정이 서로 다른 시나리오 3개 이상과 각 시나리오의 조기 신호 지표, 확인 시점을 요구합니다. 6개월 뒤 실제 결과와 대조해 어느 시나리오가 맞았는지 기록하면 다음 평가의 보정 자료가 됩니다.

뜻채점 반영input_bundleAI 입력에 이미 있음Empathy 가점 없음new_interview새 인터뷰에서 확인Empathy 인정field_observation현장·사용 관찰Empathy 인정scenario가정 + 조기 신호Simulation 인정reasoning추론만, 근거 없음Taste 설명으로만
출처 태그(가상 예시). 'AI가 분석한 것 너머'를 근거로 확인.

반론 생성으로 Taste를 시험하려면 (Claude 토론 사례). 저자가 Claude에게 반론을 세우게 했듯, 참가자의 최종 추천에 LLM이 가장 강한 반론 3개를 만들게 합니다. 참가자는 15분 안에 각 반론을 받아들이거나 반박합니다. 평가자는 그 답이 사업 목표와 연결되는지를 Taste 점수에 넣습니다. 프롬프트에 회사의 분기 목표와 제약을 넣어야 일반론이 아닌 반론이 나옵니다.

실패증상대응
기준 초안이 약함거의 모든 개선본이 이김(승률 85% 이상)best-of-6 다시 고르기, 최신 모델로 교체
문체에 끌림잘 쓴 글이 내용과 무관하게 이김서식 통일, 요약 3줄을 따로 채점
judge 자기 선호judge가 자기 계열 초안을 편듦judge를 다른 계열로, 사람 다수결 우선
입력 밖 근거 꾸밈확인할 수 없는 인터뷰 인용녹취 파일과 날짜 제출 의무화

현업 실행 디테일: 누가, 언제, 무엇을

역할담당4주 동안 하는 일
스폰서CPO 또는 제품 총괄 임원과제 3개 승인, 결과를 평가·채용에 쓸 범위 결정
프로그램 오너프로덕트 운영 리드 1명일정·입력 묶음·참가자 관리
평가 패널시니어 PM 2명, 디자인 또는 엔지니어링 리드 1명기준 초안 선택, 블라인드 채점, 보정 회의
AI 담당엔지니어 1명초안 생성, judge 실행, 결과 JSON 집계
인사HRBP 또는 채용 담당 1명루브릭을 채용·승진 기준에 옮기는 검토
참가자PM 8~12명과제당 90분 개선, 반론 대응 15분

시작 전 준비물: 지난 2~3분기에 실제로 내린 제품 결정 3개와 그 결과 기록(무엇이 일어났는지 알아야 사후 보정이 됩니다), 과제별 입력 묶음, 개인정보를 지운 인터뷰 녹취, 회사의 분기 목표 문서, 참가자에게 줄 과제 설명 1쪽.

주차할 일산출물
1주과제 3개 선정, 입력 묶음 고정, 기준 초안 생성과제 설명서, baseline 3개
2주참가자 개선본 제출, 반론 대응개선본 24~36개
3주블라인드 채점, 편차 큰 쌍 보정 회의채점 JSON, 요소별 점수표
4주1:1 피드백, 훈련 계획, 채용 질문 확정개인 리포트, 면접 질문 세트
1주2주3주4주과제·입력 묶음준비기준 초안 생성best-of-6참가자 개선과제당 90분블라인드 채점사람 3 + judge보정 회의편차 큰 쌍1:1 피드백·채용 질문확정
4주 파일럿 일정(가상 예시).

5요소 루브릭(가상 예시). 요소마다 0·3·5점의 기준만 정하고 사이 점수는 평가자가 판단합니다.

요소0점3점5점
Empathy기준 초안의 니즈를 다시 씀입력 묶음 안에서 놓친 니즈를 찾음입력 밖 근거(새 인터뷰·관찰)로 새 니즈를 확인
Simulation시나리오 없음시나리오 2개, 가정이 비슷함가정이 다른 시나리오 3개 이상, 조기 신호와 확인 시점
Strategic thinking모든 세그먼트를 다 노림핵심 세그먼트를 고름핵심 세그먼트, 버릴 세그먼트, 차별점을 함께 제시
Taste추천안을 나열하나를 골랐으나 이유가 약함하나를 고르고 목표와 연결해 설명, 반론 3개에 답함
Creative execution경쟁사와 같은 기능조합은 새롭지만 쉽게 베낌경쟁사가 따라 하기 어려운 해법과 그 이유

채용 면접 질문(가상 예시). 면접은 60분입니다. 지원자에게 과제 설명, 입력 묶음, AI 기준 초안을 하루 전에 줍니다. 면접에서는 30분 동안 화면을 공유하며 초안을 고치게 하고(AI 도구 사용 허용), 30분 동안 아래를 묻습니다.

  • 이 초안에서 가장 먼저 지운 문장은 무엇이고 왜 지웠습니까? (Taste)
  • 이 초안이 놓친 고객 니즈를 하나 꼽는다면 입력 자료 밖에서 그것을 어떻게 확인하겠습니까? (Empathy)
  • 경쟁사가 6개월 안에 같은 기능을 내면 이 계획에서 무엇이 바뀝니까? (Simulation)
  • 이 제품이 포기해야 할 고객은 누구입니까? (Strategic thinking)
  • 우리만 할 수 있고 경쟁사가 베끼기 어려운 부분은 어디입니까? (Creative execution)
  • 방금 고친 내용에 가장 강한 반론을 직접 말해 보세요. 그래도 그 선택을 유지합니까? (Taste)
사전 공개과제 설명입력 묶음AI 기준 초안30분 개선화면 공유AI 도구 사용 허용30분 질의5요소별 질문고른 이유 설명채점루브릭 0·3·5면접관 2명 각자
AI 초안 개선형 면접(가상 예시).

진행 판정 기준(가상 예시). 개인 단위로는 기준 초안 대비 블라인드 승률이 60% 이상이고 5요소 평균이 3.5 이상이면 강점으로 보고 다음 회차의 평가 패널로 지정합니다. 승률이 50% 이하면 AI 초안을 넘지 못한 것으로 보고 가장 낮은 요소 하나를 골라 다음 분기 훈련 대상으로 삼습니다. 팀 단위로는 분기마다 같은 방식을 반복해 승률이 오르는지 봅니다. 모델이 바뀌어 기준선이 올랐는데도 승률이 유지되면 판단력이 실제로 늘었다는 신호입니다.

개선본의 블라인드 승률 (기준 초안 대비, 가상 예시)050%60%100%· 50% 이하: AI 초안을 넘지 못함, 훈련 대상· 50~60%: 보통, 약한 요소 하나를 골라 다음 분기 훈련· 60% 이상이고 5요소 평균 3.5 이상: 강점, 리뷰어로 지정
진행 판정 기준(가상 예시). 경계값은 과제 난이도에 맞춰 조정.

AX 적용 제언. AX 교육이 도구 사용법과 프롬프트 작성에 집중돼 있다면 저자의 논리로 볼 때 그 교육은 1층(생존 문턱)을 넘기 위한 투자입니다. 상위권에서 차이를 만드는 2층에는 닿지 않습니다. 순서는 이렇게 잡는 것이 무난합니다. 먼저 데이터와 워크플로를 갖춰 AI가 쓸 만한 초안을 내게 만듭니다. 그다음 위의 4주 파일럿으로 ‘AI 초안 대비 개선’을 재고 결과를 PM 승진·채용 기준에 옮깁니다. 전략기획, 마케팅, 사업개발처럼 AI가 보고서 초안을 쓰는 부서도 같은 측정을 쓸 수 있습니다. 결과를 인사 평가에 바로 넣으면 참가자가 방어적으로 바뀌므로, 첫 두 회차는 개발용 피드백으로만 쓰고 기준이 안정된 뒤 채용 면접부터 적용하는 편이 안전합니다.

원문 사례

항목내용
저자·발표처Shreyas Doshi, 본인 Substack(2026.03.05), 전문 공개
추론 방식working backwards. 결론을 먼저 말하지 않고 가정과 추론 사슬을 공개
시점 전제1~7년 뒤(독자가 고름), 경쟁력 있는 모든 회사가 거의 모든 제품 활동에 AI 사용
제품 활동discovery, design, prototyping, coding, testing, deployment, analytics, customer feedback, competitive analysis, sales, marketing, growth, experimentation
단기 우위제품 인력의 약 80~90%가 아직 AI-native가 아님(저자 추정)
개선 대상고객 인사이트, 시장 인사이트, 분석 인사이트, 전략, 우선순위, GTM 아이디어
해자이미 강한 AI 산출물을 더 낫게 만드는 능력. 대부분이 넘기 어려운 기준
책임자결과에 책임지는 제품 리더. ASI 전까지 소수의 사람이 결정 책임
Product SenseStrong empathy, Excellent simulation, Stellar strategic thinking, Great taste, Creative execution
편향 지적에 답한 근거2022년 10월(ChatGPT 출시 전) 커뮤니티 트윗, 약 2년 전 강의 마인드맵
부록Claude와의 토론. Two Tiers, seven powers(저자 2025년 트윗), 반론 6개와 처리 결과

핵심 개념

AI-native
일의 기본 방식이 AI 도구를 쓰는 것을 전제로 짜인 사람. 저자는 제품 인력 대부분이 아직 여기에 해당하지 않는다고 본다.
ASI
Artificial superintelligence. 사람을 넘어서는 AI. 저자는 그 전까지 결정 책임이 사람에게 남는다고 본다.
GTM
Go-to-market. 제품을 누구에게 어떤 경로와 메시지로 팔지 정하는 계획.
disagree and commit
반대 의견을 말한 뒤에도 결정이 나면 그 결정에 따르는 원칙. 부록 토론에서 결정 속도 논의에 쓰였다.
one-way door
한 번 내리면 되돌리기 어려운 결정. 되돌릴 수 있는 결정과 달리 속도보다 정확성이 중요하다.
LLM judge
LLM이 두 결과물을 비교·채점하는 평가 방식.

내 메모

TODO: 내 생각 추가

원문: Shreyas Doshi, “Why Product Sense is the only product skill that will matter in the AI age”(Shreyas Doshi Substack, 2026.03.05). 요약·메커니즘·통념과 다른 주장·사례·원문 사례 표는 글의 내용을 AX Review가 다시 정리했습니다. Two Tiers, seven powers의 상류·하류 정리, 반론 처리 결과는 저자가 글에 붙인 Claude와의 토론 기록에서 가져왔으며 그 안의 Claude 발언은 저자의 발언이 아닙니다. 저자는 글을 이렇게 맺습니다: “Only thing that matters to me is that you think for yourself.” 기술·현업 디테일, JSON 예시, 루브릭, 면접 질문, 일정·판정 기준, 인포그래픽은 새로 작성했으며 숫자는 가상 예시입니다. 원문의 강의 마인드맵은 다시 그리지 않았습니다. 원문 전체는 저자의 Substack에서 볼 수 있습니다.

Related

함께 읽으면 좋은 노트

AX Strategy포스트

Hunger beats tenure: 코딩 면접을 접고 prototype으로 사람을 고르는 Anthropic 팀

Felix Rieseberg 블로그 · Felix Rieseberg(Anthropic)

Anthropic 엔지니어링 매니저 Felix Rieseberg는 Claude가 작은 코딩 과제를 사람보다 잘 풀자 자기 팀 채용에서 코딩 면접을 뺐습니다. 대신 지원자가 만든 작은 prototype에서 안목과 공감, 원칙을 봅니다. 연차보다 의욕이 앞선다는 근거와 AI 허용 과제 평가안, 4주 전환 일정을 붙였습니다.

CHROCIO·CTO현업 리더
#조직 설계#AI fluency 2026.10.30 ↗
AX Strategy아티클

Stealth Innovation: Capital One이 직원 눈에 띄지 않는 AI로 업무 단계를 줄이고 가설로 실험하는 법

VentureBeat · Maureen Jules-Perez (Capital One, 후원 콘텐츠)

Capital One 엔터프라이즈 기술 MVP가 VentureBeat 후원 기고에서 좋은 사내 AI는 직원이 의식하지 못한 채 업무 단계를 줄여 주는 AI라고 말합니다. 12단계를 2단계로 줄인 업무 예, 가설 기반 5단계 실험, 리더십 세 기둥을 다룹니다. 단계 지도, 측정 지표, 6주 파일럿을 붙였습니다.

CIO·CTOAX 추진현업 리더
#조직 설계#프로세스 개선 2026.10.28 ↗
AX Strategy아티클

The 3 Levels of AI Workflows: 채팅창 AI를 일이 사는 도구에 연결해 복사·붙여넣기를 없애는 단계

Alpha Work · Barry Winata, Wyndo

AI를 잘 쓰는 사람과 못 쓰는 사람의 차이는 프롬프트가 아니라 AI가 일하는 도구에 연결돼 있느냐에 있다는 글. 채팅창(Level 1)에서 커넥터 연결(Level 2)을 거쳐 에이전트 작업 공간(Level 3)으로 가는 단계와, 이를 부서 진단·권한 승인·공용 skill 라이브러리·12주 확산 계획으로 옮기는 방법을 붙였습니다.

AX 추진현업 리더CIO·CTO
#AI fluency#에이전트 2026.10.27 ↗