VLM-OCR Fusion Scoring: Amazon이 상품 상세 A+ 콘텐츠 품질을 자동 판정하고 고칠 점까지 알려 주는 방법

VLM 점수를 그대로 판정에 쓰지 않고 '특징'으로 받아, 사람 전문가의 판정에 맞춘 작은 분류기에 넣으면 정확도와 설명력을 함께 얻습니다. 따라 하려면 전문가 라벨 수천 건, VLM이 약한 부분을 메우는 측정 신호, 판정 이유를 고칠 일로 바꾸는 권고 단계가 필요합니다.

요약

Amazon Marketplace 팀은 상품 상세 페이지 아래쪽의 A+ 콘텐츠(판매자가 이미지와 설명을 자유롭게 꾸미는 영역)의 품질을 자동으로 판정하는 체계를 Amazon SageMaker AI 위에 만들었습니다. A+ 콘텐츠에는 이미지 비율이나 글자 수 규격이 없어서 브랜드마다 품질 차이가 큽니다. 팀은 페이지 전체를 고객이 보는 모습 그대로 한 장으로 캡처했습니다. 미세조정하지 않은 VLM(vision-language model, 이미지와 글을 함께 읽는 모델)이 네 항목을 0~10점과 근거 문장으로 매기고 OCR이 글자 밀도와 여백 같은 가독성 신호 네 개를 뽑습니다. 이 여덟 값을 CatBoost(작은 표 데이터에 강한 결정 트리 앙상블) 분류기에 넣어 고품질과 저품질을 가릅니다.

전문가 1명과 주석자 4명이 10개 카테고리 5,478페이지에 붙인 합의 라벨로 성능을 쟀습니다. 네 점수를 평균해 고정 임계값으로 자르는 방식은 정확도 0.80, F1 0.84에 그쳤습니다. VLM 점수를 CatBoost에 넣자 0.89와 0.90이 되었고 OCR 신호까지 묶자 0.94와 0.95가 되었습니다. 저품질 판정이 나면 SHAP(각 특징이 판정을 얼마나 밀었는지 재는 방법)으로 원인을 줄 세우고 LLM이 이를 판매자용 수정 권고로 바꿉니다. 권고를 반영해 고친 페이지는 10점 척도에서 평균 1.4점 올랐고 저품질 콘텐츠의 노출을 조정한 전 세계 A/B 시험에서는 주문 매출이 통계적으로 의미 있게 늘었습니다. 아래에서 이 결과를 만든 다섯 가지 장치와 실제로 돌릴 때 필요한 설정, 역할, 일정을 차례로 봅니다.

핵심 메커니즘

Whole-Page Snapshot: 고객이 보는 화면을 통째로 평가

이미지 한 장, 문구 한 줄씩 따로 검사하지 않고 렌더링한 페이지 전체를 한 장의 이미지로 VLM에 넣습니다. 자산을 하나씩 보면 각각은 멀쩡한데 함께 놓였을 때 생기는 문제를 놓칩니다. 원문이 든 예가 블렌더 페이지입니다. 글머리 목록은 64온스 피처를 약속하는데 옆 사진은 1인용 제품을 보여 줍니다. 전체를 한 번에 보면 이런 모순이 드러납니다. 렌더링은 SageMaker Processing 작업에서 컨테이너로 대량 실행합니다. 이 방식은 고객 경험이 ‘조합’에서 결정되는 곳에 맞습니다. 반대로 법정 표기 문구가 빠졌는지처럼 규칙으로 판정되는 항목은 텍스트 검사가 더 싸고 정확합니다.

Frozen VLM as Feature Extractor: 모델을 고치지 않고 점수를 특징으로 쓴다

VLM과 채점 루브릭 프롬프트는 고정해 둡니다. VLM은 Visual Storytelling(이미지로 쓰임새를 보여 주는가), Feature Presentation(기능을 알아보기 쉽게 보여 주는가), A+ Layout(배치가 정돈되었나), Conversion Optimization(구매 결정을 돕는가) 네 항목마다 0~10점, 확신도, 근거 문장을 내놓습니다. 항목마다 기준과 감점 규칙이 정해져 있습니다. 점수와 확신도는 분류기의 입력이 되고 근거 문장은 판매자 설명에 씁니다. 저자들이 VLM 미세조정을 피한 이유는 둘입니다. GPU 인프라가 필요하고 라벨이 수천 건뿐이라 과적합 위험이 큽니다. 판정 기준이 바뀌면 CatBoost만 CPU로 짧게 다시 학습합니다. 덕분에 VLM을 다른 모델로 바꿔도 분류기만 재보정하면 됩니다.

OCR Readability Signals: VLM이 약한 글자 가독성을 따로 잰다

VLM은 글자가 빽빽한지, 줄 간격이 좁은지 같은 미세한 가독성 판단에 약합니다. 고객이 훑어보기 힘든 긴 설명문에 오히려 점수를 후하게 주기도 합니다. 그래서 SageMaker JumpStart에서 배포한 OCR 모델로 텍스트 블록과 위치를 뽑아 네 신호를 계산합니다. Text Density는 페이지 면적 중 글자가 차지하는 비중, Character Density는 면적당 글자 수, Spacing은 단어·줄·문단 사이 여백이 넉넉하고 일정한지, Overall Readability는 앞의 셋을 합친 값입니다. OCR 신호만으로 만든 분류기는 0.82였지만 VLM 점수와 합치면 VLM 단독(0.89)보다 0.05 높은 0.94가 됩니다. VLM이 놓치는 세밀한 가독성을 OCR이 채운 결과입니다.

SHAP on One Classifier: VLM 점수와 OCR 신호를 같은 잣대로 비교

VLM 점수와 OCR 신호가 한 분류기 안에 있으니 SHAP 값으로 둘의 영향력을 같은 단위에서 비교합니다. 전체 판정에 가장 크게 작용한 특징은 OCR Character Density(평균 절댓값 1.1)였고 OCR Overall Readability와 VLM Visual Storytelling이 1.0으로 뒤를 이었습니다. A+ Layout 0.8, Feature Presentation 0.6, Conversion Optimization 0.4 순입니다. VLM이 약한 영역을 메우려고 넣은 OCR 신호가 실제로 판정을 가장 많이 움직였다는 점이 수치로 확인됩니다. 페이지 한 건만 놓고 같은 계산을 하면 어떤 특징이 저품질 쪽으로 밀었는지가 나옵니다.

SHAP-Ranked Recommendations: 판정 이유를 고칠 순서로 바꾼다

저품질로 판정된 페이지마다 여덟 특징을 SHAP 값으로 줄 세웁니다. 가장 크게 음수인 특징들, 상품 카테고리, 이커머스 모범 사례, VLM의 근거 문장을 LLM에 넣으면 우선순위가 붙은 구체적인 수정 항목이 나옵니다. 원문의 가상 예에서는 A+ Layout이 -1.2, Visual Storytelling이 -0.3이므로 배치 재구성을 먼저 권합니다. 판매자는 “품질이 낮다”는 통보 대신 무엇부터 고칠지를 받습니다. 저자들은 여기서 한 걸음 더 나가, 품질 점수와 권고를 조건으로 확산 모델이 개선된 이미지 자산(라이프스타일 사진, 재배치한 레이아웃)을 만들어 판매자에게 보여 주는 구성도 소개합니다.

Drift-Triggered Retraining: 판정 기준이 조용히 낡지 않게

디자인 유행, 새 모듈 유형, 새 카테고리, 판매자 행동이 바뀌면 정확도는 경고 없이 떨어집니다. 저자들은 SageMaker AIOps로 데이터 품질, 모델 품질, 특징 기여도의 변화를 지켜보고 임계값을 넘으면 SageMaker Pipelines가 재학습을 자동으로 돌리게 했습니다. 학습과 서빙이 같은 특징 값을 쓰도록 SageMaker Feature Store에 온라인·오프라인 특징을 함께 두고 학습한 CatBoost는 Model Registry에 등록합니다. VLM 추론은 단건이면 Real-Time Endpoint, 고해상도 캡처처럼 큰 입력이면 Asynchronous Endpoint, 카탈로그 전체를 밤새 채점할 때는 Batch Transform을 고릅니다.

통념과 다른 주장

저자가 든 사례

전문가 라벨: 판정 기준을 사람 합의로 먼저 고정

• 상황: A+ 콘텐츠에는 규격이 없어 ‘좋은 페이지’의 기준부터 정해야 했습니다.
• 한 일: 이커머스 마케팅 전문가 1명과 전문 주석자 4명이 같은 기준으로 10개 카테고리(가구, 신발, 식료품, 뷰티, 의류 등) 5,478페이지를 각자 고품질·저품질로 판정하고 다수결로 합의 라벨을 만들었습니다.
• 결과: 각 평가자와 합의 라벨의 Cohen’s kappa는 0.845~0.915였고 고품질 비율은 49.6%로 두 클래스가 거의 균형을 이뤘습니다. 20%(약 1,100페이지)를 떼어 시험셋으로 썼습니다.
• 연결: Frozen VLM as Feature Extractor의 학습 기준이자 모든 정확도 수치의 잣대입니다.

A/B 시험과 권고 반영: 판정이 매출과 판매자 행동으로 이어지나

• 상황: 정확한 판정이 실제 고객 행동과 판매자 개선으로 이어지는지 확인해야 했습니다.
• 한 일: 모델 판정에 따라 저품질 A+ 콘텐츠의 노출을 조정하는 전 세계 A/B 시험을 했고 권고를 반영해 고친 페이지의 점수를 다시 쟀습니다.
• 결과: 주문 매출(OPS)이 통계적으로 의미 있게 늘었습니다(증가 폭은 원문에서 밝히지 않음). 권고를 반영한 페이지는 10점 척도에서 평균 1.4점 올랐습니다(표본 크기는 원문에서 밝히지 않음).
• 연결: SHAP-Ranked Recommendations가 판매자 행동을 바꾸는 단계까지 작동한다는 근거입니다.

기술 디테일: 첫 프로토타입을 돌리려면

아래 필드명, 설정값, 기준은 원문에 없는 내용으로, 실제로 돌릴 때 필요한 것을 가상 예시로 새로 정리했습니다.

Frozen VLM 채점을 돌리려면 출력 형식부터 고정합니다. 페이지 한 건을 한 번 호출로 채점하고 항목마다 숫자와 근거를 분리한 JSON으로 받습니다. 근거 문장은 분류기에 넣지 않고 권고 단계로만 보냅니다.

{
  "page_id": "A1B2C3",
  "category": "kitchen",
  "scores": {
    "visual_storytelling": {"score": 6, "confidence": 0.8, "rationale": "사용 장면 사진이 1장뿐"},
    "feature_presentation": {"score": 7, "confidence": 0.7, "rationale": "용량 표기와 사진 불일치"},
    "aplus_layout": {"score": 4, "confidence": 0.9, "rationale": "모듈 5개가 같은 폭으로 반복"},
    "conversion_optimization": {"score": 5, "confidence": 0.6, "rationale": "비교표 없음"}
  },
  "rubric_version": "v3"
}

temperature는 0으로 두고 시범 기간에는 같은 페이지를 3회 채점해 항목별 표준편차가 1점을 넘는 페이지를 따로 모읍니다. 그런 페이지가 10%를 넘으면 그 항목의 감점 규칙 문구가 모호하다는 신호이니 루브릭을 고치고 rubric_version을 올립니다. 루브릭이 바뀌면 이전 점수로 학습한 분류기는 다시 학습합니다.

OCR 신호를 계산하려면 텍스트 블록의 좌표가 필요합니다. 블록마다 글자 수와 bounding box를 받아, 페이지 면적 대비 박스 면적 합(Text Density), 면적당 글자 수(Character Density), 인접 박스 사이 세로 간격의 평균과 분산(Spacing)을 계산합니다. Overall Readability는 세 값을 표준화해 합치는 식으로 시작하고 나중에 분류기가 가중치를 정하게 둡니다. 캡처 해상도와 뷰포트 폭이 바뀌면 밀도 값이 달라지니 데스크톱·모바일을 섞지 말고 하나로 고정합니다.

CatBoost 분류기는 8~12개 특징으로 작게 시작합니다. VLM 점수 4개, OCR 신호 4개가 기본이고 확신도 4개를 더해 보는 실험을 따로 합니다. 학습·검증·시험을 카테고리별 비율이 같게 60:20:20으로 나누고 카테고리별 정확도를 따로 봅니다. 전체 정확도가 높아도 한 카테고리만 0.8 아래면 그 카테고리 라벨을 100건 더 모읍니다.

권고 단계에는 SHAP 상위 2~3개만 넣습니다. 여덟 개를 다 넣으면 LLM이 사소한 항목까지 고르게 늘어놓습니다. 입력은 negative_features(이름과 SHAP 값), category, best_practices(카테고리별 5~10줄), vlm_rationales로 하고 출력은 actions(최대 3개, 각 항목에 target_feature, what_to_change, example)로 받습니다. 권고 하나가 어떤 특징을 겨냥하는지 남겨 두면, 수정 후 재채점에서 그 특징이 실제로 올랐는지 확인할 수 있습니다.

막히는 경우	보이는 증상	대응
긴 설명문에 VLM 점수가 후함	글이 많은 페이지가 고품질로 판정	OCR Character Density를 특징에 넣고 SHAP으로 기여 확인
같은 페이지 점수가 흔들림	3회 채점 표준편차 1점 초과	감점 규칙 문구를 구체화, rubric_version 올림
새 카테고리에서 정확도 하락	특징 기여도 분포가 달라짐	drift 임계 초과 시 해당 카테고리 라벨 추가 후 재학습
권고가 뻔함	모든 페이지에 같은 문장	SHAP 상위 특징과 VLM 근거 문장을 함께 넣음

현업 실행 디테일: 누가, 언제, 무엇을

자사몰이나 오픈마켓 입점 상품의 상세 페이지, 보험·금융 상품 설명 화면, 사내 교육 자료처럼 ‘보이는 화면의 품질’을 사람이 일일이 보던 일에 같은 구조를 그대로 옮겨 쓸 만합니다. 아래 역할, 일정, 판정 기준은 원문에 없는 가상 예시입니다.

역할	맡는 일	시간
콘텐츠 품질 책임자(MD·마케팅 리더)	좋은 페이지의 기준표 확정, 최종 라벨 판정	주 4시간
라벨러 3~4명(MD·디자이너)	같은 기준으로 독립 판정	1인 300~500건
ML 엔지니어 1명	캡처·VLM·OCR 파이프라인, 분류기	전담
판매자 지원 담당	권고 문구 검수, 판매자 반응 수집	주 4시간

시작 전 준비물은 네 가지입니다. 화면 캡처를 뜰 수 있는 상품 페이지 목록(카테고리별 100건 이상), 사내에서 이미 쓰는 상세 페이지 가이드, 페이지별 전환율이나 매출 같은 성과 지표, 판매자나 담당자에게 권고를 전달할 경로입니다.

라벨링을 시작하기 전에 담당자에게 물을 질문입니다.

• 우리 고객이 “이 페이지는 별로다”라고 느끼는 장면 세 가지는 무엇인가?
• 카테고리마다 기준이 달라야 하는 항목은 무엇인가? (예: 식품은 원재료 표기, 가구는 크기 비교)
• 저품질 판정을 노출 조정에 쓸지, 권고에만 쓸지 누가 결정하는가?
• 권고를 받은 판매자가 실제로 고치는 데 걸리는 시간은 얼마인가?

진행 판정 기준(가상 예시)은 이렇게 둡니다. 라벨러 사이 kappa가 0.8을 넘지 못하면 기준표를 고쳐 다시 라벨링합니다. 시험셋 정확도가 평균 점수 방식보다 0.05 이상 높으면 권고 시범으로 넘어갑니다. 권고를 받은 페이지 30건 중 절반 이상이 재채점에서 오르면 노출 조정 A/B 시험을 설계합니다.

AX 적용 순서로는 판정보다 기준표와 라벨을 먼저 잡는 것을 권합니다. 이 사례에서 성능을 만든 것은 큰 모델이 아니라 전문가 다섯 명이 맞춘 5,478건의 기준이었습니다. 유통·커머스라면 상품 상세 페이지, 금융이라면 상품 설명서와 판매 화면의 가독성 점검처럼 “사람이 보고 판단하던 화면 품질”을 첫 대상으로 고르고 현업 스폰서는 MD나 상품 기획 리더로 둡니다. 판정을 노출이나 승인에 바로 쓰기보다 권고부터 시작하면, 판매자나 담당자의 반발 없이 효과를 재고 기준을 다듬을 수 있습니다.

원문 사례

항목	내용
원문	AWS Machine Learning Blog, 2026년 11월 5일
저자	James Kim, Yixuan Song, David Oh, Harsh Asnani, Simai Zhang
대상	Amazon 상품 상세 페이지의 A+ 콘텐츠
배경 수치	고품질 A+ 콘텐츠를 쓰는 판매자는 매출이 8~20% 높다고 소개
VLM 항목	Visual Storytelling, Feature Presentation, A+ Layout, Conversion Optimization (각 0~10점, 확신도, 근거)
OCR 신호	Text Density, Character Density, Spacing, Overall Readability
라벨	전문가 1명 + 주석자 4명, 10개 카테고리 5,478페이지, 다수결 합의, kappa 0.845~0.915, 고품질 49.6%
성능(정확도/F1)	평균 점수 0.80/0.84 · OCR만 0.82/0.83 · VLM만 0.89/0.90 · 결합 0.94/0.95
백본 비교	499개 프로젝트, 가벼운 VLM 0.74→0.90, 더 강한 VLM 0.79→0.94
SHAP 중요도	Character Density 1.1, Overall Readability 1.0, Visual Storytelling 1.0, A+ Layout 0.8, Feature Presentation 0.6, Conversion Optimization 0.4
운영 효과	전 세계 A/B 시험에서 주문 매출(OPS) 유의미한 증가, 권고 반영 페이지 평균 +1.4점
구성 요소	SageMaker Processing, AI Inference(Real-Time·Asynchronous·Batch Transform), JumpStart, Feature Store, Training Jobs, Model Registry, AIOps, Pipelines

핵심 개념

A+ Content

Amazon 상품 상세 페이지에서 판매자가 이미지, 비교표, 설명 모듈로 자유롭게 꾸미는 영역입니다.

Cohen's kappa

두 평가자의 판정이 우연 이상으로 얼마나 일치하는지 나타내는 값입니다. 1에 가까울수록 일치도가 높습니다.

F1

정밀도와 재현율의 조화 평균입니다. 한쪽 클래스만 잘 맞히는 모델을 걸러 냅니다.

OPS

Ordered Product Sales. 주문된 상품 매출로, A/B 시험의 성과 지표로 쓰였습니다.

Training-serving skew

학습 때와 실제 서비스 때 특징 값이 다르게 계산되어 성능이 떨어지는 현상입니다. Feature Store로 막습니다.

Batch Transform

엔드포인트를 띄우지 않고 대량 데이터를 한꺼번에 추론하는 SageMaker 기능입니다.

LoRA

모델 전체 대신 작은 어댑터만 학습하는 미세조정 방식입니다. 저자들은 가능하다고만 언급하고 권하지 않았습니다.

내 메모

TODO: 내 생각 추가

원문은 AWS Machine Learning Blog의 「How Amazon Marketplace evaluates content quality with Amazon SageMaker AI」(James Kim, Yixuan Song, David Oh, Harsh Asnani, Simai Zhang, 2026.11.5)입니다. 원문 바이라인에는 Carrie Song으로, 저자 소개에는 Yixuan Song으로 적혀 있어 소개 쪽 표기를 따랐습니다. 요약, 핵심 메커니즘의 원문 설명, 통념과 다른 주장, 저자가 든 사례, 원문 사례 표는 원문 내용을 AX Review가 다시 정리했습니다. JSON 예시, 반복 채점·분할 비율·특징 수 같은 설정값, 막히는 경우 표, 역할·일정·질문·판정 기준, 적용 제언, 인포그래픽은 원문에 없는 내용으로 새로 작성했고 그 안의 필드명과 숫자는 가상 예시입니다. 원문은 사용한 VLM·LLM·OCR 모델의 이름을 밝히지 않았습니다. 전체 내용과 아키텍처 그림은 원문에서 볼 수 있습니다.