미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

Who Should Read

어떤 모델이 우리 업무 도메인에 맞는지 벤치마크 점수만 보고 고르는 LLM 서비스 개발자

Core Mechanics

• 노동시간 90%는 벤치마크 밖
  • 벤치마크 29개 기준, 미국 노동시간의 90%가 커버가 적거나 없는 과제에 쓰인다.
  • 그래서 AI가 실제 업무를 얼마나 잘하는지 알기 어렵다고 한다.
• 직업 923개 중 208개만 커버
  • 과제에 프롬프트가 5개 이상 매핑된 직업은 923개 중 208개뿐이다.
  • 22개 직군 중 6개 직군은 해당 직업이 하나도 없다.
• 커버리지는 AI 노출도와 임금 규모를 따라간다
  • AI에 노출된 과제는 노출 안 된 과제보다 벤치마크에 나올 확률이 약 6배 높다.
  • AI 노출도를 통제해도 임금 총액이 큰 직업의 과제가 더 많이 들어 있다.
• 같은 직군 안에서도 쏠림이 있다
  • 중요도 점수가 가장 높은 과제는 가장 낮은 과제보다 벤치마크에 있을 확률이 6~10배 높다.
  • 변호사 과제는 많이 커버되지만 법률 비서·법원 사무원 과제는 거의 없다.
• 과제별 가중 평균은 점수를 거의 안 바꿨다
  • APEX 벤치마크로 투자은행·법률·회계·소프트웨어 4개 직업을 비교했다.
  • 프롬프트 단순 평균과 O*NET 과제별 동일 가중 평균이 대체로 비슷했다.

Community Reactions

• 벤치마크가 못 재는 건 오류 찾기라는 의견
  • 현실 업무의 핵심은 실수를 잡아내는 능력인데 벤치마크는 만들기·풀기 위주라는 댓글이 있었다.
• "잘 커버"가 사실은 "조금이라도 커버"라는 지적
  • 사회복지사 상담 과제가 프롬프트 13개로 "잘 커버"로 분류됐다는 점을 짚은 댓글이 있었다.
  • 엄격히 정의하면 수치는 더 올라갈 것이라는 의견이었다.
• AI 솔루션을 직접 만들어 봤더니 90%도 과장일 수 있다는 경험
  • 잘 커버된 직군에서 일한 댓글 작성자는 공개 벤치마크가 가치 낮은 과제 위주라고 했다.
  • 측정하기 쉬운 것만 자동화하다가 전체가 오히려 나빠진 적이 있다고 했다.
• 측정 도구에 대한 말일 뿐 AI 능력 얘기가 아니라는 의견
  • 벤치마크보다 과제 종류가 훨씬 많다는 뜻일 뿐이라는 댓글이 있었다.
  • O*NET이 금융·테크 같은 현대 사무직을 잘 반영하지 못한다는 반론도 있었다.

How to Apply

• 우리 업무 과제 목록과 벤치마크 대조하기
  • 오늘 우리 서비스가 맡기는 핵심 과제 10개를 적고, 참고 중인 벤치마크가 각각 다루는지 표시하라.
  • 다루지 않는 과제에는 "미검증" 딱지를 붙여라.
• 자체 평가셋을 과제당 5개 이상 만들기
• 오류 탐지 케이스를 평가셋에 넣기
• 모델 선정 시 직군 점수 쏠림 확인하기

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (원문 방법의 간이 버전: 벤치마크 커버리지 점검)

나는 {{서비스 설명}}을 만드는 개발자다. 우리 서비스가 LLM에 맡기는 핵심 업무 과제는 다음과 같다:
{{과제 목록, 줄 단위}}

내가 모델 선택에 참고하는 벤치마크는 다음과 같다:
{{벤치마크 이름 목록}}

각 과제마다 아래 표를 만들어라.
| 과제 | 관련 벤치마크 | 커버 정도(없음/적음/충분) | 우리가 직접 만들어야 할 테스트 케이스 5개 |
모르는 벤치마크는 추측하지 말고 "모름"으로 적어라.

이어서 해 볼 것: 표에서 "없음"인 과제의 테스트 케이스를 실제 데이터로 바꿔 평가셋을 만들어 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

• Parsimony: AI 모델이 코드를 얼마나 덧붙이는지 재는 오픈소스 벤치마크

  SWE-bench 패치를 구문 단위로 세어, 코드를 덜 늘리는 AI 모델 순위를 매겼다

Related Resources

• https://www.mercor.com/research/labor-index/benchmark-map/
• https://x.com/karpathy/status/2109361546505966046?s=20