GPT-5.6 vs Claude Fable 5, Physical AI 모델링에서 누가 더 잘할까

Who Should Read

에이전트로 시뮬레이션·엔지니어링 코드를 짜게 하면서 모델 선택과 비용 때문에 고민하는 개발자

Core Mechanics

• Fable이 1위지만 비용이 가장 컸다
  • 가중 점수는 claude-fable-5가 0.889로 가장 높았다.
  • 트라이얼당 $9.60으로 GPT 계열의 3~8배였다.
• Sol이 가성비 모델이었다
  • gpt-5.6-sol은 0.814점에 트라이얼당 $1.74였다.
  • Terra는 0.786점에 $1.25로 가장 싸고 빨랐으며, Luna는 0.727점으로 모든 축에서 뒤처졌다.
• 쉬운 문제는 거의 만점, P5에서 다 무너졌다
  • P1은 네 모델 모두 1.000이었다.
  • 가장 어려운 P5(HL-20 비행체)는 Fable 0.690, Sol 0.660, Terra 0.590, Luna 0.383이었다.
• 코드가 아니라 시뮬레이션 궤적으로 채점했다
  • 컴파일되고 돌아가도 물리가 틀린 해답이 가능한 문제만 골랐다.
  • 숨겨진 정답 궤적과 비교해 점수를 매겼다.
• 조건은 모델만 빼고 전부 고정했다
  • Dyad 하네스, reasoning effort(xhigh), 컨텍스트 1M, 토큰 예산 128k를 고정했다.
  • 모델당 P1~P4는 3회, P5는 1회씩 총 52회 채점했다.

Community Reactions

• 벤치마크가 일부만 공개됐다는 의견
  • 모델별로 effort 수준을 여러 개 테스트하지 않았다는 지적이 있었다.
  • Fable의 xhigh와 GPT-sol의 xhigh가 비교 가능하다는 보장이 없다는 의견이었다.
• 성능 대비 비용이 과하다는 의견
  • Fable이 $124.76를 써서 $22.56인 Sol 대비 근소한 성능 우위만 얻었다는 평가가 있었다.
• 비교 대상이 부족하다는 의견
  • Opus 5, Kimi 3, GPT 5.5·5.4가 빠져 0.786 vs 0.889의 의미를 판단하기 어렵다는 댓글이 있었다.
• 자사 하네스 홍보용 벤치마크라는 반응
  • 자기 하네스를 알리려는 벤치마크라는 냉소적 의견이 있었다.
  • Codex가 하네스 비교에서 빠졌다는 지적도 있었다.

How to Apply

• 내 에이전트 작업에 정답 궤적 채점 붙이기
  • 오늘 30분 안에 대표 작업 1개를 골라 숨겨둔 기대 출력과 결과를 직접 비교하는 스크립트를 만들라.
  • 테스트 통과 여부 대신 실제 결과값 일치 여부로 점수를 매겨라.
• 모델 비교는 하네스·effort·예산을 고정하고 하라
  • 모델 후보를 바꿀 때 프롬프트, 도구, effort, 토큰 한도는 그대로 두라.
  • 문제당 3회 이상 돌려 평균을 내라.
• 점수·비용·시간을 같이 기록하기
  • 트라이얼마다 점수, 달러 비용, 걸린 시간을 로그로 남겨라.
  • 기본은 가성비 모델로 두고, 어려운 작업만 비싼 모델로 보내는 구조를 검토하라.
• 에이전트가 자기 테스트를 쓰게 하지 말기
  • 중요한 작업에는 에이전트와 분리된 독립 검증을 붙여라.
  • 검증이 실패할 수 있는지 일부러 틀린 입력으로 확인하라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 독립 검증과 일부러 틀리게 하기)

너는 시뮬레이션 코드를 작성하는 에이전트다. 아래 문제를 풀어라.

{{문제 명세}}

규칙:
1. 코드를 쓰기 전에 물리적으로 지켜져야 할 불변량(보존량, 제약식)을 먼저 나열하라.
2. 코드와 별개로 독립 구현(다른 방식의 계산)을 만들어 여러 지점에서 결과를 비교하라.
3. 검증 코드가 실제로 실패할 수 있는지 확인하라. 입력 하나의 부호를 일부러 뒤집어 잔차가 커지는지 보여라.
4. 명세에 주어진 초기 조건은 재해석하거나 정규화하지 말고 그대로 써라. 바꿨다면 어떤 값을 왜 바꿨는지 밝혀라.

마지막에 불변량 검증 결과와 명세 대비 차이를 표로 정리하라.

이어서 해 볼 것: 같은 문제를 다른 모델에 돌려 점수·비용·시간을 비교해 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://juliahub.com/blog/frontier-models-physical-ai-evaluation