Terminal-Bench-Science: 과학 연구 워크플로로 AI 에이전트를 평가하다

Who Should Read

에이전트용 모델·하네스를 고를 때 코딩 벤치마크 점수만으로는 부족하다고 느끼는 개발자

Core Mechanics

• 과학자가 직접 낸 과제 70개
  • Stanford 연구진이 Terminal-Bench 팀과 만든 벤치마크다.
  • 생명·물리·지구·수학·공학 5개 분야 과제로 구성됐다.
• 최고 점수가 30%에 그쳤다
  • Claude Code 위의 Claude Opus 5가 30.0%로 1위다.
  • 다음은 Codex 위의 GPT-5.6 Sol 22.4%, Claude Code 위의 Claude Fable 5 21.4%다.
• 일부러 어렵게 맞췄다
  • Terminal-Bench 3.0과 둘 다 평가된 모든 모델에서 해결률이 10%p 넘게 낮다.
  • 리뷰 때 최신 프런티어 모델이 어려워하도록 과제를 조정했다.
• 채점은 산출물을 테스트로 한다
  • 분석·시뮬레이션·증명·코드·데이터 산출물을 과제별 재현 가능한 테스트로 채점한다.
  • 모델당 과제마다 독립 시행 3번을 돌렸다.
• 비용과 토큰은 순위와 다르다
  • GPT-5.6 Sol은 Claude Fable 5와 비슷한 성능이면서 비용이 $4.2k 대 $14.2k다.
  • Fable 5는 Sol과 비슷한 성능에 토큰이 6.4B 대 8.4B로 적다.

Community Reactions

• Opus 5가 Fable 5를 앞서는 게 이상하다는 의견
  • 코딩 경험상 Opus 5가 Fable보다 전반적으로 못하다고 느낀다는 댓글이 있었다.
  • 다른 댓글도 격차가 큰 게 이상하다고 했다.
• 정확성 검증이 걱정된다는 의견
  • Claude에게 논문 알고리즘 구현을 시켰더니 더 단순하고 느린 걸 만들고 지적하면 사과만 했다는 경험이 올라왔다.
  • 논문에 쓸 만한 결과는 맡기기 어렵다는 의견이다.
• 수학은 GPT Sol이 낫다는 반가움
  • 수학 분야에서 Sol이 Opus를 앞선 게 반갑다는 댓글이 있었다.
  • 필요한 분야가 수학이고 GPT 문체를 선호해서다.
• 벤치마크가 공개돼 금방 포화될 거라는 우려
  • 다음 모델은 점수가 크게 뛰어 쓸모가 없어질 것이라는 의견이 있었다.
  • 더 닫힌 벤치마크였으면 좋겠다는 반응이다.

How to Apply

• 내 도메인 업무 3개를 과제로 적기
  • 오늘 30분 동안 에이전트가 해야 할 반복 업무 3개를 골라라.
  • 각각 입력, 기대 산출물, 자동 판정 기준을 한 줄씩 써라.
• 산출물을 테스트로 채점하는 평가 만들기
  • 답변 문장 말고 파일·코드·수치 같은 산출물을 검사하는 스크립트를 짜라.
  • 같은 과제를 3번 돌려 평균 해결률을 내라.
• 모델 선택에 비용·토큰 열 추가하기
  • 해결률 옆에 총비용과 토큰 사용량을 나란히 기록하라.
  • 성능이 비슷하면 싼 쪽이나 토큰이 적은 쪽을 고르라.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 업무를 검증 가능한 평가 과제로 바꾸기)

내 에이전트가 하는 업무: {{업무 설명}}
입력 예시: {{입력 데이터}}

위 업무를 Terminal-Bench-Science 스타일의 평가 과제 1개로 바꿔줘.
1) 과제 설명(에이전트에게 줄 지시문)
2) 에이전트가 만들어야 할 산출물 파일과 형식
3) 산출물을 자동으로 채점하는 파이썬 pytest 테스트
4) 현재 최신 모델도 어려워할 만한 난이도 조정 방법

이어서 해 볼 것: 같은 과제를 에이전트로 3번 돌려 통과 횟수를 세어 보기

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://www.terminal-bench-science.ai/announcement
• https://github.com/harbor-framework/terminal-bench-science
• https://doi.org/10.5281/zenodo.22110253