SWE-rebench: 13개 모델·4개 에이전트의 실제 GitHub 이슈 해결률 비교

Who Should Read

코딩 에이전트나 LLM 모델을 고를 때 해결률과 비용을 함께 비교하고 싶은 개발자

Core Mechanics

• 최근 이슈로 다시 쟀다
  • 2026-05-15~07-01 구간에서 65개 저장소의 문제 111개를 골랐다.
  • 리더보드는 모델과 에이전트(Junie, Claude Code, Codex, Cursor)를 함께 올린다.
• 상위권은 63~65%에 몰려 있다
  • Resolved Rate는 Fable 5 [high] 64.5%, Grok 4.5 [high] 63.8%, Opus 5 [high] 63.4%다.
  • 그 뒤로 GLM-5.2 [high] 62.9%, GPT-5.6 Sol [medium] 62.3%가 이어진다.
• 에이전트는 6~8위에 있다
  • Junie가 61.8%로 6위, Claude Code가 60.4%로 7위, Codex가 58.0%로 8위다.
  • Cursor는 51.7%로 10위다.
• 비용은 순위와 따로 논다
  • 1위 Fable 5는 문제당 $4.40이고 GPT-5.6 Sol [medium]은 $0.85다.
  • 해결률은 64.5% 대 62.3%다.
  • Claude Code는 $3.39로 비싸고 Cursor는 $0.41이다.
• 싼 모델도 눈에 띈다
  • MiMo V2.5 Pro는 46.5%에 문제당 $0.10이다.

Community Reactions

• 문제 조건이 다르다는 지적
  • 모델마다 언어와 문제가 다르다는 의견이 있었다.
  • 언어별로 어떤 모델이 효율적인지 보는 벤치마크를 기대했다는 반응이다.
• Claude Code 설정이 궁금하다는 질문
  • Fable 5와 Opus 5가 1·3위인데 Claude Code가 7위인 이유를 묻는 댓글이 있었다.
  • 7위에 어떤 모델과 effort를 썼는지 알고 싶다는 질문이다.
• effort 비교가 공정한지 의문
  • Fable은 high, Sol은 medium으로 비교한 이유를 묻는 댓글이 있었다.
  • Sol이 4~5배 싸게 나온다는 점을 짚었다.
• 오염 가능성 경고와 체감 반론
  • 공개 SWE-bench 이슈를 학습했을 수 있다는 About 페이지 인용이 달렸다.
  • 저가 모델이 이 결과보다 훨씬 쓸 만했다는 경험담도 있었다.

How to Apply

• 우리 이슈 5개로 후보 모델 돌려보기
  • 오늘 우리 저장소의 최근 버그 이슈 5개를 뽑아라.
  • 리더보드 상위 모델 한두 개와 저가 모델 하나에 같은 프롬프트로 시켜라.
  • 해결 여부와 토큰 비용을 표로 적어라.
• 해결률과 문제당 비용을 함께 보고 고르기
  • 모델 선정 때 Resolved Rate만 보지 말고 Cost per Problem을 나란히 놓아라.
  • 예를 들어 62.3%에 $0.85와 64.5%에 $4.40 중 팀 예산에 맞는 쪽을 골라라.
• 캐시 설정부터 확인하기
  • 에이전트 호출에서 프롬프트 캐시가 켜져 있는지 점검하라.
  • 리더보드 상위 모델은 토큰의 90% 안팎이 캐시로 집계됐다.

Try It

# Claude나 ChatGPT에 붙여넣는 프롬프트 (논문 방법의 간이 버전: 모델 후보 비교 계획표 만들기)

나는 코딩 에이전트용 모델을 고르려 한다. 아래 벤치마크 수치를 참고해 우리 저장소에서 돌릴 소규모 비교 실험 계획을 만들어 줘.

[SWE-rebench 수치]
- Fable 5 [high]: 해결률 64.5%, 문제당 $4.40
- GPT-5.6 Sol [medium]: 해결률 62.3%, 문제당 $0.85
- MiMo V2.5 Pro: 해결률 46.5%, 문제당 $0.10

[우리 조건]
- 언어: {{언어}}
- 월 예산: {{예산}}
- 최근 버그 이슈 목록: {{이슈 5개}}

요청: 1) 이슈 5개로 세 모델을 비교하는 절차 2) 기록할 지표(해결 여부, 토큰, 비용) 3) 결과를 보고 고르는 기준을 표로 정리해 줘.

이어서 해 볼 것: 실험 결과를 붙여 넣고 어떤 모델을 기본으로 쓸지 추천해 달라고 해 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://swe-rebench.com
• https://swe-rebench.com/about