Cognition SWE-2: 비용 대비 성능 곡선을 밀어 올린 코딩 모델

Who Should Read

코딩 에이전트 모델을 비용과 성능 기준으로 고르거나 직접 RL 후학습을 고민하는 백엔드·AI 개발자

Core Mechanics

• SWE-2는 Fable 5.1에 1점 차
  • FrontierCode 1.1 Main에서 SWE-2 50.0%, Fable 5.1 50.9%다.
  • 비용은 Fable 5.1보다 64% 저렴하다.
• Kimi K3 위에 RL을 더 얹었다
  • 2.8T 파라미터 Kimi K3를 후학습한 모델이다.
  • 여러 벤치마크에서 K3보다 5~6점 올랐다고 한다.
• 효율은 덜 헤매는 데서 나왔다
  • FrontierCode 1.1 Main에서 SWE-2 medium은 SWE-1.7보다 점수가 높았다.
  • 턴은 58% 적었고 비용은 평균 81% 낮았다.
  • 첫 실제 수정까지 중앙값 18스텝으로, SWE-1.7의 48스텝보다 빠르다.
• effort 레벨을 한 번의 RL로 같이 학습
  • 보상은 R = S − λe·C 형태로, 성공 여부에서 비용 페널티를 뺀다.
  • λe는 기본 모델의 비용-성능 곡선 기울기에 맞춘다.
  • 선형 페널티만 평균 전후 계산이 같아서 선형으로 정했다고 한다.
• 길이 가중 baseline으로 학습이 안정됐다
  • baseline은 롤아웃 길이로 가중한 보상 평균이다.

Community Reactions

• Terminal-Bench 4 점수 격차를 의심하는 의견
  • TB 2.1은 92.8%인데 최근 나온 TB 4는 27.3%라서 벤치마크 최적화를 의심한다는 의견이 많았다.
  • 새 문제에 얼마나 일반화되는지 보여 주는 수치라는 해석이다.
• 실사용 경험은 엇갈린다
  • SWE-1.6은 작은 작업에 빠르고 좋았지만 1.7은 GLM 5.2보다 오래 생각하며 헤맸다는 경험이 있었다.
  • Devin 사용자 주변에서 SWE가 무료라는 점 말고는 칭찬이 없다는 의견도 있었다.
• 토큰 효율은 보여 줬어야 한다는 의견
  • 예전엔 출력 토큰과 시간도 보여 줬는데 지금은 비용만 보여 준다는 지적이다.
  • 이득 대부분이 출력 토큰 감소에서 나온 것 같다는 의견이다.
• Devin 종속과 오픈 가중치 여부에 대한 불만
  • Devin 플랫폼을 써야 해서 안 써 보겠다는 의견이 있었다.
  • 오픈 가중치가 아니면 DeepSeek Flash 4.1을 쓰겠다는 의견도 있었다.

How to Apply

• 지금 쓰는 코딩 에이전트에 effort 레벨별 비용·성공률 점 찍기
  • 오늘 같은 작업 20개를 medium과 high로 돌려 성공률과 비용을 기록하라.
  • 성공률 1점당 비용 증가분을 계산해 effort 선택 기준으로 삼아라.
• 모델 비교 때 벤치마크를 두 세대 이상 같이 보기
  • 오래된 벤치마크와 최근 벤치마크 점수를 나란히 놓고 격차가 큰 모델은 자사 작업으로 따로 검증하라.
• 에이전트 트레이스에서 첫 수정까지 스텝 수 측정하기
  • 탐색(read/grep/ls) 스텝이 과한 작업을 찾아라.
  • 프롬프트에 탐색 범위를 제한하는 지시를 넣고 턴 수와 비용 변화를 비교하라.
• 자체 RL 학습 시 보상에 선형 비용 페널티 쓰기
  • 보상은 성공 여부에서 λ×비용을 빼는 형태로 만들어라.
  • λ는 기본 모델의 effort별 비용-성능 곡선 기울기에 맞춰라.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 비용-성능 기울기 계산)

아래는 우리 코딩 에이전트를 effort 레벨별로 돌린 결과다. 각 행은 (effort, 평균 비용 USD, 성공률)이다.
{{effort별 결과 표}}

다음을 해 줘.
1. 비용을 x축, 성공률을 y축으로 보고 인접한 effort 사이의 기울기(성공률 증가분 / 비용 증가분)를 계산해라.
2. 기울기가 가장 낮은 구간을 찾아 그 구간 상향이 비용 대비 효율이 낮은지 판단해라.
3. 성공 여부 S와 비용 C로 R = S - λ·C 보상을 쓴다고 할 때, effort별 λ로 쓸 값(위 기울기)을 표로 정리해라.

이어서 해 볼 것: 같은 작업 세트로 effort를 바꿔 다시 돌린 뒤 표를 갱신해 봐라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://cognition.com/blog/swe-2
• https://cognition.com/blog/frontier-code-1.1
• https://cognition.com/blog/swe-1-7
• https://arxiv.org/abs/2607.24653
• https://cognition.com/frontiercode