GPT-6 Astra 코드 리뷰 평가: 성능, 프라이버시, 비용

Who Should Read

코드 리뷰 자동화에 쓸 LLM을 고르며 성능 대비 비용을 따져야 하는 백엔드 개발자

Core Mechanics

• Astra는 버그를 4% 더 잡았다
  • CodeRabbit의 실행 가능한 버그 커버리지 기준으로 GPT-5.6 Sol보다 약 4%, Opus 5보다 22% 더 많이 잡았다.
  • 쉬운 리뷰가 섞여 있어 전체 격차는 작게 나왔다고 한다.
• 어려운 교차 파일 리뷰에서 격차가 커졌다
  • 여러 파일에 걸친 어려운 리뷰 하위 집합에서는 Sol보다 20%, Opus 5보다 33% 앞섰다.
  • 변경 의도와 코드베이스 곳곳의 영향을 연결하는 능력에서 가치가 보인다고 해석했다.
• 이 결과로 전체 순위를 말할 수는 없다
  • 초기 방향성 결과일 뿐 리뷰 품질의 전체 순위나 팀의 결함률을 예측하지 않는다.
  • 원인이 컨텍스트 양인지는 분리해서 확인하지 못했다.
• 토큰 단가는 Sol의 2.5배다
  • Astra는 입력 $10, 출력 $50 (100만 토큰당)이고 Fable 5.1과 같다.
  • 입력 10만, 출력 1만 토큰 가정 시 한 작업 $1.50로 Sol $0.60, Terra $0.32, Luna $0.032 대비 각각 2.5배, 약 4.7배, 약 47배다.
• 작업당 비용은 단가와 다를 수 있다
  • 토큰이나 시도 횟수가 적으면 격차가 줄 수 있다.
  • OpenAI는 자체 평가 일부에서 단가가 높아도 추정 작업 비용이 낮았다고 밝혔다.

Community Reactions

• Astra가 Sol보다 약 30% 빠르고 비용은 비슷했다는 경험
  • 간단한 벤치로 비교했더니 같은 결과를 내는 데 토큰 효율 덕에 단가 2.5배가 상쇄됐다고 한다.
• Astra가 오히려 느리다는 경험
  • 같은 작업에서 5.6 Sol보다 확실히 느렸다는 의견이다.
  • 컨텍스트를 더 읽어서일 수도 있다고 덧붙였다.
• CodeRabbit 도구 범위의 비교라 실효성이 낮다는 의견
  • 보안 연구자 출신 개발자가 CI 코드 리뷰에서 노이즈와 마찰이 커서 쓸 가치가 없었다고 했다.
• Fable은 Sol급이니 Mythos와 비교해야 하지 않느냐는 의견
  • 비교 대상 선정에 의문을 제기했다.

How to Apply

• 같은 PR 10개를 Astra와 현재 모델로 돌려 보기
  • 오늘 최근 머지된 교차 파일 PR 10개를 두 모델에 같은 프롬프트로 리뷰시킨다.
  • 잡아낸 버그 수, 검증에 든 시간, 토큰 사용량을 표로 기록한다.
• 작업당 총비용으로 모델 비교하기
  • 단가가 아니라 성공 1건당 토큰과 재시도 횟수를 함께 기록한다.
  • 캐싱, 도구 호출, 재시도 비용도 포함해 계산한다.
• 어려운 리뷰에만 Astra로 라우팅하기
  • 여러 파일에 걸친 변경이나 증거가 흩어진 작업만 Astra로 보낸다.
  • 일상적인 변경은 싼 모델에 맡긴다.
• 데이터 보존 조건을 계약 전에 확인하기
  • 고객 코드를 넘기기 전에 ZDR 자격 여부를 모델별로 확인한다.

Try It

# Claude나 ChatGPT에 붙여넣기: 교차 파일 리뷰 간이 테스트 (원문 방법의 간이 버전)

너는 코드 리뷰어다. 아래 diff와 관련 파일을 보고, 변경된 줄 밖에서 깨질 수 있는 곳을 찾아라.

[diff]
{{diff}}

[관련 파일]
{{관련 파일 내용}}

각 발견마다 다음을 적어라: 1) 깨지는 위치(파일:줄) 2) 변경과의 연결 근거 3) 개발자가 바로 할 수 있는 수정안. 근거가 없으면 추측하지 말고 "근거 부족"이라고 써라.

이어서 해 볼 것: 같은 프롬프트를 두 모델에 돌리고 잡은 버그 수와 검증 시간을 비교해 보자.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://www.coderabbit.ai/blog/gpt-6-astra-code-review-evaluation
• https://x.com/__tosh/status/2096201900555170032