Cross-Model LLM Code Review: Claude로 Codex를 리뷰할까, 반대로 할까?

Who Should Read

코딩 에이전트 두 개를 작성자·리뷰어로 엮어 파이프라인을 설계하는 개발자

Core Mechanics

• 리뷰 효과는 방향에 따라 다르다
  • Codex GPT-5.5가 쓴 초안은 리뷰를 거치면 좋아졌다.
  • Claude Opus 4.7이 쓴 초안은 리뷰를 거쳐도 나아지지 않았다.
• Claude 리뷰어가 Codex 초안을 끌어올렸다
  • Claude Opus 4.7이 리뷰하면 Codex GPT-5.5 초안의 통과율이 71.6%에서 89.7%가 됐다.
  • Claude 단독(91.4%)과 거의 비슷한 수준까지 올라왔다.
• Codex가 Claude 초안을 리뷰하면 망가진다
  • 통과하던 코드 13개를 깨뜨리고 못 통과하던 코드는 3개만 고쳤다.
  • 통과율이 91.4%에서 82.8%로 떨어졌다.
• Claude 셀프 리뷰는 제자리였다
  • 고친 것 3개, 깨뜨린 것 3개로 91.4%가 그대로였다.
  • 비용만 늘어서 돌릴 이유가 없다.
• 좋은 리뷰는 고치고, 나쁜 리뷰는 갈아엎는다
  • 좋은 리뷰는 멀쩡한 초안의 작은 결함 하나를 고쳤다.
  • 나쁜 리뷰는 통과하던 코드를 버리고 새로 써서 실패시켰다.
  • 이 패턴은 저자들이 직접 읽고 해석한 것이라 재현이 보장되지 않는다.

Evidence

• Codex 초안 리뷰 효과 (LiveCodeBench hard+medium 116문제)
  • Claude 리뷰: 71.6%→89.7%(p_BH=.001)이고 고친 것 26개, 깨뜨린 것 5개였다.
  • Codex 셀프 리뷰: 71.6%→84.5%(p_BH=.022)이고 고친 것 21개, 깨뜨린 것 6개였다.
• Claude 초안 리뷰 효과
  • Codex 리뷰: 91.4%→82.8%(p_BH=.046)이고 고친 것 3개, 깨뜨린 것 13개였다.
  • Claude 셀프 리뷰: 91.4% 유지(p_BH=1.0)였다.
• 비용·지연 (작업당, 단독 대비)
  • Codex 단독 $0.190·38.5초에서 Claude 리뷰는 $0.443·112.4초, Codex 셀프 리뷰는 $0.312·67.9초였다.
  • Claude 단독은 $0.226·86.2초이고, 셀프 리뷰는 $0.389·135.8초로 정확도 이득이 없었다.
• 순증 통과 1건당 추가 비용 (저자 계산)
  • Claude 리뷰(OA)는 약 $1.40, Codex 셀프 리뷰(OO)는 약 $0.95였다.
  • 6개 조건 전체 재현 비용은 약 $225다.

How to Apply

• 지금 파이프라인의 작성자·리뷰어 조합부터 점검하기
  • 오늘 쓰는 작성 모델과 리뷰 모델 조합을 적어 보자.
  • 약한 모델 초안을 강한 모델이 리뷰하는 구조인지 확인하자.
  • 강한 모델 초안을 약한 모델이 리뷰하는 구조라면 리뷰 단계를 빼고 비교하자.
• 리뷰 프롬프트에 '고칠 필요 없으면 그대로 반환' 규칙 넣기
• 리뷰 전후 통과율을 같은 테스트로 비교하기
  • 기존 테스트셋으로 리뷰 전후의 고침·깨짐 건수를 따로 세자.
  • 순증이 0 이하이면 리뷰 단계를 빼자.
• 비용 예산으로 리뷰어 고르기
  • 약한 작성자 + 지연 70초 이내 예산이면 셀프 리뷰를 쓰자.
  • 정확도가 우선이면 강한 모델을 리뷰어로 붙이자.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문의 리뷰어 프롬프트에 '개입 여부 먼저 판단' 규칙을 더한 간이 버전)

You are an expert code reviewer. Review the following solution to a programming problem.

PROBLEM:
{{문제 설명}}

SUBMITTED SOLUTION:
{{작성자 코드}}

Your task:
1. First decide whether to intervene at all. If the draft looks correct, return it unchanged.
2. Otherwise identify bugs, incorrect logic, missing edge cases, or inefficiencies.
3. Fix only the specific flaw. Keep the writer's data structures and interface; do not rewrite from scratch.
4. Do NOT run or test the code; reason purely from code inspection.

Output only the final solution inside <solution> tags.

이어서 해 볼 것: 같은 {{작성자 코드}}를 다른 모델에도 넣어 결과를 비교하고, 테스트로 고침·깨짐 건수를 세어 보세요.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓