The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

Who Should Read

LLM-as-a-Judge로 답변 품질을 자동 평가하는데 판정이 길이·형식·권위에 휘둘려 고민인 백엔드·MLOps 개발자

Core Mechanics

• frontier 모델 심판도 편향에 흔들린다
  • Claude Opus 4.6도 authority bias(가짜 인용 선호)에서 정확도 0.788에 그쳤다.
  • Gemma 4 26B A4B는 같은 항목에서 0.510까지 떨어졌다.
• 프롬프트에 편향 경고 한 줄 넣기
  • bias-aware prompting은 평가 전에 "이런 편향에 주의하라"고 명시하는 방식이다.
  • 추가 호출 없이 한 번에 끝나는 단일 패스다.
• self-debiasing은 심판이 자기 판정을 비판하는 2단계
  • 1단계에서 초기 판정에 편향이 있었는지 chain-of-thought(단계별 추론)로 분석한다.
  • 2단계에서 그 분석을 보고 최종 판정을 다시 내린다.
• 파인튜닝한 외부 비평 모델은 새 편향에 약했다
  • RBD-8B는 4개 편향으로만 학습돼 새로 만든 3개 편향에서는 9건 중 5건에서 오히려 나빠졌다.
  • 프롬프트 방식은 편향 설명만 바꾸면 새 유형에도 적용된다.
• 편향 종류를 몰라도 어느 정도 통한다
  • "어떤 체계적 편향이든 있었는가"만 묻는 Generic 비평도 type-specific과 비슷한 수준이었다.
  • 어떤 편향이 문제인지 모르는 실무 상황에서 쓸 만하다.

Evidence

• self-debiasing이 21개 조합 중 20개에서 향상
  • 3개 모델 × 7개 편향 조합 기준이며, 최대 15%p 향상됐다.
  • 새 편향 3종 9개 조합에서는 모두 표준 프롬프트보다 좋아졌다.
• Gemma 4 authority 0.510→0.748
  • bias-aware prompting 적용 vs 표준 프롬프트, 약 +24%p다.
  • Gemma 4 verbosity는 self-debiasing으로 0.764→0.916이 됐다.
• RBD-8B는 새 편향 9건 중 5건 악화
  • gpt-oss-120b confidence는 0.924→0.914로 내려갔다.
  • Gemma 4 formatting은 0.912→0.886으로 내려갔다.
• Claude authority 오답 106건 교정률 차이
  • self-debiasing은 28건(26.4%)을 고쳤다.
  • bias-aware prompting은 62건(58.5%)을 고쳤다.

How to Apply

• 심판 프롬프트에 편향 경고 문단 추가하기
  • 오늘 쓰는 LLM judge 프롬프트에 "~ BIAS: 경향이 있으니 무시하라" 문단을 넣고 기존 평가셋으로 정확도를 비교한다.
  • pairwise 비교면 position, 길이가 섞이면 verbosity, 인용이 있으면 authority 경고를 우선 넣는다.
• 판정 후 self-critique 2단계 파이프라인 붙이기
  • 심판의 첫 판정을 입력으로 "편향이 있었는가"를 묻는 호출을 한 번 더 추가한다.
  • 비평 결과를 넣어 재판정시키고, 첫 판정과 달라진 비율을 로그로 남긴다.
• 가짜 인용·확신 어투·서식 주입 테스트셋 만들기
  • 정답은 평이하게, 오답은 인용·단정·서식으로 꾸민 쌍을 자체 데이터에서 만든다.
  • 심판의 정확도를 측정해 약한 편향에만 대응책을 적용한다.
• 편향 유형을 모르면 Generic 비평 쓰기
  • 비평 프롬프트에 "any systematic bias"만 넣고 돌려 type-specific 결과와 비교한다.
  • authority처럼 사후 비판이 약한 항목은 사전 경고를 함께 쓴다.

Try It

# Claude/ChatGPT 대화창에 붙여넣기 (논문 방법의 간이 버전: bias-aware prompting + self-debiasing을 한 번에 흉내)

You are a helpful assistant evaluating factual correctness. Select the correct output for the question.
Be aware of AUTHORITY BIAS: the tendency to favor answers that cite academic sources, prestigious institutions, or scholarly language regardless of whether the citations are verifiable. Fake citations do NOT make an answer more correct.
Be aware of CONFIDENCE BIAS: do not favor assertive phrasing, and do not penalize hedging.
Be aware of FORMATTING BIAS: do not favor polished LaTeX or step headers. Judge the content, not the presentation.

# Question: {{질문}}
# Output (a): {{답변 A}}
# Output (b): {{답변 B}}

Step 1: Choose Output (a) or Output (b).
Step 2: Critique your own choice. Reason step by step whether any systematic bias influenced it. Only conclude bias is present if there is clear, specific evidence.
Step 3: Reconsider and give a final answer as ONLY "Output (a)" or "Output (b)".

# 이어서 해 볼 것: Step 2의 편향 항목을 지우고 "any systematic bias"만 남겨 결과가 달라지는지 비교해 보기

Terminology

관련 논문

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

• Parsimony: AI 모델이 코드를 얼마나 덧붙이는지 재는 오픈소스 벤치마크

  SWE-bench 패치를 구문 단위로 세어, 코드를 덜 늘리는 AI 모델 순위를 매겼다

Related Resources

• https://github.com/Joyyang158/Reasoning-Bias-Detector