LLM-as-a-Verifier: 범용 Verification 프레임워크

TL;DR Highlight

LLM의 토큰 확률 분포를 활용해 discrete 점수 대신 continuous 점수를 뽑아내면, 추가 학습 없이 코딩·로봇·의료 에이전트 평가 정확도를 SOTA로 끌어올릴 수 있다.

Who Should Read

여러 에이전트 출력 중 최선을 고르는 Best-of-N 선택 로직을 구현하는 백엔드/ML 개발자. LLM Judge의 동점(tie) 문제나 coarse한 점수에 불만을 느끼는 AI 에이전트 개발자.

Core Mechanics

기존 LLM Judge는 모델이 생성한 가장 높은 확률의 토큰 하나만 점수로 쓰는데, 이 방식은 복잡한 솔루션 비교 시 27%나 동점이 발생해 변별력이 없다.
LLM-as-a-Verifier는 점수 토큰의 logit 분포 전체에 대한 기댓값(expectation)을 계산해 continuous 점수를 만든다 — 이 방식만으로도 동점률이 0%로 떨어진다.
Verification을 3가지 축으로 스케일할 수 있다: (1) score granularity(점수 해상도를 1단계→20단계로), (2) repeated evaluation(같은 쌍을 K번 반복 채점해 분산 감소), (3) criteria decomposition(평가 기준을 세부 항목으로 분해해 프롬프트 편향 감소).
후보 N개 중 최선을 고를 때 O(N²) 비교가 필요한 round-robin 대신, 'Probabilistic Pivot Tournament(PPT)'를 써서 O(Nk²)로 줄인다 — ring pass로 positional bias도 자동 제거.
추가 학습 없이 Gemini 2.5 Flash를 verifier로 쓰면 Terminal-Bench V2 86.5%, SWE-Bench Verified 78.2%, RoboRewardBench 87.4%, MedAgentBench 73.3%로 각 벤치마크 SOTA 달성.
Verifier 점수가 에이전트의 태스크 진행도와 강하게 상관(Spearman VOC 0.848)되어, 실시간 진행 상황 모니터링 및 RL의 dense reward로도 활용 가능하다.

Evidence

Terminal-Bench V2에서 discrete judge는 동점률 26.7%(k=1)인 반면, continuous verifier는 k=1에서도 동점률 0% — k=1 verifier(74.7%)가 k=16 judge(74.7%)와 동등한 성능.
Granularity G=1→20으로 키우자 verification accuracy 73.1%→77.5%, SNR 0.775→0.799로 상승. query-optimize 사례에서 discrete judge는 100회 중 88회 동점, verifier G=20은 77회 정답 정확히 구분.
RoboRewardBench에서 훈련된 로봇 전용 reward model(RoboReward-8B 81.4%, Robometer-4B 78.8%)을 제로샷으로 87.4%로 초과 달성.
RL에 dense reward로 사용 시: LIBERO 로봇 태스크에서 DSRL-SAC 기준 sparse reward 대비 1.8× 샘플 효율 향상 + 최종 성공률 0.69→0.76. Qwen3-8B + GRPO로 MATH 학습 시 약 1.1× 샘플 효율 향상.

How to Apply

Best-of-N 코딩 에이전트를 만들 때: GPT-5.5나 Claude로 N개 후보 생성 후, Gemini 2.5 Flash의 logprobs API로 각 후보를 G=20 granularity로 채점하고 PPT 알고리즘으로 최선 선택 — SWE-Bench 기준 Pass@1 76.1%→78.2%로 올라간다.
logprobs를 제공하지 않는 GPT-5.5·Claude 같은 closed API를 verifier로 쓰고 싶다면: 먼저 closed 모델로 reasoning trace를 생성하고, 그 reasoning을 Gemini 2.5 Flash에 넘겨 logprobs를 추출하는 2단계 파이프라인을 쓰면 된다 — discrete 방식 대비 +5.2p 정확도, 동점 0%.
RL 학습에서 보상 설계가 어렵거나 sparse reward로 학습이 안 될 때: 매 rollout 끝에 verifier로 단계별 점수를 계산해 r_t = r_env + λ·ρ_t 형태로 shaped reward를 추가하면 추가 reward model 학습 없이 샘플 효율이 올라간다.

Code Example

snippet

Terminology

logprobsLLM이 각 토큰을 선택할 확률의 로그값. 모델이 '5'를 출력할 때 실제로는 '1'~'20'까지 각 숫자에 확률이 있는데, 보통 API는 가장 높은 확률의 토큰만 주고 나머지는 버린다.

Best-of-N같은 질문으로 N번 답변을 생성한 뒤 가장 좋은 것을 고르는 전략. 복권을 N번 사서 당첨된 걸 쓰는 것과 비슷.

Bradley-Terry model두 후보 중 하나가 이길 확률을 각각의 '강도(strength)' 점수 차이로 계산하는 통계 모델. 스포츠 리그 순위 산출에도 쓰임.

GRPOGroup Relative Policy Optimization. 같은 문제에 대한 여러 답변을 그룹으로 묶어 서로 비교하며 강화학습하는 방법. DeepSeek-R1에서 사용된 기법.

SACSoft Actor-Critic. 로봇 등 연속 행동 공간에서 자주 쓰이는 강화학습 알고리즘. 보상을 최대화하면서 동시에 행동의 다양성(엔트로피)도 유지하려는 특징이 있음.

PRM / ORMProcess Reward Model(단계별 점수)과 Outcome Reward Model(최종 결과 점수). PRM은 풀이 과정 매 단계를 채점하고, ORM은 최종 답만 채점함.

VOC (Value-Order Correlation)에이전트 행동 순서와 verifier 점수가 얼마나 일치하는지 측정하는 지표(Spearman 상관계수). 1에 가까울수록 '진행할수록 점수가 올라간다'는 의미로, 진행도 추적에 유용함.

Hamiltonian cycle그래프의 모든 노드를 정확히 한 번씩 방문하는 순환 경로. 여기서는 N개 후보를 원형으로 연결해 각 후보가 정확히 한 번 A 위치, 한 번 B 위치에 오게 해 위치 편향을 제거하는 데 사용.

Related Resources

Original Abstract (Expand)

Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.