Confidence Routing은 실제로 무엇을 하나: 멀티에이전트 토론에서 라우팅·캘리브레이션·커밋먼트 감사 | AI Paper Digest

TL;DR Highlight

자신감 점수로 발언자를 고르는 멀티에이전트는 점수가 과신이고 라우팅 효과도 모델마다 달랐다

Who Should Read

에이전트가 낸 confidence 점수로 다음 발언자나 답을 고르는 멀티에이전트 시스템을 운영하는 백엔드 개발자

Core Mechanics

confidence 하나로 세 가지를 시키고 있다
- 에이전트가 말한 confidence로 발언자를 고르고, 확률 추정에도 쓰고, 공개 답변도 그 기준으로 정한다.
- 논문은 이 셋(라우팅·캘리브레이션·커밋먼트)을 따로 재야 한다고 주장한다.
점수는 순위는 맞추는데 확률은 틀린다
- gpt-oss-120b 수학 trace에서 정답/오답 구분력 AUROC(순위 정확도, 0.5가 무작위)는 0.721이다.
- 평균 stated confidence는 0.790인데 실제 정확도는 0.518로 심하게 과신한다.
isotonic 보정으로 스케일은 거의 공짜로 고친다
- 보정 후 ECE(과신 정도 지표)가 0.278에서 0.008로 떨어진다.
- 하지만 AUROC는 0.721에서 0.720으로 그대로라 없던 구분력이 생기진 않는다.
라우팅 규칙을 바꿔도 별 차이 없다
- gpt-oss/수학에서 고정 라우터 5종은 서로 1.1%p 안에 모여 있다.
- 정답 후보가 있으면 고르는 oracle보다 4.8~5.9%p 낮고, 병목은 풀에 정답 후보가 있느냐다.
Gemma에서는 confidence argmax가 랜덤보다 나쁘다
- 랜덤 유효 후보 선택 대비 argmax가 Gemma 두 셀에서 5.6%p, 11.2%p 낮다.
- 모델과 과제에 따라 같은 점수가 도움이 되기도 해가 되기도 한다.

Evidence

보정 전후 비교 (gpt-oss/수학, 후보 23,391개)
- ECE 0.278에서 isotonic 0.008, Brier 0.302에서 0.208로 개선됐다.
- temperature scaling(T=4.35)은 ECE 0.142까지만 줄었다.
라우터 비교 (9,653 블록)
- 기대 성공률은 argmax 0.497, 랜덤 유효 후보 0.490, confidence 가중투표 0.501이다.
- oracle은 0.549이다.
크로스 모델 그리드 (2×2)
- 원 AUROC는 gpt-oss 수학 0.721, 생물 0.637, Gemma 생물 0.537, 수학 0.440이다.
- argmax 대비 랜덤은 Gemma 수학에서 0.362 vs 0.474이다.
커밋먼트 순효과와 비용
- 무조건 정답률 변화는 gpt-oss 수학 −1.7%p이고 나머지 세 셀은 +0.9~+12.2%p이다.
- broadcast는 single_agent 대비 통과율 0.892 vs 0.788이지만 토큰 12.8배를 쓴다.

How to Apply

내 로그로 confidence 신뢰도 표 만들기
- 오늘 정답 라벨이 있는 에이전트 응답 로그를 모아 confidence 구간별 실제 정답률을 계산하라.
- AUROC와 평균 confidence 대비 정확도를 함께 뽑아 과신 여부를 확인하라.
확률로 쓰는 점수는 isotonic으로 보정하기
- 조기 종료나 사람에게 넘기는 임계값에 confidence를 쓰고 있다면 scikit-learn 등으로 isotonic regression을 적합하라.
- 질문 단위로 fold를 나눠 학습과 평가에 같은 질문이 섞이지 않게 하라.
라우팅은 랜덤 선택과 A/B 비교하기
- 에이전트 후보가 여러 개일 때 confidence argmax와 랜덤 유효 후보 선택의 정답률을 같은 블록에서 비교하라.
- argmax가 랜덤보다 낮으면 confidence 라우팅을 끄라.
poll 답과 최종 발언 답을 따로 로깅하기
- 구조화 응답과 자유 서술 응답을 둘 다 쓰는 파이프라인이면 두 답을 추출해 불일치율과 정답 변화를 기록하라.
- 불일치가 해로우면 구조화 답을 고정하는 변경을 실험하라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: confidence 점수 감사용)

나는 LLM 에이전트 로그를 갖고 있다. 각 행은 (confidence 0~1, 정답 여부 0/1)이다.

{{CSV 데이터 붙여넣기}}

아래를 계산해 줘.
1. confidence를 10개 동일 폭 구간으로 나눠 구간별 평균 confidence와 실제 정확도
2. ECE와 Brier score
3. 정답이 오답보다 높은 confidence를 받을 확률(AUROC)
4. 평균 confidence와 전체 정확도 차이

그다음 질문 단위로 데이터를 2개 fold로 나눠 isotonic regression을 교차 적합하는 파이썬 코드를 써 줘. 보정 전후 ECE와 AUROC를 비교해야 해.

이어서 해 볼 것: 같은 후보 블록에서 confidence argmax와 랜덤 선택의 정답률을 비교하는 코드도 요청해 보자.

Terminology

AUROC점수가 정답을 오답보다 높게 줄 확률이다. 0.5면 동전 던지기, 1이면 완벽한 순위다.

ECE (Expected Calibration Error)말한 자신감과 실제 정답률의 평균 차이다. 날씨 예보가 '80% 비'라 했는데 실제 52%만 온 정도를 잰다.

isotonic regression점수가 높을수록 확률이 낮아지지 않게 하는 계단형 보정 곡선이다. 순서는 유지하고 눈금만 고친다.

confidence routing에이전트들이 말한 confidence 중 가장 높은 에이전트에게 다음 발언권을 주는 방식이다.

commitment구조화 poll에서 고른 답을 공개 발언에서도 그대로 말하는지를 뜻한다.

oracle후보 중 정답이 하나라도 있으면 그것을 고르는 이상적 선택기다. 라우팅 성능의 상한선이다.

관련 논문

Original Abstract (Expand)

A common multi-agent design asks agents to report confidence and lets the highest-scoring agent speak next, implicitly using one scalar both to route the conversation and to estimate uncertainty. We audit this confidence-routed broadcast protocol by separating three trace-level questions: whether it selects the right candidate (routing), whether reported confidence behaves like a probability (calibration), and whether the selected agent publicly states the answer that won the turn (commitment). Our primary study covers 4,181 gpt-oss-120b olympiad-math traces; we repeat the audit on a 2-by-2 actor-by-benchmark grid that adds gemma-4-31B-it and a biology multiple-choice benchmark. In the primary cell, confidence discriminates correct from wrong candidates (AUROC 0.72) but is strongly overconfident (79% mean stated confidence versus 52% accuracy). A cross-fitted, tier-stratified isotonic procedure reduces Expected Calibration Error from 0.278 to 0.008 on held-out candidates, but it does not recover missing discrimination: raw AUROC is only 0.537 and 0.440 in the two Gemma cells. Routing is likewise setting-dependent. Fixed routers differ by at most 1.1 percentage points on gpt-oss/math, whereas raw-confidence argmax performs 5.6 and 11.2 points below random-valid selection in the Gemma cells. Commitment is distinct again: in the primary cell, poll and spoken answers diverge in 20.4% of valid pairs, 62.4% of those revisions are fresh generations, and the unconditional correctness shift is -1.7 points; the other three cells instead range from +0.9 to +12.2 points. The transferable lesson is procedural: routing discrimination, probability calibration, and public commitment must be measured separately before raw confidence is used for deployment decisions.