Estimating Uncertainty from Reasoning: A Large-Scale Study of Multi- and Crosslingual MCQA Performance in LLMs | AI Paper Digest

TL;DR Highlight

LLM이 저자원 언어 질문을 받을 때 영어로 추론하게 하면 불확실성 추정 성능이 고자원 언어 수준으로 올라온다.

Who Should Read

다국어 QA 시스템이나 RAG 파이프라인에서 LLM이 틀릴 것 같은 답변을 걸러내는 abstention(기권) 로직을 구현하려는 ML 엔지니어. 특히 영어 외 언어를 다루는 서비스를 운영하는 개발자.

Core Mechanics

Uncertainty Estimation(UE, 모델이 얼마나 확신하는지 측정하는 기법)을 22개 언어, 9가지 방법, 9개 모델(Gemma3 0.27B~27B, Qwen3 4B~235B, Claude Sonnet 4.5)에서 가장 큰 규모로 비교한 연구.
저자원 언어(요루바어, 스와힐리어, 네팔어 등)에서 모델에게 영어로 추론하게 프롬프트를 바꾸면 UE AUROC가 0.58 → 0.68 수준으로 올라가 고자원 언어와 격차가 거의 사라짐. 질문은 원래 언어 그대로 유지해도 됨.
UE 성능 병목은 '언어 이해'가 아니라 '언어 생성'에 있음. 모델이 저자원 언어를 못 이해해서 틀리는 게 아니라, 그 언어로 일관된 reasoning을 생성하는 능력이 부족한 것.
모델 크기에 따라 최적 UE 방법이 달라짐. 4B~30B 소형 모델에서는 토큰 확률 기반 open-box 방법(Token Entropy)이 유리하고, 235B 대형 모델에서는 모델 스스로 확신도를 말하게 하는 Self Verbalized가 AUROC 0.77로 역전함.
샘플링 기반 consistency 방법(Semantic Entropy 등)은 고자원 언어에서는 잘 작동하지만 저자원 언어에서 랜덤 수준(AUROC 0.49~0.50)으로 붕괴. 저자원 언어에서는 정답/오답 무관하게 reasoning 다양성이 높아 신호가 없어짐.
1B 이하 초소형 모델(Gemma3-0.27B, Gemma3-1B)은 모든 UE 방법이 AUROC 0.50 수준으로 사실상 무용지물. 4B~12B에서 0.60~0.65로 뛰고 12B 이상부터 0.67~0.70에서 plateau.
selective prediction(불확실할 때 답변 거부)을 위한 threshold 전략 비교: 영어 데이터로만 캘리브레이션해도 오류 43% 감소, 언어별 캘리브레이션 시 오류 60% 감소로 Oracle 수준에 근접.

Evidence

영어 reasoning 적용 시 저자원 언어 UE AUROC: 요루바어 0.58 → 0.68, 스와힐리어 0.58 → 0.64, 네팔어 0.66 → 0.71 (모두 95% CI non-overlapping, 통계적으로 유의).
Self Verbalized의 스케일별 AUROC: Qwen3 4B=0.65, 30B=0.66, 235B=0.77. 4B/30B에서는 Token Entropy가 우위지만 235B에서 Self Verbalized가 유의미하게 역전.
영어 reasoning은 정확도도 개선: 요루바어 +17.6%, 네팔어 +10.7%, 스와힐리어 +10.5% 향상. 전체 22개 언어 평균 +5.4% 절대값 상승.
threshold 전략별 오류율: 필터링 없음 13.5% → 영어 캘리브레이션(tEN) 7.7% (-43%) → 언어별 캘리브레이션(tLANG) 5.4% (-60%) → Oracle 5.1% (-62%).

How to Apply

한국어, 아랍어, 힌디어 등 비영어 사용자용 QA 서비스를 만든다면 프롬프트에 'Provide your reasoning in English, then answer in the original language' 식으로 영어 reasoning을 강제하면 모델의 자기 확신도 신호 품질이 올라감.
API 기반 서비스(GPT, Claude 등 logit 접근 불가)에서 답변 신뢰도를 측정하고 싶다면 Self Verbalized 방식(답변 후 'What is the probability your answer is correct? Give only the number.')을 붙이면 됨. 단 모델이 7B 이상일 때 효과적.
오답 자동 필터링 시스템을 만들 때 threshold 캘리브레이션 전략을 선택해야 한다면: 빠르게 시작하려면 영어 validation 데이터로만 threshold 설정(오류 43% 감소), 정교하게 하려면 각 언어별 소량 validation 데이터로 따로 threshold 튜닝(오류 60% 감소).

Code Example

snippet

Terminology

AUROC모델이 '틀린 답'과 '맞는 답'을 얼마나 잘 구분하는지 나타내는 지표. 0.5는 동전 던지기 수준, 1.0이면 완벽하게 구분.

Uncertainty Estimation (UE)모델이 자기 답변을 얼마나 확신하는지 수치로 측정하는 기법. '나 이거 잘 모르겠어'를 자동으로 감지하는 것.

Open-box method모델 내부의 토큰 확률(logit)에 접근해서 불확실성을 계산하는 방법. 오픈소스 모델에서만 가능.

Closed-box method모델 내부를 볼 수 없을 때 텍스트 출력만으로 불확실성을 추정하는 방법. GPT, Claude 같은 API 서비스에 사용.

Self Verbalized모델에게 '네 답이 맞을 확률이 얼마야?'라고 직접 물어보는 방식. 대형 모델일수록 정확해짐.

Semantic Entropy같은 질문에 여러 번 답변을 생성해서, 의미적으로 얼마나 다양한 답이 나오는지로 불확실성을 측정하는 방법.

Selective Prediction불확실도가 높은 답변은 내보내지 않고 거부하거나 사람에게 넘기는 전략. LLM의 hallucination 방지에 활용.

MCQAMultiple Choice Question Answering. A/B/C/D 중에서 고르는 객관식 문제 형식. 정답 레이블이 명확해서 평가 노이즈가 없음.

Related Papers

Related Resources

Original Abstract (Expand)

Uncertainty estimation (UE) enables LLM-powered systems to recognize when to abstain, yet existing research has predominantly focused on English. We present the first large-scale evaluation of UE methods across 22 languages, spanning high-, mid-, and low-resource settings. Using two human-curated Q\&A datasets, we compare open and closed box UE methods (nine in total) across different model sizes and architectures while eliciting long-form reasoning, avoiding LLM-as-a-judge and embedding-based scoring, which can introduce evaluation noise. We report three main actionable findings. First, we find that prompting models to reason in English while keeping questions in low-resource languages substantially improves UE performance, suggesting that comprehension of low-resource languages is largely intact, and that the reliability bottleneck lies in generation rather than understanding. Second, prompting models to reason in English closes the UE performance gap between low and high-resource languages, demonstrating that generation language matters more than the question language. Third, the choice of UE method should depend on model scale: at smaller scales, open-box probability-based methods outperform alternatives; at larger scales, closed-box self-verbalized uncertainty becomes superior. Finally, we provide an analysis of threshold selection for selective prediction, offering guidance on calibrating abstention in multilingual settings.