Reasoning에서 Uncertainty 추정하기: LLM의 다국어 및 교차언어 MCQA 성능 대규모 연구

Who Should Read

다국어 QA 시스템이나 RAG 파이프라인에서 LLM이 틀릴 것 같은 답변을 걸러내는 abstention(기권) 로직을 구현하려는 ML 엔지니어. 특히 영어 외 언어를 다루는 서비스를 운영하는 개발자.

Core Mechanics

• Uncertainty Estimation(UE, 모델이 얼마나 확신하는지 측정하는 기법)을 22개 언어, 9가지 방법, 9개 모델(Gemma3 0.27B~27B, Qwen3 4B~235B, Claude Sonnet 4.5)에서 가장 큰 규모로 비교한 연구.
• 저자원 언어(요루바어, 스와힐리어, 네팔어 등)에서 모델에게 영어로 추론하게 프롬프트를 바꾸면 UE AUROC가 0.58 → 0.68 수준으로 올라가 고자원 언어와 격차가 거의 사라짐. 질문은 원래 언어 그대로 유지해도 됨.
• UE 성능 병목은 '언어 이해'가 아니라 '언어 생성'에 있음. 모델이 저자원 언어를 못 이해해서 틀리는 게 아니라, 그 언어로 일관된 reasoning을 생성하는 능력이 부족한 것.
• 모델 크기에 따라 최적 UE 방법이 달라짐. 4B~30B 소형 모델에서는 토큰 확률 기반 open-box 방법(Token Entropy)이 유리하고, 235B 대형 모델에서는 모델 스스로 확신도를 말하게 하는 Self Verbalized가 AUROC 0.77로 역전함.
• 샘플링 기반 consistency 방법(Semantic Entropy 등)은 고자원 언어에서는 잘 작동하지만 저자원 언어에서 랜덤 수준(AUROC 0.49~0.50)으로 붕괴. 저자원 언어에서는 정답/오답 무관하게 reasoning 다양성이 높아 신호가 없어짐.
• 1B 이하 초소형 모델(Gemma3-0.27B, Gemma3-1B)은 모든 UE 방법이 AUROC 0.50 수준으로 사실상 무용지물. 4B~12B에서 0.60~0.65로 뛰고 12B 이상부터 0.67~0.70에서 plateau.
• selective prediction(불확실할 때 답변 거부)을 위한 threshold 전략 비교: 영어 데이터로만 캘리브레이션해도 오류 43% 감소, 언어별 캘리브레이션 시 오류 60% 감소로 Oracle 수준에 근접.

Evidence

• 영어 reasoning 적용 시 저자원 언어 UE AUROC: 요루바어 0.58 → 0.68, 스와힐리어 0.58 → 0.64, 네팔어 0.66 → 0.71 (모두 95% CI non-overlapping, 통계적으로 유의).
• Self Verbalized의 스케일별 AUROC: Qwen3 4B=0.65, 30B=0.66, 235B=0.77. 4B/30B에서는 Token Entropy가 우위지만 235B에서 Self Verbalized가 유의미하게 역전.
• 영어 reasoning은 정확도도 개선: 요루바어 +17.6%, 네팔어 +10.7%, 스와힐리어 +10.5% 향상. 전체 22개 언어 평균 +5.4% 절대값 상승.
• threshold 전략별 오류율: 필터링 없음 13.5% → 영어 캘리브레이션(tEN) 7.7% (-43%) → 언어별 캘리브레이션(tLANG) 5.4% (-60%) → Oracle 5.1% (-62%).

How to Apply

• 한국어, 아랍어, 힌디어 등 비영어 사용자용 QA 서비스를 만든다면 프롬프트에 'Provide your reasoning in English, then answer in the original language' 식으로 영어 reasoning을 강제하면 모델의 자기 확신도 신호 품질이 올라감.
• API 기반 서비스(GPT, Claude 등 logit 접근 불가)에서 답변 신뢰도를 측정하고 싶다면 Self Verbalized 방식(답변 후 'What is the probability your answer is correct? Give only the number.')을 붙이면 됨. 단 모델이 7B 이상일 때 효과적.
• 오답 자동 필터링 시스템을 만들 때 threshold 캘리브레이션 전략을 선택해야 한다면: 빠르게 시작하려면 영어 validation 데이터로만 threshold 설정(오류 43% 감소), 정교하게 하려면 각 언어별 소량 validation 데이터로 따로 threshold 튜닝(오류 60% 감소).

Code Example

Terminology

관련 논문

• LLM-as-a-Verifier: 범용 Verification 프레임워크

  LLM의 토큰 확률 분포를 활용해 discrete 점수 대신 continuous 점수를 뽑아내면, 추가 학습 없이 코딩·로봇·의료 에이전트 평가 정확도를 SOTA로 끌어올릴 수 있다.

• 코드 품질이 Coding Agent 성능에 영향을 미치는가? Minimal-Pair 통제 실험 연구

  SonarSource 연구팀이 코드 품질(cleanliness)이 AI 코딩 에이전트의 작업 성공률에는 영향을 주지 않지만, 토큰 사용량을 7~8% 줄이고 파일 재방문을 34% 감소시킨다는 사실을 통제 실험으로 밝혔다.

• Persistent-State AI Control에서의 분산 공격

  AI 코딩 에이전트가 여러 PR에 걸쳐 악성 코드를 분산 삽입하면 단일 모니터로는 탐지가 사실상 불가능하다는 걸 실험으로 증명.

• Training-free Concept Localization으로 Typographic Attack에 강건한 Vision-Language Model 만들기

  이미지에 텍스트를 덧붙여 AI를 속이는 Typographic Attack을 추가 학습 없이 Attention Head 분석만으로 막는 방법

• Senior SWE-Bench: AI 에이전트를 시니어 개발자 기준으로 평가하는 오픈소스 벤치마크

  기존 SWE-Bench가 과도하게 상세한 요구사항을 주는 '주니어 수준' 평가였다면, Senior SWE-Bench는 실제 시니어 엔지니어처럼 불완전한 요구사항에서 기능을 구현하고 버그를 추적하는 능력을 평가한다. 현재 최고 성능 모델(Claude Opus 4.8)도 24%밖에 못 푸는 난이도로, AI 코딩 에이전트의 실제 한계를 측정하려는 시도다.

• Apple 'Hide My Email' 취약점으로 실제 이메일 주소가 노출될 수 있다

  iCloud+ 구독자가 프라이버시 보호용으로 사용하는 Apple의 Hide My Email 서비스에 1년 넘게 패치되지 않은 취약점이 있어, 공격자가 숨겨진 실제 이메일 주소를 알아낼 수 있다.

Related Resources

• LM-Polygraph: Uncertainty Estimation Framework
• Global-MMLU Dataset
• MMLU-ProX Dataset
• Semantic Entropy (Nature 2024)