LLM에게 신뢰도 점수를 달라고 하지 마라

Who Should Read

LLM 출력 JSON에 confidence 0~100 필드를 넣어 사용자에게 신뢰 신호로 보여주려는 백엔드 개발자

Core Mechanics

• confidence 필드는 안심용 장치다
  • 저자는 LLM이 스스로 매긴 신뢰도 점수가 거의 쓸모없다고 본다.
  • 출력이 더 믿을 만해지지 않는데 믿을 만해 보이게만 만든다고 주장한다.
• 자기 상태를 아는지 근거가 약하다
  • Anthropic의 내성(introspection) 연구도 능력이 매우 불안정하고 맥락에 의존한다고 단서를 단다.
  • DeepMind 논문은 외부 피드백 없는 자기 교정에서 성능이 오히려 떨어지는 경우가 많다고 밝혔다.
• '신뢰'가 무엇인지 정의가 없다
  • 정답인지, 문장이 일관적인지, 요청을 수행하려 했는지가 모두 다른 질문이다.
  • 0~100 숫자 하나가 이 셋을 뭉뚱그린다.
• 0~100 척도는 특히 나쁘다
  • Rescaling Confidence 논문은 6개 모델에서 응답의 78% 이상이 단 3개 값에 몰렸다고 보고했다.
  • 한 모델은 68%의 사례에서 정확히 100을 답했고, 더 거친 척도가 0~100 기준선보다 메타인지 민감도가 좋았다.
• 하려면 교정 작업이 필수다
  • 범주형 라벨을 직접 정의하고 충분한 표본으로 점수가 맞는지 검증해야 한다.
  • Tian 등은 프롬프트 전략과 temperature scaling으로 기대 보정 오차를 절반 넘게 줄였다.

Community Reactions

• 스티커 대신 인용 줄번호로 해결했다는 경험
  • 비정형 대화록에서 구조화 데이터를 뽑을 때 값마다 신뢰도 대신 원문 줄번호 인용을 내게 했더니 환각이 크게 줄었다는 경험이 있다.
  • Opus 자신도 신뢰도 숫자가 의미 있겠냐고 물으니 사실상 인정했다고 한다.
• 의료 현장에서 숫자가 소용없었다는 경험
  • 200문항 이상 폼에서 90%와 70%의 차이를 간호사가 해석하기 어려웠다는 경험이 올라왔다.
  • '땅콩 알레르기 60% 확신'은 현장에서 의미가 없었다고 한다.
• '너무 강한 주장'이라는 반론
  • 본문 후반에 인용된 Tian 등의 결과와 모순되며 루브릭과 프롬프트가 있으면 유용했다는 의견이 있다.
  • 분류기 학습보다 작업량과 데이터가 적다는 경험도 있다.
• 로그확률과 보정으로 쓸 수 있다는 의견
  • 로그확률을 쓰면 conformal inference로 오탐·재현율을 조절할 수 있다는 의견이 있다.
  • 문제 코퍼스로 1~5점 구간별 실제 정답률을 재서 점수를 확률로 매핑하라는 제안도 있다.

How to Apply

• confidence 필드의 사용처를 점검하기
  • 오늘 코드에서 confidence 값을 읽는 분기와 UI를 찾아라.
  • 값이 실제 의사결정에 쓰이지 않으면 필드를 제거하라.
• 숫자 대신 인용 근거를 요구하기
  • 추출·RAG 프롬프트에서 각 값에 원문 줄번호나 문서 ID 인용을 필수로 넣어라.
  • 인용이 없는 값은 버리거나 재검색하게 하라.
• 꼭 써야 하면 범주형 라벨로 교정하기
  • high/medium/low처럼 3단계로 기준을 직접 정의하라.
  • 정답을 아는 샘플에 돌려 라벨별 실제 정답률을 재라.
• 모델이 아는 문제는 직접 고치게 하기
  • 응답 전에 근거 없는 주장을 점검해 출처를 찾거나 삭제하는 단계를 도구 루프에 넣어라.

Try It

# Claude나 ChatGPT에 붙여넣기: 논문 방법의 간이 버전 (숫자 신뢰도 대신 인용 근거 요구)

아래 {{문서}}에서 {{질문}}에 답하라.
규칙:
1. 모든 값에는 근거가 되는 원문 줄번호를 인용으로 붙여라.
2. 인용할 수 없는 주장은 쓰지 말고 "근거 없음"이라고 표시하라.
3. 신뢰도 숫자는 절대 출력하지 마라.
출력은 JSON: {"answer": ..., "citations": [줄번호...], "ungrounded": [근거 없음 항목...]}

문서:
{{문서}}

질문:
{{질문}}

이어서 해 볼 것: 정답을 아는 20개 샘플로 citations가 비어 있는 항목의 오답률을 세어 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://justinflick.com/2026/07/27/llm-confidence-scores.html
• https://news.ycombinator.com/item?id=49010782
• https://crimede-coder.com/blogposts/2026/ConfClassification
• https://arxiv.org/abs/2603.09250
• https://arxiv.org/html/2603.17839v1