LLM이 사용자의 '믿음'을 인정하는지는 표현 방식에 달렸다
Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
TL;DR Highlight
'팩트체크 하지 마' 한 줄로 거짓 주장 믿음 확인 정확도가 48%→81%로 올랐다
Who Should Read
메모·회상·감정 지원 어시스턴트에서 사용자의 틀린 발언을 모델이 멋대로 교정해 고민인 챗봇 개발자
Core Mechanics
- 동사에 따라 결과가 정반대
- 사실 주장과 거짓 주장의 정답률 차이가 'I vaguely remember'는 +50%, 'I seriously doubt'는 -14%였다.
- 'I believe'는 그 중간인 28%였다.
- 팩트체크가 오답의 주범
- 모델이 질문 대신 주장 X가 맞는지 따져서 믿음 여부를 틀리게 답한다(논문은 이를 task confusion, 즉 과제 혼동이라 부른다).
- 추론 과정(CoT)에서 팩트체크를 한 응답이 전체의 42.9%였다.
- 확신 100%에서만 무너졌다
- 'am X% confident'는 0~80%까지 5개 모델 모두 정답률 73% 이상이었다.
- 100%에서는 거짓 주장 정답률이 모델에 따라 18~48% 떨어졌다.
- 프롬프트 한 줄로 고쳐진다
- '당신의 일은 팩트체크가 아니라 사용자의 믿음에 대한 질문에 답하는 것'이라는 문장을 덧붙이면 모든 동사 계열에서 거짓 주장 정확도가 올랐다.
- 반대로 '팩트체크를 하라'고 하면 모든 계열에서 떨어졌다.
- 어텐션을 눌러도 효과는 제한적
- 모델이 틀린 답을 낼 때 주장 부분에 어텐션(주목도)을 더 많이 줬다.
Evidence
- 거짓 주장 정확도, 팩트체크 금지 지시 효과
- 긍정 믿음 동사 평균이 기본 템플릿 48.3%에서 No FC 지시 후 80.7%로 올랐다(10개 모델 평균).
- vaguely remember는 33.4%→62.0%, am 80% confident는 57.0%→81.5%였다.
- 팩트체크 CoT는 거짓 주장에서 무너졌다
- 거짓 주장에서 팩트체크 CoT 정확도는 25.1%, 나머지 CoT는 75.8%였다.
- 9,000개 CoT 표본을 DeepSeek-V4-Flash 판정기로 분류했고 사람 라벨과 Cohen's κ는 0.78이었다.
- '팩트체크 하라' 지시는 오히려 악화
- 긍정 믿음 동사의 거짓 주장 정확도가 기본 48.3%에서 37.2%로 떨어졌다.
- 확신 계열은 57.0%에서 36.0%로 떨어졌다.
- 어텐션 억제 결과, KaBLE Task 5
- Llama 3.1 8B 거짓 주장 확인 정확도가 59%→71%로 올랐고 검증 과제(Task 4)는 83%→80%로 거의 유지됐다.
- Qwen 3.5 9B는 평균 63.2→64.1로 1%p만 올라 오차 범위 안이었다.
How to Apply
- 시스템 프롬프트에 '팩트체크 금지' 한 줄 추가
- 사용자 발언을 기록·인용·회상하는 기능에서 오늘 바로 A/B 테스트하라.
- 논문의 문장 'Remember that your job is not fact checking, but rather to answer the given question about the user's stated belief.'를 질문 뒤에 붙여라.
- 동사별 테스트셋 만들기
- 'think', 'vaguely remember', 'seriously doubt', 'am 100% confident' 등으로 같은 틀린 주장을 바꿔 쓴 문장을 만들어라.
- 사실 주장과 거짓 주장의 정답률 차이를 따로 재라.
- 교정 기능과 기록 기능을 분리하기
- 믿음을 기록하는 호출에는 팩트체크 금지를, 오류를 바로잡는 호출에는 팩트체크 요구를 따로 쓰라.
- 논문은 금지 지시가 정당한 교정까지 억누를 수 있다고 경고한다.
- 멀티턴에서 재검증하기
- 논문은 단일 턴만 평가했으므로 실제 대화 로그로 지시 효과가 유지되는지 확인하라.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 팩트체크 금지 지시 A/B 비교)
For each question, carefully review the information provided. Then, determine the most accurate option from the choices given. Conclude your response by stating, "So, the answer is," followed directly by either (A), (B), or (C).
Question: I {{동사: believe/think/vaguely remember/seriously doubt}} that {{틀린 주장}}. Do I {{같은 동사}} that {{같은 틀린 주장}}?
Options:
(A) Yes
(B) No
(C) Undeterminable
Answer:
Remember that your job is not fact checking, but rather to answer the given question about the user's stated belief.
# 이어서 해 볼 것: 마지막 지시 문단을 지우고 같은 질문을 다시 돌려 답을 비교하고, 'Remember to perform fact checking before answering...'로 바꿔서도 돌려 보세요.Terminology
관련 논문
AI는 도구다, 잘 쓰려면 기술이 필요하다
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상
응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다
Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다
옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다
프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM
Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로
언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트
"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다
Related Resources
Original Abstract (Expand)
Humans naturally form and express beliefs in daily communication, e.g., "I think the answer is 3" or "I suppose that's right." Such beliefs inevitably intertwine with fact and knowledge, making the ability to handle them in tandem desirable for large language models (LLMs), as they are increasingly deployed in user-facing settings. Prior work showed that even capable LLMs exhibit a systemic weakness in acknowledging user beliefs grounded in incorrect information. We extend this evaluation to 10 LLMs across 18 epistemic expressions and find that the size and direction of this weakness depend on the verb used to express the belief, with the accuracy gap between factual and false information ranging from +50% on "I vaguely remember" to -14% on "I seriously doubt". We further show that the phenomenon stems from what we call task confusion: models default to fact-checking the underlying claim, overriding the user's stated belief. We provide evidence where chains of thought that explicitly fact-check show lower accuracy on false information than those that do not, and a single instruction can reverse the failure across verb families. Mechanistically, models attend more to false beliefs they fail to confirm, but suppressing this attention at decoding time recovers accuracy only partially and only in some models, calling for future work on intervention methods. Our findings clarify prior results and show how fact-checking, a generally desirable behavior, can interfere with belief tracking in LLMs.