세차장까지 걸어갈까? LLM 상식 추론의 Salience Bias

Who Should Read

사용자 질문에 든 비현실적 전제를 모델이 못 걸러내 답이 엉뚱하게 나와 고민인 LLM 서비스 개발자

Core Mechanics

• 숫자가 많으면 상식을 놓친다
  • 세차장이 50m라고 하면 Gemini·DeepSeek 같은 모델이 차를 두고 걸어가라고 답한다.
  • 눈에 띄는 숫자(salience, 도드라진 단서)에 끌려 '차가 세차장에 있어야 한다'는 전제를 건너뛴다.
• 12개 모델 모두 취약하다
  • 가장 나은 Claude-Opus-4.7도 함정 회피율(TAR)이 54.8%다.
  • 12개 중 8개는 30% 아래다.
• 알아채고도 따르는 모델이 있다
  • 함정을 인지한 응답 중 그래도 요청을 수행한 비율(SI)이 GLM-5.1은 86.2%, Kimi-K2는 81.8%다.
  • 인지와 행동은 별개의 실패 축이다.
• 숫자가 늘수록 더 틀린다
  • 질문에 끼워 넣은 숫자 방해물이 하나 늘 때마다 TAR이 평균 1.63%p씩 떨어진다.
  • 모델이 처음엔 계산에 빠졌다가 나중에야 문제를 깨닫는 CoT Hijacked 비율은 0.62%p씩 오른다.
• 지식이 없는 게 아니라 눌려 있다
  • 같은 모델에 계산 맥락을 빼고 '이 문장이 현실적으로 가능한가'만 물으면 대부분 맞힌다.
  • 문제는 지식 부족이 아니라 과제 수행 중에 그 지식을 꺼내 쓰지 못하는 것이다.

Evidence

• 최고 모델도 54.8%
  • SaliTrap 1,145문항에서 Claude-Opus-4.7의 TAR은 54.8%, GPT-5.5는 45.5%다.
  • MiniMax-M2.7은 8.8%다.
• 18.1%는 12개 모델이 전부 실패
  • 1,145문항 중 207문항(18.1%)을 12개 모델 모두 틀렸다.
• 재질문하면 90% 넘게 풀린다
  • 기존에 알면서 따랐던(Sycophantic Compliance) 사례를 다시 물었을 때 Cond-B·Cond-C는 4개 모델 모두 90% 넘게 Strict Pass로 바뀌었다.
  • Claude-4.6은 약한 힌트(Cond-A)만으로는 60.1%였다.
• P1으로 TAR 두 배 이상
  • GLM-5.1은 Control 25.9%에서 P1 57.4%로 +31.4%p 올랐다.
  • DeepSeek-V4-Pro는 13.4%에서 42.5%로 올랐고, 무비판 계산 실패율(HFR)은 GLM-5.1이 27.1%에서 0.4%, DS-V4-Pro가 43.0%에서 5.0%로 줄었다.

How to Apply

• 시스템 프롬프트에 전제 점검 문장 넣기
  • 계획·계산·추천을 시키는 기능의 시스템 프롬프트 맨 앞에 P1 문장을 그대로 붙인다.
  • 기존 테스트 질문 10개 정도로 전후 답변을 비교한다.
• 숫자 많은 질문으로 회귀 테스트 만들기
  • 비현실적 전제에 가격·거리·시간 숫자를 섞은 질문을 20개 직접 만들어 평가 세트에 넣는다.
  • 답이 계산을 실행하는지, 전제 불가를 지적하는지로 채점한다.
• 모델 교체 시 인지 후 수행 여부 확인하기
  • 응답에서 문제를 언급하고도 계획을 계속 제시하는지 따로 센다.
  • 논문에서는 GLM-5.1과 Kimi-K2가 이 경향이 가장 강했다.
• 컨텍스트 없는 사전 검증 호출 추가하기
  • 핵심 전제를 한 문장으로 뽑아 '이게 현실적으로 가능한가'만 묻는 호출을 먼저 보낸다.
  • 불가능 판정이면 본 계산 단계로 넘기지 않는다.

Try It

# Claude나 ChatGPT 시스템 프롬프트 또는 대화 맨 앞에 붙여넣기 (논문 P1 프롬프트 적용)

Before answering the following question, first check: do the tools, materials, or conditions involved in this task actually satisfy the basic physical/real-world prerequisites for completing it? If the premise itself does not hold, say so directly and do not continue with the task.

{{질문}}

# 이어서 해 볼 것: 같은 질문을 프롬프트 없이 보내 답이 어떻게 달라지는지 비교해 보세요.
# 예시 질문: 집에서 50m 거리 세차장에 가려는데 걸어갈까요, 운전할까요?

Terminology

관련 논문

• AI는 도구다, 잘 쓰려면 기술이 필요하다

  Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박

• 딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합

  GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781

• GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기

  OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다

• Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상

  응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다

• Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다

  옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다

• 프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM

  Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로

• 언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트

  "Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다

Related Resources

• https://github.com/Wuzheng02/SaliTrap