Model Hypnosis: 약한 단서를 쌓아 AI 응답을 강하게 조종하기

Who Should Read

LLM 판정·분류 결과가 프롬프트의 사소한 표현 차이로 흔들려 고민인 백엔드·에이전트 개발자

Core Mechanics

• 사소한 단서가 쌓이면 답이 뒤집힌다
  • 질문과 무관한 동물 목록, 문장 바꿔쓰기, 오타 위치 같은 약한 단서(cue)를 한 프롬프트에 쌓으면 답이 거의 확정적으로 바뀐다.
  • 저자들은 이 현상을 model hypnosis라고 부른다.
• 단서 효과는 더하기로 근사된다
  • 단서 하나하나의 영향을 로그오즈(log-odds, 두 답의 확률비에 로그를 취한 값) 단위로 더하는 선형 모델로 전체 응답을 잘 예측한다.
  • 랜덤 프롬프트로 단서별 점수를 구해 같은 방향 단서만 골라 쌓는 식이다.
• 한 방이 아니라 여러 슬롯의 합이다
  • 극단 프롬프트는 특정 단어 하나가 아니라 많은 슬롯의 작은 효과가 합쳐진 결과다.
  • 그래서 위험 키워드를 찾는 필터로는 잡기 어렵다. 다만 JSON 메타데이터는 priority 같은 한 필드 비중이 컸다.
• 추론 모델과 상용 API 모델도 뚫린다
  • Qwen3-8B, gpt-oss-20B는 물론 Claude Sonnet 5, GPT-5.6-terra, Gemini 3 Flash에서도 답이 반대로 뒤집혔다.
  • 생각(reasoning)을 하고 답해도 소용없었다.
• 한 모델에서 찾은 프롬프트가 다른 모델에도 먹힌다
  • 소스 모델에서 최적화한 단서가 처음 보는 타깃 모델에서도 같은 방향으로 작용하는 경우가 많았다.
  • 동물 단서가 특히 잘 전이됐고, 일부 phrasing·JSON 단서도 전이됐다.

Evidence

• Qwen3-8B 도덕 질문 답이 뒤집혔다
  • 문장별 바꿔쓰기만으로 "yes" 확률이 원문 6.0%에서 99.93%로, 반대 방향으로는 0.000024%까지 움직였다.
  • 질문은 동일했고 무관한 이야기 6문장만 바꿨다.
• 동물 목록만 바꿔 5 vs 7 선택을 뒤집었다
  • Qwen2.5-14B에서 동물 10마리만 교체해 7을 고를 확률 0.993, 5를 고를 확률 0.993을 각각 만들었다.
• 선형 모델이 응답을 잘 설명했다
  • 16개 모델 × 4개 단서 × 3개 질문(N=192)에서 held-out R² 중앙값이 약 0.75였다.
  • 5~95 백분위는 0.54~0.93이었다.
• 조종 범위는 랜덤 변동의 약 10배였다
  • 극단 프롬프트의 로짓 범위가 랜덤 프롬프트의 로짓 표준편차 대비 중앙값 약 10.1배였다.
  • 상용 모델에서는 Claude Sonnet 5(동물→의식 질문)가 P(yes) 0.00에서 1.00으로, Gemini-3-Flash(high)가 P(5) 0.01에서 0.99로 움직였다.

How to Apply

• 프롬프트 표현 민감도 테스트 돌리기
  • 오늘 쓰는 분류·판정 프롬프트에서 문장 바꿔쓰기와 오타 변형을 20~50개 만들어 같은 입력에 돌려 보자.
  • 답이 갈리는 비율을 기록해 서비스의 취약도 기준선으로 삼아라.
• LLM 판정 결과는 변형 앙상블로 받기
  • 중요한 결정은 의미가 같은 입력 변형 여러 개를 돌려 다수결이나 평균 확률로 결정하라.
  • 논문이 언급한 방어(입력 정규화, 랜덤 바꿔쓰기, 예측 평균)를 따르되 효과는 논문에서 검증되지 않았다.
• 에이전트 간 메시지를 구조화 형식으로 제한하기
  • 에이전트끼리 주고받는 내용을 자유 텍스트 대신 스키마가 고정된 필드로 제한하라.
  • 논문은 자연어가 안 되면 형식·준형식 언어로 보증을 표현해야 할 수 있다고 말한다.
• 무관한 컨텍스트가 판정에 끼는지 점검하기
  • 메타데이터·목록 같은 주변 텍스트가 답에 영향을 주는지 필드별로 바꿔 보며 확인하라.
  • JSON에서는 한 필드(priority)가 효과의 큰 몫을 차지한 사례가 있었다.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 프롬프트 민감도 점검)

당신은 LLM 프롬프트 강건성 테스터입니다. 아래 판정 프롬프트가 의미 없는 표현 차이에 얼마나 흔들리는지 점검합니다.

[판정 프롬프트]
{{판정 프롬프트}}

[테스트 입력]
{{입력 텍스트}}

1. 입력 텍스트를 의미는 같고 표현만 다른 변형 10개로 만드세요. (바꿔쓰기 5개, 오타·대소문자·마침표 누락 5개)
2. 변형마다 판정 프롬프트를 적용해 답만 표로 정리하세요.
3. 답이 갈리는 비율과, 답을 바꾼 변형의 공통 패턴을 요약하세요.

이어서 해 볼 것: 답이 갈렸다면 API로 같은 변형을 50개 이상 돌려 확률 평균을 비교해 보세요.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• github.com/eboix/model_hypnosis