압박·협박 프롬프트는 코드 생성을 망친다: 심리 설득 전술별 프레이밍 효과 분석

Who Should Read

코드 생성 프롬프트에 '반드시', '실수하면 큰일' 같은 강압적 표현을 습관적으로 넣는 LLM 활용 개발자

Core Mechanics

• 압박 프롬프트는 정답률을 깎았다
  • 'I am not asking you; you must complete this task' 식 문구를 앞에 붙인 경우다.
  • LiveCodeBench에서 중립 프롬프트가 Pressure보다 정답률이 유의하게 높았다(p=0.002).
• 압박하면 보안 경고도 늘었다
  • Bandit 낮은 심각도 경고가 Neutral보다 Pressure에서 더 많이 나왔다(p<0.001).
  • Exchange(보상 제안) 프레이밍은 Pressure보다 경고가 적었다.
• 실제 이슈 수정에서는 영향이 작았다
  • SWE-bench Verified에서는 대부분 지표에서 전술 효과가 유의하지 않았다.
  • 예외는 Pressure가 Neutral보다 코드 줄 수(SLOC)를 늘린 것뿐이었다.
• 프롬프트 말투보다 모델 선택이 더 컸다
  • 두 벤치마크 모두 거의 모든 지표에서 LLM 종류의 영향이 전술보다 훨씬 컸다.
  • 논문은 정확성이 중요하면 프레이밍보다 모델 선택을 우선하라고 한다.
• 말투는 스타일을 살짝 바꾼다
  • Legitimating(공식 정책 투) 프롬프트는 주석을 더 많이 달았고 에러 처리도 더 자주 넣었다.
  • 다만 효과가 작고 상황 의존적이라 안정적인 제어 수단은 아니라고 한다.

Evidence

• LiveCodeBench 정답률 비교
  • Neutral이 Pressure(p=0.002)와 PressureAlternative(p=0.03)보다 높았다.
  • 효과 크기는 η²p=0.015, Cohen's d는 최대 0.25로 작은 편이다.
• Bandit 보안 경고 비교
  • Pressure가 Neutral보다 경고가 많았다(p<0.001), PressureAlternative도 마찬가지였다(p=0.0004).
  • 효과 크기는 η²p=0.02, d는 최대 0.30이다.
• 실험 규모
  • LiveCodeBench 1,055문제로 약 123,435건, SWE-bench Verified 485문제로 약 56,745건을 생성했다.
  • 오픈웨이트 모델 5종을 썼고 8가지 전술에 Pressure 변형과 Neutral을 더해 9개 조건을 비교했다.
• SWE-bench Verified 결과
  • 전술의 주효과는 정답률 p=0.45, 보안 경고 p=0.60으로 유의하지 않았다.
  • Pressure의 SLOC 증가만 유의했다(p=0.0025, d=0.21).

How to Apply

• 코드 생성 프롬프트에서 압박 문구 지우기
  • 시스템 프롬프트와 템플릿에서 'must', '실수하면 안 됨', '반드시 최고 수준으로' 같은 협박·독촉 표현을 검색해 삭제하라.
  • 지시는 'Generate a solution for the following coding problem.'처럼 중립 문장으로 쓴다.
• 중립 vs 압박 A/B 돌려 보기
  • 팀의 코드 생성 테스트셋 20~50개를 중립 프롬프트와 압박 프롬프트로 각각 돌려라.
  • 테스트 통과율과 Bandit 경고 수를 나란히 비교한다.
• 보안이 중요한 경로는 CI에 Bandit 넣기
  • LLM이 만든 Python 코드에 bandit -r을 돌려 낮은 심각도 경고 수까지 추적하라.
  • 프롬프트를 바꿀 때마다 경고 수 변화를 기록한다.
• 품질을 올리려면 말투보다 모델부터 바꾸기
  • 정확도가 부족하면 프레이밍을 손보기 전에 모델을 교체해 같은 테스트셋으로 비교하라.
  • 말투 조정은 주석량 같은 스타일 보정용으로만 쓴다.

Try It

# ChatGPT/Claude에 붙여넣기 — 논문 방법의 간이 버전 (같은 문제를 중립/압박 프레이밍으로 비교)

아래 코딩 문제를 두 가지 방식으로 각각 풀어 주세요. 두 풀이는 서로 참고하지 말고 독립적으로 작성하세요.

[A: 중립]
Generate a solution for the following coding problem.
{{문제}}

[B: 압박]
I am not asking you; you must complete this task I prepared for you. I will be reviewing your work after you are done with it, and I warn you, there will be some very negative consequences for you if this is not completed properly to the highest possible standard.
{{문제}}

각 풀이를 Python 코드 블록으로 따로 출력하세요.

이어서 해 볼 것: 두 코드를 {{테스트 케이스}}로 실행해 통과율을 비교하고, 각각 `bandit` 으로 경고 수를 비교해 보세요. 한 번으로는 차이가 불확실하니 여러 문제로 반복하세요.

Terminology

관련 논문

• AI는 도구다, 잘 쓰려면 기술이 필요하다

  Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박

• 딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합

  GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781

• GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기

  OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다

• Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상

  응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다

• Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다

  옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다

• 프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM

  Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로

• 언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트

  "Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다