The Story Shapes the Agent: LLM 행동을 좌우하는 Narrative Priors

Who Should Read

페르소나 프롬프트로 에이전트 행동을 통제하려는데 도메인을 바꾸면 행동이 달라져 고민인 에이전트 개발자

Core Mechanics

• 스토리가 페르소나를 이긴다
  • 같은 구조의 게임 3종에서 task 스토리가 행동 분산을 페르소나보다 5–31배 더 설명했다.
  • 의학 스토리는 대화(talk), IT는 문서 읽기(read), 범죄는 테스트(test)를 가장 많이 유도했다.
• 스토리 편향이 성공률을 깎기도 한다
  • 3개 도메인 중 2개에서 스토리가 부추기는 행동은 성공과 음의 상관을 보였다.
  • 예를 들어 의학 게임(CI)의 talk 편향은 GPT-4o에서 r=−.29였다.
• 페르소나는 스토리 안에서만 먹힌다
  • 한 게임 안에서는 페르소나에 따라 성공률이 0%에서 100%까지 갈렸다.
  • 다른 게임으로 옮기면 페르소나 분류 정확도가 평균 10.4%로, 우연 수준(10%)에 가까웠다.
• 행동 앵커 단어가 있어야 이식된다
  • '대화를 선호한다'처럼 실제 행동(talk)에 바로 연결되는 표현을 행동 앵커(behavioral anchor)라 부른다.
  • 앵커가 많은 페르소나일수록 도메인을 바꿔도 행동이 일관됐다(R²=0.65).
• 명시적 지시도 스토리를 못 이긴다
  • 행동의 60% 이상을 특정 타입으로 하라고 강제해도 도메인별 비율 차이가 남았다.
  • 행동 이름을 ACTION ALPHA 같은 코드로 바꾸자 스토리 편향이 오히려 더 강해졌다.

Evidence

• 스토리 vs 페르소나 분산 비교
  • Two-way ANOVA에서 읽기·대화·테스트 비율의 분산을 스토리가 페르소나보다 5–31배 더 설명했다.
  • Random Forest로 스토리는 99.7–100%, 페르소나는 24.6–41.3% 정확도로 맞혔다(우연 수준 각각 33%, 10%).
• 앵커 제거 실험 결과
  • social collaborative 페르소나에서 앵커 단어를 빼자 BCI(도메인 간 일관성 지수)가 +.22에서 +.01로 95% 떨어졌다.
  • coverage focused 페르소나도 BCI가 +.862에서 +.370으로 떨어졌다.
• BCI 상위 5개 선택 효과
  • 상위 5개 페르소나만 쓰면 도메인 간 분류 정확도가 10.4%에서 21.0%로 두 배가 됐다.
  • 소스 도메인 BCI만으로 고른 경우 9개 조합 모두에서 평균 +12.0%p 개선됐다.
• 새 도메인 예측 적중
  • 사전 등록한 예측대로 4번째 게임 Cooking Kitchen의 talk 비율은 .213으로 기존 3게임 평균 .177보다 높았다(p<.001, d=0.48).

How to Apply

• 페르소나 문구를 행동 동사로 바꾸기
  • 에이전트 시스템 프롬프트에서 '꼼꼼하게' 같은 추상 성격 표현을 찾아라.
  • '문서를 먼저 읽는다', '출처를 한 번씩 확인한다'처럼 실제 도구·액션 이름과 연결된 문장으로 고쳐라.
• 도메인별 행동 로그로 편향 점검하기
  • 같은 에이전트를 의료·IT·법률 등 여러 도메인 프롬프트로 돌려 도구 호출 비율(read/talk/test 등)을 집계하라.
  • 도메인마다 비율이 크게 다르면 스토리 편향을 의심하고 프롬프트를 수정하라.
• 페르소나 후보는 소스 도메인 데이터로 골라 쓰기
  • 후보 페르소나를 두 개 이상 도메인에서 돌려 도메인 평균 대비 편차 패턴의 상관(BCI)을 계산하라.
  • 상관이 높은 상위 페르소나만 새 도메인에 배포하라.
• 모델별로 다시 검증하기
  • 모델을 바꿀 때마다 같은 페르소나의 도메인 간 일관성을 다시 측정하라.
  • 논문에서 BCI 순위의 모델 간 상관은 ρ<0.24로 낮았다.

Try It

# Claude나 ChatGPT에 붙여넣기 — 논문 방법의 간이 버전: 페르소나 문구를 행동 앵커 문장으로 바꿔 본다

나는 LLM 에이전트의 시스템 프롬프트 페르소나를 다듬으려 한다. 아래 페르소나 설명에서 추상적 성격 표현을 찾고, 에이전트가 쓸 수 있는 액션(도구) 이름에 직접 연결되는 구체적 행동 문장으로 다시 써 달라.

[페르소나 설명]
{{현재 페르소나 문구}}

[에이전트 도구/액션 목록]
{{예: search_docs, ask_user, run_test, open_page}}

지시:
1. 추상 표현을 표로 정리하고 각각 어떤 액션과 연결 가능한지 쓴다.
2. 원래 의도는 유지하되 액션 이름과 동사가 드러나는 버전으로 다시 쓴다.
3. 그래도 연결되지 않는 표현은 '앵커 없음'으로 표시한다.

이어서 해 볼 것: 원본과 수정본을 {{도메인 A}}, {{도메인 B}} 두 시나리오에서 각각 돌려 액션 호출 비율을 비교해 보자.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓