덜 생각해야 더 잘 흉내 낸다: 직관 프롬프트가 개인별 SNS 반응 시뮬레이션을 개선한다
Thinking Less to Simulate Better: Intuitive Prompting Improves LLM Agents Simulating Individual Social Media Reactions, Including Unfamiliar Content
TL;DR Highlight
'바로, 직관적으로 답해라' 한 줄로 개인 반응 예측이 가장 좋아졌다
Who Should Read
LLM 페르소나 에이전트로 가상 사용자 시뮬레이션이나 합성 응답자를 만들고 있는 백엔드·프로덕트 개발자
Core Mechanics
- 인구통계만으론 부족하다
- 나이·성별·도시만 준 조건은 평균 MCC 0.300이었다.
- 설문(태도·신뢰·가치관)을 추가하면 0.406으로 올랐다.
- 직관 지시가 가장 잘 맞혔다
- '즉시, 분석하지 말고, 프로필과 어긋나도 괜찮다'고 지시하자 평균 MCC 0.473으로 5개 조건 중 최고였다.
- 같은 프로필(V1)에 지시문만 바꾼 결과다.
- '추론해서 답해라'는 효과가 없었다
- 속성 조합으로 추론하라는 지시는 MCC가 0.434로 인터뷰 조건과 똑같았다.
- 프로필 일관성만 0.754에서 0.826으로 올랐다.
- 에이전트가 모두 비슷해지는 문제가 줄었다
- 사람 간 차이 대비 에이전트의 획일화(압축) 배율이 분석형 조건에서 7.1~10.2배였다.
- 직관 조건에선 3.14배로 줄었다.
- 프로필에 너무 충실하면 오히려 가짜 같다
- 사람은 자기 설문 답과 71.3%만 일치했는데, 숫자 표만 준 에이전트는 0.904였다.
- 일관성이 높다고 사람을 잘 맞히는 건 아니다.
Evidence
- 프로필 내용이 효과가 컸다
- 인구통계 0.300에서 설문 0.406으로 올랐다(MCC, 4개 모델 평균).
- 설문 조건만 맞힌 셀이 367개, 인구통계만 맞힌 셀이 252개였다(p<.001).
- 직관 조건이 모든 대안을 앞섰다
- 인터뷰 조건 대비 186 대 144(p=.024), 추론 조건 대비 143 대 101(p=.009)이었다.
- 설문 조건 대비 238 대 166, 인구통계 대비 404 대 217(둘 다 p<.001)이었다.
- 기존 모델과 군중 기준선을 이겼다
- 랜덤포레스트는 MCC 0.302, 로지스틱 회귀는 0.183이었다.
- 군중 기준선은 0.450이었고, 의견이 갈린 33개 포스트에선 −0.008로 떨어졌다.
- 안 다룬 주제에서 군중 기준선을 넘었다
- 직관 조건은 0.399로, 군중 기준선 0.265를 241 대 167 셀로 앞섰다(p<.001).
- 획일화 배율은 3.48배였고 분석형 조건은 7.1~8.0배였다.
How to Apply
- 페르소나 프롬프트 끝에 직관 지시 추가하기
- 지금 쓰는 페르소나 시뮬레이션 프롬프트에 '즉시 답하라, 속성을 저울질하지 마라, 프로필과 어긋나도 된다'를 붙여라.
- 기존 프롬프트와 같은 포스트 20~30개로 정답 일치율을 비교하라.
- '속성 조합으로 추론하라'는 지시 빼기
- 추론 지시가 있다면 제거하고 A/B로 돌려라.
- 일관성이 아니라 실제 사람 반응과의 일치율로 판단하라.
- 인구통계 대신 태도 설문과 서술 자료 넣기
- 합성 응답자 프로필에 신뢰·가치관 문항을 넣어라.
- 새 주제까지 다뤄야 하면 자기소개나 인터뷰 글도 함께 넣어라.
- 획일화 지표를 평가에 추가하기
- 에이전트별 예측 비율의 표준편차를 구해 실제 사람과 비교하라.
- 모든 에이전트가 같은 값이면 프롬프트를 고쳐라.
Try It
# Claude/ChatGPT에 붙여넣기 — 논문 방법(V5 직관 조건)의 간이 버전
[프로필]
{{설문 응답 + 인터뷰/자기소개 전문}}
[지시]
당신은 위 프로필의 실제 사람입니다. 아래 포스트마다 이 사람이 '좋아요'를 누를지 '싫어요'를 누를지 즉시 직관적으로 답하세요.
- 분석하거나 속성들을 서로 저울질하지 마세요.
- 이유를 설명하지 마세요.
- 일부 반응이 프로필과 어긋나도 괜찮습니다.
[포스트]
{{포스트 목록(번호 포함)}}
출력 형식: 번호:like 또는 번호:dislike를 쉼표로 구분
이어서 해 볼 것: 같은 프로필로 '속성 조합으로 추론하라'는 지시 버전도 돌려 실제 반응과 일치율을 비교해 보세요.Terminology
관련 논문
AI는 도구다, 잘 쓰려면 기술이 필요하다
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상
응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다
Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다
옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다
프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM
Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로
언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트
"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다
Related Resources
Original Abstract (Expand)
Platform policies are increasingly tested on artificial users, making agent fidelity important. Yet convincing fake profiles could also manipulate perceived public opinion before elections. Validation has concentrated on agreement with human behaviour and has paid little attention to whether an agent behaves in line with the profile it was given. The present study profiled eight Serbian participants through a questionnaire, a deep interview, and a written self-presentation, recorded their reactions to sixty-eight social media posts, and asked four language models to predict those reactions under five prompt conditions varying profile content and instruction style. Attitudinal content improved prediction over demographic backstories by a wide margin. Agents matched their stated profiles more closely than participants matched their own survey answers, and consistency proved unrelated to fidelity once profile information was present. Instructing models to respond intuitively and immediately rather than analytically gave the highest fidelity of any condition and cut the compression of individual differences from seven times the human level to three. The advantage held on posts about topics the questionnaire never raised, where that condition reached the highest fidelity of any setup and beat a crowd baseline by a wide margin, which suggests that agents prompted this way could serve as general-purpose simulated users rather than specialists on the topics they were profiled for. Results may bear implications for the development of language models, because intuition-based setups appear better suited to some tasks than reasoning-based ones.