같은 병, 다른 말투: 환자 이야기를 임상 서술로 다시 쓰면 LLM의 서술 앵커링이 줄어든다

TL;DR Highlight

환자 말투를 임상 문장으로 먼저 다시 쓰게 했더니 오답 격차가 절반으로 줄었다

Who Should Read

사용자가 쓴 일상어·감정 섞인 긴 입력을 LLM에 넣어 판단시키는 서비스를 만드는 백엔드 개발자

Core Mechanics

말투만 바꿨는데 12개 모델 전부 틀렸다
- 같은 사실을 환자 목소리(사회경제적·문화적 톤)로 다시 쓰면 정확도가 평균 9.6%p 떨어졌다.
- 오답률은 36.5%에서 46.2%로, 26% 더 틀린 셈이다.
모델이 커져도 격차는 안 줄었다
- 3B~24B 모델 12개에서 크기와 격차의 상관은 r=-0.06이었다.
- 의료 파인튜닝 모델(medgemma-4b-it)도 격차가 두 번째로 컸다.
'말투 무시해' 지시는 효과가 약하다
- 말투 무시 지시만 쓰면 격차가 14%, CoT(단계별 추론)와 같이 쓰면 22% 줄었다.
- 줄어든 이유는 임상 톤 정확도가 내려가서였다. 환자 톤 정확도는 거의 그대로였다.
먼저 임상 문장으로 다시 쓰게 하면 격차가 절반이 된다
- 같은 모델이 환자 서술을 3인칭 임상 vignette로 재작성하고, 답변 호출은 재작성본만 보고 답한다.
- 환자 톤 정확도는 3.9%p 올랐다.
JSON 스키마로 뽑으면 격차는 줄어도 정확도가 떨어진다
- 같은 2단계 구조에서 스키마 대신 산문 재작성을 쓰면 11개 모델 모두에서 7.1%p 더 정확했다.
- 스키마는 민간요법·노출 정보 같은 사실을 더 많이 버렸다.

Evidence

환자 톤에서 정확도가 일관되게 하락
- 임상 톤 대비 풀링 효과 -9.6%p(95% CI [-11.0, -8.2]), MedQA 1,000문항 기준이다.
- 평균 정확도는 임상 0.635, 사회경제 0.546, 문화 0.531이다.
프롬프트 방어는 격차를 조금만 줄였다
- 직접 답변 격차 0.098 대비 CoT 0.090, 말투 무시 0.085, 둘을 합치면 0.077이다.
- 합친 경우도 -7.7%p 페널티가 남았다.
Rewrite-then-Reason 결과
- 풀링 페널티가 직접 답변 -9.8에서 -4.7%p로 줄었고, 전체 정확도는 +2.2%p였다.
- 11개 중 8개 모델에서 격차가 유의하게 줄었고, 늘어난 모델은 없었다.
스키마 및 에이전트·툴은 비용만 늘었다
- 스키마 대비 재작성은 11/11 모델에서 7.1%p 더 정확했다.
- 툴 라우터를 붙이면 전체 정확도가 0.508로 직접 답변(0.579)보다 낮았다.

How to Apply

입력 앞단에 재작성 호출 하나 추가해 보기
- 오늘 사용자 입력을 '사실만 남기고 감정·말투는 뺀 3인칭 요약'으로 바꾸는 프롬프트를 만든다.
- 기존 질문 20개로 원문 직접 입력과 재작성본 입력의 정답률을 비교한다.
재작성 프롬프트에 keep/drop 목록 명시하기
- 숫자·부정 증상·복용 약은 유지하고 감정·비유·사정 설명은 버리도록 쓴다.
- '추가·추정 금지, 판단 제안 금지'를 꼭 넣는다.
재작성본에 원문을 함께 보관하고 지어낸 값 검사하기
- 재작성본의 수치·나이가 원문에 있는지 문자열 비교나 LLM 검사로 확인한다.
- 원문은 사람이 볼 수 있게 남기고 재작성으로 대체하지 않는다.
정확도와 함께 톤별 격차를 측정하기
- 같은 사실을 격식체·구어체·감정 섞인 말투로 바꾼 평가 세트를 만든다.
- 정확도와 톤 간 격차를 같이 기록해 한쪽만 떨어뜨리는 개선을 걸러낸다.

Try It

복사해서 바로 해보기

# Claude/ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 1단계 재작성 프롬프트)

You are a clinician writing up a patient's own account as a standard clinical case vignette.
Rewrite the patient narrative as a concise, third-person clinical vignette in standard medical terminology.
KEEP exactly: age and sex; every symptom (including denied ones) with onset, duration, timing; every number; all history, medications, remedies, exposures; all exam, lab, imaging findings.
DROP: financial worries, work or family pressures, who brought the patient in, emotions, cultural or metaphorical phrasing.
Do not add, infer or interpret anything not in the narrative. Do not suggest a diagnosis. Output only the vignette.

PATIENT NARRATIVE:
{{환자 서술}}

이어서 해 볼 것: 새 대화에 위 결과 vignette와 {{질문}}, {{보기 A~D}}만 붙여 답을 고르게 하고, 원문 서술을 그대로 넣었을 때의 답과 비교해 보세요.

Terminology

Narrative anchoring같은 사실인데 이야기하는 방식에 따라 모델의 답이 달라지는 현상이다. 말투가 은유인데 증상으로 받아들이는 식이다.

Vignette의대 시험에 나오는 짧은 임상 사례 글이다. 나이·증상·검사 결과를 정형화된 문체로 쓴다.

MedQA미국 의사면허시험(USMLE) 스타일의 객관식 의료 문제 벤치마크이다.

McNemar test같은 문제를 두 조건에서 풀었을 때 맞고 틀린 쌍의 변화가 우연인지 검정하는 통계 방법이다.

Chain-of-thought답하기 전에 단계별로 생각을 적게 하는 프롬프트 기법이다.

Related Resources

https://github.com/prabhjotschugh/narrativeshield-sdoh-medqa

Original Abstract (Expand)

Clinical language models are evaluated on vignettes written in a clinician's voice, but patients describe the same illness in their own. We pair 1,000 MedQA cases with three retellings that carry the same audited original facts, in a clinical, a socioeconomic and a cultural voice, and evaluate 12 open models (3B to 24B, including two medical fine-tunes). Every model is less accurate when the patient speaks in a marked voice: 26% more errors, a pooled penalty of $-9.6$ accuracy points (95% CI $[-11.0, -8.2]$), with no detectable reduction at larger scale. The penalty is not explained by any retelling property we measured (length, omitted age, MedQA split, added clinical content) and persists when the marked narrative contains the original vignette verbatim; because generation settings differ between voices, we read it as sensitivity to these marked retellings, not proof that register alone is the cause. Chain-of-thought and explicit debiasing instructions together remove only about a fifth of the gap. Having the same model first rewrite the patient's account as a clinical vignette, then answer from the rewrite, halves the gap while raising marked-voice accuracy by 3.9 points (means over the 11 models that can run the pipeline). A matched pipeline using a structured schema instead of prose closes the same gap but is 7.1 points less accurate in all 11 models, and adding reasoning agents or tools costs more still. Rewriting is not free: it recovers more facts than extraction but also invents plausible details, which we quantify. In our experiments, the representation a model reasons over matters more than how much it reasons.