읽었다고 쓴 건 아니다: 긴 문서에서 LLM이 찾은 정보를 판단에 반영하지 않는 문제

Who Should Read

긴 문서를 요약·검색해 LLM이 최종 판단이나 추천을 내리게 하는 파이프라인을 만드는 백엔드 개발자

Core Mechanics

• 찾아도 판단엔 안 쓴다
  • 2,000~128,000토큰으로 관련 없는 글만 늘렸더니 공시가 판단을 바꾸는 힘이 노이즈 수준으로 떨어졌다.
  • 같은 문서에서 사실 질문을 하면 정답은 끝까지 유지됐다.
• 크기는 못 맞추고 순서만 맞춘다
  • 7단계 위험도 중 가장 심한 것과 약한 것의 판단 차이가 5.6배 줄었다.
  • 위험 순위 맞추기 정확도는 0.93에서 0.79로 덜 떨어졌다.
• 더 큰 모델은 늦출 뿐이다
  • 27B 모델은 128k에서도 효과가 남았지만 그 크기가 9B 모델의 2k 수준이었다.
  • 광고된 컨텍스트 윈도우만큼 판단에 쓰이는 건 아니다.
• 청크 요약 파이프라인은 정보를 지운다
  • 토큰 예산이 정해진 노트가 각 구간 앞부분의 매출·비용만 적고 리스크 문단을 밀어냈다.
  • 2k처럼 문서 하나가 청크 하나에 들어가도 영향이 0이었다.
• 타깃 질문 답을 판단 직전에 붙이면 산다
  • 먼저 해당 사안을 묻고 그 답을 결정 질문 앞에 둔 채 원문도 유지하면 효과가 되살아났다.
  • 추론 모드를 켜거나 원문 문단을 그대로 반복하는 건 거의 소용없었다.

Evidence

• Qwen3.5-9B 영향력 하락
  • sell 확률 기준 2k에서 +0.032, 8k +0.005, 32k +0.001, 128k +0.004였다.
  • 32k와 128k는 무관한 문단 삽입 노이즈와 구분되지 않았다(p>0.5).
• 검색은 그대로
  • 9B 모델은 128k에서도 12개 회사 모두 공시를 정확히 검색했다.
  • 상용 모델의 검색 완성도는 2k~128k에서 0.77, 0.76, 0.72, 0.74였다.
• 워크플로 비교
  • 128k 영향력 유지율은 기본 12%, 질문 먼저 답하는 방식 67%였다.
  • 기본은 +0.032에서 +0.004, 개선 방식은 +0.126에서 +0.085였다.
• 청크 요약과 실제 공시 결과
  • 노트 감사에서 2k는 24개 중 24개, 128k는 24개 중 21개에서 공시 사실이 빠졌다.
  • 실제 10-K 12건에서 질문 먼저 방식은 +0.043이었고 12건 중 11건이 양의 효과였다.

How to Apply

• 최종 판단 프롬프트 앞에 타깃 추출 단계 넣기
  • 오늘 쓰는 긴 문서 판단 프롬프트에서 핵심 사안(예: 계약 조건, 소송 금액)을 먼저 질문해 답을 받는다.
  • 그 답을 결정 질문 바로 앞에 붙이고 원문도 컨텍스트에 그대로 둔다.
• 검색 정확도 말고 판단 변화로 평가하기
  • 핵심 문단이 있는 문서와 같은 길이의 중립 문단으로 바꾼 문서를 각각 돌려 결과를 비교한다.
  • 정답률이 높아도 판단 차이가 없으면 반영 안 되는 것으로 본다.
• 범용 청크 요약 파이프라인 점검하기
  • 중간 노트를 저장해 핵심 사실이 남았는지 직접 확인한다.
  • 빠진다면 요약 대신 사안별 질문으로 추출하는 방식으로 바꾼다.
• 추론 강도에 기대지 않기
  • 긴 문서에서 판단이 안 변하면 effort를 올리기 전에 정보 배치와 형태부터 바꾼다.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 판단 전에 타깃 질문 먼저 답하게 하기)

[문서]
{{긴 문서}}

[1단계] 위 문서에서 {{핵심 사안, 예: 대출 약정 조건}}에 대해 무엇이라고 쓰여 있는지, 금액과 현재 상태를 포함해 구조화해서 정리해 줘.

[2단계] 방금 정리한 내용을 근거로, 원문도 다시 참고해서 {{결정 질문, 예: 12개월 내 부도 확률은 몇 %인가}}에 답해 줘.

이어서 해 볼 것: 해당 문단을 중립 문단으로 바꾼 문서로 같은 절차를 돌려 답이 달라지는지 비교해 봐.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다