Draft-Verify-Revise 파이프라인에서 LLM은 지시어 모호성을 해결할 수 있을까?
Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?
TL;DR Highlight
검증 단계 피드백을 판정시켰더니 모델이 'Previous' 라벨에 끌려 reasoning effort에 따라 정확도가 0.156~1.0로 갈렸다
Who Should Read
draft-verify-revise 방식으로 LLM 여러 개를 이어 붙여 쓰며 검증 단계가 실제로 오류를 잡아주는지 궁금한 백엔드·에이전트 개발자
Core Mechanics
- 'previous'가 단계마다 다른 값을 가리킨다
- 초안 LLM은 '제안 변경 직전 값(20mg)'으로 읽었고 검증 LLM은 '필드 라벨 Previous(15mg)'로 읽었다.
- 마지막 단계 LLM이 둘 중 누가 맞는지 판정하는 실험이다.
- 틀릴 때는 라벨에 끌렸다
- 모델이 '실제로는 직전 값으로 되돌리는 게 맞다'고 말해 놓고도 라벨이 Previous인 값을 골랐다(articulate-then-dismiss).
- 이 방식으로 틀린 경우가 대부분이었고, 운영 논리가 판정을 좌우한 경우는 극소수였다.
- reasoning effort에 따라 점수가 극단적으로 갈린다
- GPT-5.2는 reasoning 없음 0.156에서 xhigh 0.942까지 올랐다.
- Gemini 3 Pro는 모든 단계에서 0.94 이상을 유지했다.
- 싼 설정이 비싼 설정을 이겼다
- Gemini 3 Pro low는 GPT-5.2 xhigh보다 점수가 높았고 비용은 trial당 약 5%였다.
- 큰 모델도 reasoning이 부족하면 작은 모델보다 낮을 수 있다(GPT-5.2 none이 GPT-5-mini 전 설정보다 낮음).
- 검증자 피드백의 구조도 판정에 영향을 준다
- 검증자 JSON에서 error_category 등 분류 라벨 4개를 빼면 일부 설정의 opaque 정확도가 올랐다.
Evidence
- 최상위 설정은 Gemini 3 Pro low
- balanced accuracy 0.965로 독립 모델 중 1위였다(primary 실험).
- GPT-5.2 xhigh는 0.942, Gemini 3 Pro high는 0.941이었다.
- GPT-5.2는 reasoning 유무로 0.156→0.942
- reasoning none은 600 trial 중 125개만 정답(전체 정확도 0.208)이었고 chance(0.5)보다 낮았다.
- correct-draft 정확도(specificity)는 0.000이었다.
- 비용 차이가 컸다
- GPT-5.2 xhigh는 trial당 $0.0556에 0.942였다.
- Gemini 3 Flash medium은 $0.0022에 0.894, Gemini 3 Pro low는 $0.0030에 0.965였다.
- 라벨 제거 효과는 opaque에서만 유의했다
- 라벨 제거 시 balanced accuracy 차이는 21개 설정 중 4개에서 유의했고 전부 개선이었다(GPT-5.2 high +0.115).
- opaque 조건 비교 3건이 유의했고 모두 라벨 제거 쪽이 좋았다.
How to Apply
- revise 프롬프트에 기준 값을 명시하기
- 오늘 파이프라인 프롬프트에서 previous, current, the response 같은 상대 표현을 찾아라.
- 각 단계 프롬프트에 '되돌릴 값은 제안 변경 직전 값(현재 값)이다'처럼 가리키는 대상을 문장으로 적어라.
- 검증자 JSON에서 라벨 필드 빼 보기
- 검증 결과에 error_category, risk_level 같은 필드가 있으면 분석 텍스트와 근거만 남긴 버전을 만들어라.
- 같은 케이스 20회씩 돌려 판정 정확도를 비교하라.
- reasoning effort를 모델별로 스윕하기
- 최종 판정 단계를 모델과 effort 조합별로 직접 돌려 정확도와 trial당 비용을 표로 만들어라.
- 비싼 최고 단계 대신 비용 대비 점수가 높은 설정을 골라라.
- 상대 표현에 라벨과 실제 의미가 갈리는 테스트 케이스 만들기
- 필드 라벨 값과 운영상 맞는 값이 다른 최소쌍 케이스를 10개 이상 만들어라.
- 라벨 값만 맞히는 얕은 전략이 통하지 않는지 검증하라.
Try It
# Claude나 ChatGPT에 붙여넣기: 논문 방법의 간이 버전 (revise 단계 판정 프롬프트)
[시스템 지시]
너는 draft-verify-revise 파이프라인의 마지막 판정자다. 검증자의 피드백이 맞는지 'correct' 또는 'incorrect'로만 판정하고 근거를 적어라.
판정 전에 반드시 다음을 먼저 적어라.
1) 초안이 제안한 변경은 무엇인가 (예: 20mg→25mg)
2) '되돌린다/previous'가 가리키는 값은 '라벨이 Previous인 필드 값'이 아니라 '제안 변경 직전에 실제로 적용 중이던 값'이다. 이 기준으로 되돌릴 값을 직접 계산하라.
3) 초안이 인용한 값과 그 값을 비교하라.
[입력]
시스템 프롬프트: {{초안 LLM의 시스템 프롬프트}}
사용자 프롬프트: {{초안 LLM의 사용자 프롬프트}}
초안: {{초안}}
검증자 피드백: {{검증자 피드백}}
[출력 형식]
{"rationale": "...", "score": "correct" | "incorrect"}
이어서 해 볼 것: 같은 입력에서 위 2번 기준 문장을 빼고 돌려 결과가 달라지는지 비교해 보세요.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
Related Resources
Original Abstract (Expand)
Draft-verify-revise is a common LLM orchestration pattern for scaling inference-time compute. One LLM drafts, a second critiques the draft and provides feedback, and a third uses that feedback to revise the draft into the final output. As context cascades between stages, LLMs at different stages can resolve a context-dependent expression such as "previous" differently. When that happens, the expression undergoes a deictic shift, a change in what it refers to. This phenomenon was studied with a synthetic dataset of 10 base examples, each rendered in three conditions. Holding the shared components constant, the conditions varied whether the draft stage LLM (the assistant) or the verify stage LLM (the grader) resolved the expression correctly, and how much independent reasoning the revise stage LLM (the meta-evaluator) needed to determine which reading was correct. Six models from three providers were tested across 21 reasoning effort configurations using e-values for sequential testing, in a primary experiment and an ablation experiment that removed error classification labels from the grader's feedback. A separate LLM analyzed the meta-evaluator's stated rationale for each wrong verdict. Balanced accuracy (the unweighted mean of sensitivity and specificity) ranged from 0.156, below chance, to near-perfect. GPT-5.2 rose from 0.156 without reasoning to 0.942 at its highest reasoning effort level, while Gemini 3 Pro stayed above 0.94 at every level. Gemini 3 Pro at low reasoning effort outscored GPT-5.2 at xhigh reasoning effort for roughly 5% of the cost per trial. When the meta-evaluator erred, it tended to rely on surface cues rather than operational reasoning. Context engineers implementing draft-verify-revise pipelines should be wary of deictic shifts and make the intended referent explicit at each stage.