멀티 에이전트 워크플로우의 토큰 최적화와 Context Window 관리 | AI Paper Digest

TL;DR Highlight

관련 없는 같은 도메인 항목을 섞었더니 관련도 채점 정확도가 0.077 올랐다

Who Should Read

LLM으로 메일·회의록에서 중요 항목을 뽑는 파이프라인의 토큰 비용과 지연 때문에 고민인 백엔드 개발자

Core Mechanics

중요한 것만 넣으면 오히려 손해
- 프롬프트 10개 항목 중 절반을 관련 없는 같은 도메인 항목으로 바꿨다.
- 관련도 점수(RelAcc)가 100% 중요 항목 조건보다 +0.077 올랐다(11개 모델 설정 평균).
효과는 이메일에서 거의 다 나왔다
- 이메일 대상 항목의 이득은 +0.119였다.
- 회의는 +0.002, 채팅은 +0.017로 거의 0이었다.
소스 타입별로 따로 호출하기
- 회의·이메일·채팅을 따로 뽑으면 섞을 때보다 RelAcc가 약 +0.16 높았다(탐색 분석, 확정 아님).
- 회의는 73.3%가 중요했고 이메일은 5.1%라 신호 비율이 크게 달랐다.
위치 효과는 짧은 프롬프트에서 작다
- 10개 항목(약 2,000~3,000토큰)에서는 끝 배치가 시작 배치보다 +0.022였다.
- 다중 비교 보정 후에는 유의하지 않았다(p_adj=.098).
오케스트레이션만 바꿔도 지연이 크게 줄었다
- 데이터 수집을 한 번만 하고 로컬에서 처리하게 바꿨다.
- 수집 API 호출이 7~21회에서 3회로 줄었고 콜드 로드가 61~116초가 됐다.

Evidence

관련도 정확도 표(11개 설정×20블록 평균)
- 100% 신호 0.584, 50% 신호 0.661, 30% 신호 0.661, 10% 신호 0.648이었다.
- 50% vs 100% 차이는 +0.077이다(95% CI [+0.056, +0.098], Cohen's d=0.49, Holm p<.001, n=220).
모델 계열 단위로 다시 보면
- 9개 모델 계열 평균 효과는 +0.084였다(95% 구간 [+0.064, +0.103]).
- 11개 설정 모두 방향이 양(+)이었지만 Claude Opus 4.7 xhigh는 +0.013으로 미미했다.
운영 파이프라인 수치(25회 중 6회만 실측)
- 콜드 로드가 사전 추정치 3.5~10.5분에서 61~116초가 됐다.
- 입력 토큰은 60~70% 감소로 추정했고 정확한 계측값은 아니다.
교정 코퍼스 재실행과 Fusion-of-N
- 교정 코퍼스에서 이득이 +0.083, 원본 코퍼스에서 +0.092였다.
- Fusion은 best-of-N 대비 -0.048, union 대비 -0.073이었다.

How to Apply

추출 프롬프트에 저신호 항목 섞어 A/B 테스트
- 오늘 기존 추출 프롬프트의 항목 절반을 같은 도메인의 무관한 항목으로 바꿔 보자.
- 소스 타입별로 정답 라벨 대비 일치율을 비교하라.
소스 타입별로 추출 호출 분리하기
- 신호 밀도가 크게 다른 소스(회의/메일/채팅)는 모델 호출 전에 라우팅하라.
- 타입별 신호 비율부터 먼저 재라.
데이터 수집을 한 번만 하고 로컬 매칭하기
- 서브 에이전트가 같은 원본을 반복 조회하는 곳을 찾아 한 번 수집으로 바꿔라.
- 폴백 모델 재시도 때 수집 단계는 다시 돌리지 마라.
반복 샘플링은 합집합부터 쓰기
- 재현율이 중요한 추출은 여러 샘플의 항목 ID를 합집합으로 합쳐라.
- LLM fuser는 합집합보다 점수가 높을 때만 추가하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 관련도 대비 컨텍스트)

아래는 업무 커뮤니케이션 항목 10개다. 각 항목의 관련도를 0~3으로 채점하라.
3=결정·액션·블로커·약속, 2=주간 요약에 넣을 상태, 1=스치듯 언급, 0=업무와 무관.
출력은 JSON 배열 [{"id":..., "score":...}]만 쓴다.

[중요 후보 항목 5개]
{{중요_후보_5개}}

[같은 도메인의 저관련 항목 5개]
{{저관련_5개}}

이어서 해 볼 것: 같은 후보 5개를 저관련 항목 없이 중요 항목만 10개로 채워 다시 채점시키고, 사람 라벨과의 일치율을 비교해 보라.

Terminology

Relevance-contrast context중요한 항목과 같은 도메인의 덜 중요한 항목을 같이 보여주는 구성이다. 모델이 '이 정도는 안 중요하다'는 기준선을 잡는 데 쓴다.

RelAcc모델의 0~3 관련도 점수가 사람 라벨과 맞는 정도다. 정확히 맞으면 만점, 한 칸 차이면 부분 점수를 준다.

Semantic caching요청이 이전과 같으면 모델 호출 없이 저장된 파이프라인 결과를 돌려준다. 프롬프트 앞부분만 캐시하는 방식과는 다르다.

Fusion-of-N같은 작업을 N번 샘플링한 결과를 LLM이 하나로 합치는 방식이다. 이 논문은 집합 합집합과 비교했다.

Context stratification호출마다 필요한 데이터 타입만 골라 보내는 방식이다. 호출당 입력이 약 30K에서 3K 토큰이 됐다(추정).

관련 논문

Original Abstract (Expand)

Multi-agent AI workflows are limited not only by model quality but by token cost, latency, and context-window quality. This paper presents a practitioner framework for token optimization and context-window management, grounded in an internal production dashboard that extracts structured work items from meetings, email, and chat with LLMs and routes summaries across workstreams. Six patterns are described: context stratification, fetch-once/process-locally architecture, schema-contracted prompts, token-aware fallback chains, semantic caching, and inter-agent communication compression. In production they cut measured cold-load latency to 61-116 seconds (six timed runs) from an operational baseline of roughly 3.5-10.5 minutes, with an estimated 60-70% token reduction. It also reports a controlled context-composition study: 2,420 confirmatory trials across 11 model configurations, using 661 anonymized workplace items scored for relevance. Holding the prompt at a fixed ten items, replacing some high-relevance items with same-domain low-relevance items improves the model's relevance-score concordance on the target items, versus high-relevance items only; we call this relevance-contrast context. In the all-11 paired analysis, the 50:50 signal/noise condition improved relevance accuracy by +0.077 over the 100% condition (naive 95% CI [+0.056, +0.098], Cohen's d = 0.49, Holm-adjusted p < .001, n = 220). These cells are not independent; by the nine model families the effect is +0.084 (95% interval [+0.064, +0.103]), reported as a within-corpus descriptive comparison, not a population inference. A Fusion-of-N follow-up found that learned synthesis did not beat the mechanical set union of item IDs. The contribution is a measured engineering layer between model research and production agent practice: repeatable patterns and evaluation methods for faster, cheaper, more reliable workflows.