크게 생각하고, 작게 검색하라: Hierarchical Search Agent에서 모델 용량은 어디에 집중해야 하는가?

TL;DR Highlight

멀티에이전트 검색 시스템에서 큰 모델은 질문 분해에, 작은 모델은 실제 검색 실행에 쓰는 게 정답이다.

Who Should Read

멀티에이전트 RAG나 검색 에이전트 시스템을 설계하는 백엔드/ML 엔지니어. 비용 효율과 검색 정확도 사이의 트레이드오프를 고민하는 개발자.

Core Mechanics

계층적 검색 태스크를 세 역할로 분리함: 질문 분해(delegation), 검색 실행(execution), 최종 답변 생성(answer synthesis). 이 중 delegation과 execution에 어떤 크기의 모델을 배치하느냐가 핵심 실험 변수.
같은 모델을 단일 에이전트로 쓰는 것보다 delegation/execution을 분리한 멀티에이전트 구조가 Exact Match(EM) 기준 4.5~8.6점 더 높음. 모든 모델 크기에서 일관되게 개선됨.
delegation 모델(질문 분해 담당)을 키우면 EM이 약 11점 오르지만, execution 모델(검색 실행 담당)을 키우면 고작 2.6점만 오름. 즉, 질문을 잘 쪼개는 능력이 병목이고 검색 실행 능력은 상대적으로 덜 중요함.
Qwen3-1.7B 같은 작은 모델은 단일 검색(1번 retrieval)은 99.83% 케이스에서 잘 하지만, 검색 결과가 부족할 때 재검색(multi-search correction)을 하는 케이스가 0.17%에 불과함. 반면 DeepSeek-V4-Pro는 40.31%에서 재검색을 수행함.
이 갭을 메우기 위해 quality-filtered trajectory distillation(품질 필터링된 궤적 증류) 방식으로 Qwen3-1.7B를 SFT 파인튜닝함. 단순히 교사 모델 궤적을 복사하지 않고, 재검색이 진짜 필요한 케이스만 골라서 학습시키는 게 핵심.
SFT로 학습된 Qwen3-1.7B-SFT는 프론티어 모델인 DeepSeek-V4-Flash 서브에이전트보다 LLM-judge 점수가 높으면서(61.69 vs 61.21), 토큰은 37% 덜 소모함. 파라미터 수는 167배 적음.

Evidence

delegation 용량 스케일링 시 EM +11.3점(27.86→39.18), execution 스케일링 시 EM +2.6점(39.18→41.77). delegation 민감도가 execution 대비 4.4배 높음.
Qwen3-1.7B-SFT는 DeepSeek-V4-Flash 서브에이전트 대비 LLM-judge 61.69 vs 61.21로 더 높은 점수를 기록하면서, 토큰 소모는 4,758 vs 7,577로 37% 절감.
RL로 end-to-end 학습된 Qwen3-8B-SearchR1을 서브에이전트로 쓰면 LLM-judge 54.55로 가장 낮음. 심지어 파인튜닝 없는 Qwen3-1.7B(57.38)보다도 낮아서, 외부에서 학습된 검색 에이전트를 서브에이전트로 재활용하면 안 된다는 점을 보여줌.
답변 생성 모듈(πA)로 DeepSeek를 사용하면 검색 없이도 EM 36.65를 달성해 데이터 오염이 의심됨. Qwen3-32B는 검색 없이 EM 18.58로 낮아서, 실험 컨트롤 변수로 적합함을 확인.

How to Apply

멀티에이전트 검색 파이프라인을 구축할 때, 오케스트레이터(질문 분해 담당)에는 GPT-4급 또는 DeepSeek-V4-Flash급 강한 모델을 배치하고, 실제 검색 실행 에이전트에는 1.7B~4B 수준의 작은 모델을 사용하면 비용을 크게 줄이면서 성능은 유지 가능.
작은 검색 실행 에이전트를 SFT로 학습시킬 때, 단순히 대형 모델 궤적을 전부 복사하지 말고 '첫 번째 검색이 실패했을 때 재검색에 성공한 케이스'만 골라서 주입하는 quality filtering을 적용하면 효율적으로 multi-search correction 능력을 이식할 수 있음.
기존에 RL로 학습된 단일 에이전트 서처(예: Search-R1 계열)를 서브에이전트로 재활용하는 것은 피해야 함. 이 모델들은 전체 질문을 스스로 분해하도록 학습되어 있어, 이미 분해된 sub-query를 받으면 불필요하게 다시 분해하거나 과도하게 검색하는 오작동을 일으킴.

Code Example

snippet

Terminology

Exact Match (EM)예측 답변이 정답과 완전히 일치하는 비율. '거의 맞음'도 틀린 걸로 처리하는 엄격한 평가 기준.

multi-hop QA하나의 질문에 답하기 위해 여러 정보를 연쇄적으로 찾아야 하는 질의응답. 예: '아이언맨 감독의 출신 학교는?' → 감독 이름 먼저 찾고 → 그 사람 학교 찾는 식.

trajectory distillation강한 모델(교사)이 문제를 푸는 과정 전체(궤적)를 기록하고, 약한 모델(학생)이 그 과정을 따라 학습하는 방법. 정답만 알려주는 게 아니라 풀이 과정을 통째로 전수함.

ReAct추론(Reasoning)과 행동(Acting)을 번갈아 수행하는 에이전트 패턴. '검색 → 결과 읽기 → 다음 행동 결정'을 반복하는 루프 구조.

SFT모범답안을 보여주고 따라하게 하는 지도 학습법. RL과 달리 직접 정답 예시를 주고 학습시킴.

Pareto frontier성능과 비용 사이에서 어느 한쪽을 더 개선하려면 다른 쪽이 나빠지는 최적 균형점들의 집합. '이 조합보다 더 싸면서 더 좋은 선택지는 없다'는 의미.

parametric memoryLLM이 사전 학습으로 내부에 저장한 지식. 검색 없이 모델이 '알고 있는' 정보를 뜻함. 실험에서는 이 능력에 의존하면 검색 품질을 정확히 측정할 수 없어서 통제해야 함.

LLM-as-judge사람 대신 다른 LLM이 답변의 정확성을 평가하는 방법. string matching으로 잡히지 않는 의미적으로 맞는 답변도 인정할 수 있음.

Related Resources

GitHub: role-factorized-search

Original Abstract (Expand)

Large language model based search agents increasingly adopt multi-agent architectures in which a main agent decomposes a complex question into sub-queries and dispatches them to parallel sub-agents. However, existing systems instantiate all roles from a single model of identical scale, leaving open how model capacity should be distributed across roles. We factorize hierarchical search into three roles: a delegation role responsible for task decomposition, an execution role responsible for retrieval and evidence extraction, and an answer generation role held fixed as a confound control. We then conduct controlled capacity sweeps along the delegation and execution axes on five multi-hop QA benchmarks. The experiments yield three findings. First, role factorization consistently outperforms a single-agent baseline, improving exact match from 4.5 to 8.6 points across six model scales. Second, capacity sensitivity is asymmetric: scaling the delegation backbone improves EM by ~11 points, whereas scaling the execution sub-agent moves EM by only ~2.6 points, identifying decomposition as the capability bottleneck. Third, a 1.7B-parameter executor trained via quality-filtered trajectory distillation matches a frontier sub-agent in accuracy while consuming 37% fewer sub-agent tokens, advancing the Pareto frontier. These results suggest a concrete recipe for building hierarchical search agents: concentrate capacity at delegation and downsize execution without sacrificing accuracy. Our code is available at https://github.com/QinnanCai0115/role-factorized-search.