Search, Inspect, Fetch: 구조 인식 Boolean 검색으로 Deep-Search 에이전트 개선하기 (Sieve)

TL;DR Highlight

웹페이지 구조로 Boolean 필터·섹션 fetch를 했더니 토큰 20.7–50.6% 절감, 정확도↑

Who Should Read

딥서치 에이전트가 통째로 가져온 웹페이지 때문에 컨텍스트 비용이 폭증해 고민인 에이전트·RAG 개발자

Core Mechanics

페이지 통째 방문이 낭비의 원인
- 기존 Search–Visit은 섹션 하나만 필요해도 웹페이지 전체를 컨텍스트에 넣는다.
- Sieve는 검색→카드 확인→섹션만 fetch 순서로 구조를 끝까지 유지한다.
Boolean 필터로 후보를 먼저 거른다
- BQL(Boolean Query Language)로 title, body, date 같은 필드에 AND/OR/NOT 조건을 걸어 후보 집합을 만든다.
- 그 안에서 BM25나 dense 같은 랭커가 순서만 매긴다.
결과 카드에 25토큰 스니펫이 핵심이다
- 카드에는 제목, 섹션 헤딩, 질의 중심 25토큰 스니펫이 들어간다.
- 스니펫을 빼면 정확도가 2.9–6.8점 떨어진다.
0건이면 조건을 풀어주는 폴백이 필요하다
- 결과가 0건일 때만 부분 일치, 그다음 BM25 전체 순위로 완화한다.
- 폴백을 끄면 BCP-S 정확도가 6.4점 떨어진다.
에이전트 모델을 바꿔도 효과가 유지된다
- 3개 백본×3개 컬렉션 9쌍 중 8쌍에서 토큰이 줄고 7쌍에서 정확도가 올랐다.
- 병목은 컬렉션마다 다르다: BCP-S는 검색 실패, Wikipedia 계열은 답 합성 실패가 크다.

Evidence

가장 정확한 Search–Visit 대비 정확도↑, 토큰↓
- 기본 Sieve(BM25+Dense)는 HotpotQA +1.6, MuSiQue +3.1, BCP-S +0.7점 높다.
- 토큰은 각각 30.4%, 50.6%, 20.7% 적다.
BM25 Search–Visit 대비 BCP-S 비교
- 판정 정확도가 34.7에서 37.2로 올랐다(+2.5점).
- 토큰은 68k에서 46k로 줄었다.
BQL 없는 Search–Fetch 대비 9쌍 모두 개선
- 같은 랭커와 섹션 fetch를 쓰는 대조군보다 랭커×컬렉션 9쌍 모두 정확도가 높았다.
스니펫·폴백 제거 실험(BCP-S)
- 스니펫을 빼면 37.2에서 30.4로 떨어진다.
- 폴백 없는 strict Boolean은 30.8이다.

How to Apply

fetch 도구에 섹션 단위 반환 추가하기
- 오늘 에이전트의 visit 툴 결과를 헤딩 기준으로 쪼개 섹션 이름 목록만 먼저 돌려주게 바꿔라.
- 에이전트가 섹션 이름을 지정해야만 본문을 주도록 하라.
검색 결과 카드에 헤딩과 짧은 스니펫 넣기
- 결과 목록에 제목, 섹션 헤딩, 질의 단어 중심 25토큰 스니펫을 붙여라.
- 본문 전체는 넣지 마라.
검색 툴에 필드·Boolean 필터 열기
- title, body, date 필드와 AND/OR/NOT 조건을 받는 파라미터를 추가하라.
- 필터로 거른 집합 안에서만 기존 랭커를 돌려라.
0건 쿼리용 폴백 구현하기
- 필터 결과가 0건일 때만 조건 일부 일치 결과, 그다음 전체 BM25 순위로 완화하라.
- 결과가 있는 쿼리는 조건을 그대로 유지하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 — 논문 방법(Search–Inspect–Fetch)의 간이 버전

너는 리서치 에이전트다. 아래 규칙을 따라 {{질문}}에 답하라.

규칙:
1. 검색: 아래 문서 목록에서 조건에 맞는 후보만 고른다. 필드 조건(제목/본문/날짜)과 AND/OR/NOT을 명시적으로 써서 쿼리를 먼저 작성한다.
2. 확인: 후보마다 제목과 섹션 헤딩 목록만 보고, 어떤 섹션을 열지 정한다. 본문 전체를 요구하지 마라.
3. 가져오기: 선택한 섹션 이름을 정확히 지정해 그 섹션만 읽는다. 없는 섹션 이름을 추측하지 마라.
4. 결과가 0건이면 조건을 하나씩 풀어 다시 쓴다.
5. 근거 문장에서 그대로 복사한 가장 짧은 답만 낸다.

문서 목록(제목 / 섹션 헤딩):
{{문서}}

이어서 해 볼 것: 같은 질문을 문서 전체를 붙여 물어본 경우와 토큰 수·답을 비교해 보라.

Terminology

Deep-search agent검색→읽기→다음 검색을 반복하며 어려운 질문을 푸는 에이전트다. 연구원이 자료를 찾고 읽고 또 찾는 과정을 자동화한 셈이다.

BQL (Boolean Query Language)필드 제한, AND/OR/NOT, 구문, 와일드카드, 날짜 범위를 쓰는 검색 문법이다. SQL의 WHERE처럼 후보 자격을 정한다.

Search–Visit검색 결과 중 하나를 골라 웹페이지 전체를 읽는 기존 방식이다. 책 한 줄 찾으려고 책 전체를 가져오는 것과 같다.

RRF (reciprocal rank fusion)BM25와 dense 같은 두 랭킹을 순위만으로 합치는 방법이다. 두 심사위원의 순위표를 합쳐 최종 순위를 내는 식이다.

Result card검색 결과를 제목, 섹션 헤딩, 짧은 스니펫으로 요약한 항목이다. 책의 목차와 발췌문을 같이 보여주는 미리보기다.

Related Resources

Original Abstract (Expand)

Existing deep-search agents use a Search-Visit workflow that retrieves whole webpages without considering the structure they expose through titles, headings, sections, and metadata. This prevents agents from directly constraining retrieval to parts of a webpage and often carries irrelevant content into their context. We introduce Sieve, a search-inspect-fetch strategy driven by a Boolean Query Language (BQL): it searches webpage fields to filter candidates, uses an interchangeable ranker to order them, presents structure-rich result cards for inspection, and fetches only selected sections. Across three QA collections, Sieve is more accurate than the strongest conventional Search-Visit configuration on each collection while using 20.7-50.6% fewer tokens. Boolean filtering improves every tested ranker, and the accuracy-context advantage persists across retriever choices and agent backbones. Our implementation is included in the SkimSearchAgent library https://github.com/ielab/skim-search-agent.