Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

TL;DR Highlight

잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Who Should Read

에이전트 추론 비용과 지연 시간 때문에 토큰 소모를 줄일 방법을 찾는 LLM 에이전트 개발자

Core Mechanics

생각은 잠재 공간, 행동은 텍스트로
- 기존 에이전트는 추론과 도구 호출을 모두 텍스트로 한다.
- HybridAgent는 한 번의 생성 과정에서 잠재 추론(latent reasoning, 벡터로 속으로 생각하기)과 텍스트 상호작용을 오간다.
HybridLink가 두 모드를 이어준다
- 가벼운 HybridLink가 텍스트 모드와 잠재 모드 사이 전환을 맡는다.
- 연속적인 작업 메모리가 여러 턴에 걸쳐 하이브리드 맥락을 손실 없이 보존한다.
도구 사용과 검사 가능성을 둘 다 유지
- 잠재 추론 방식의 약점이던 네이티브 도구 접근을 살렸다.
- 잠재 생각을 직접 들여다볼 수 있다고 주장한다.
2단계 후학습으로 언제 생각할지 학습
- HybridSFT는 백본이 HybridLink와 맞춰 동작하도록 가르쳐 도구 통합 생성을 안정화한다.
- HybridRL은 잠재 공간에서 생각할 때와 텍스트로 행동할 때를 학습시킨다.
프런티어 에이전트 대비 성능과 비용 개선
- 3개 모델 규모, 수학·과학·의료·검색·에이전트 추론 11개 벤치마크에서 평가했다.
- 텍스트·잠재 방식 에이전트와 비교해 성능 10.4%↑, 토큰 35.5~54.7%↓, 추론 1.8~2.6배 빠름, 비용 2.7~3.7배 절감이라고 밝혔다.

Community Reactions

8B·14B 모델이 반복 루프에 빠졌다는 경험
- 8B GGUF(IQ4_XS)에 "교황이 누구냐"고 물었더니 같은 문장을 끝없이 반복했다는 경험이 있다.
- 14B를 llama.cpp 8비트·BF16으로 돌렸더니 웹 검색 요약 요청에서 5분간 비슷한 문단을 반복했다는 경험도 있다.
- llama.cpp 호환 문제일 수 있다는 의견이 있다.
CoT 모니터링을 약화시킨다는 안전성 우려
- 잠재 추론은 해석 가능성과 정렬 문제 때문에 선두 연구소들이 피해 온 방향이라는 의견이 있다.
- 가까운 토큰으로 투영해 읽어도 벡터 정보 대부분은 해석할 수 없다는 의견이 있다.
- 논문이 이 논의를 다루지 않았다는 비판도 있다.
기존 연구와의 차별점과 개선 아이디어 질문
- Astra의 looped transformer와 무엇이 다르냐는 질문이 있다.
- 텍스트 모드에서도 잠재 벡터와 토큰 임베딩을 함께 넣는 방식과 비교하면 어떨지 궁금하다는 의견이 있다.
Qwen3 기반이라 아쉽다는 의견
- Qwen3.5 기반이었다면 좋았을 것이라는 의견이 있다.
- 강화된 Qwen3 8B가 Qwen3.5 9B보다 여전히 못하다는 평가다.

How to Apply

공개 모델을 로컬에서 먼저 돌려보기
- 오늘 Hugging Face 컬렉션의 HybridAgent 모델을 받아 llama.cpp 등으로 실행하라.
- 우리 서비스의 검색·요약 프롬프트 한두 개로 반복 루프가 생기는지 확인하라.
기존 에이전트와 토큰·지연 비교표 만들기
- 같은 작업 세트로 현재 텍스트 추론 에이전트와 HybridAgent의 토큰 수, 응답 시간, 비용을 기록하라.
- 논문의 35.5~54.7% 토큰 절감이 우리 작업에서도 나오는지 검증하라.
잠재 추론 도입 전 감사 계획 세우기
- 안전성이나 규제 요건이 있는 서비스는 CoT를 직접 읽지 못하는 점을 먼저 점검하라.
- 도입하려면 도구 호출 로그와 최종 출력 검증을 별도로 남겨라.

Try It

복사해서 바로 해보기

# 논문 방법의 간이 버전: Claude나 ChatGPT에 붙여넣기 (잠재 추론은 흉내 낼 수 없어, 추론 길이를 줄이는 프롬프트 수준 실험)

너는 도구를 쓰는 에이전트다. 아래 규칙을 따른다.
1. 내부 추론은 핵심 판단만 한 줄로 적는다.
2. 도구 호출이 필요하면 호출 형식으로만 행동한다.
3. 같은 내용을 다시 설명하지 않는다.

작업: {{질문}}

이어서 해 볼 것: 같은 질문을 "단계별로 자세히 생각해 줘"로 다시 물어 토큰 수와 정답을 비교해 보자.

Terminology

latent reasoning사람이 읽는 단어 대신 모델 내부 벡터로 생각하는 방식이다. 머릿속으로만 계산하고 결과만 말하는 것과 비슷하다.

HybridLink텍스트 모드와 잠재 모드 사이를 오가게 해 주는 가벼운 연결 모듈이다. 두 모드 사이의 변환 어댑터다.

HybridSFT / HybridRLHybridSFT는 지도 방식으로 HybridLink와 맞춰 쓰는 법을 가르치는 단계다. HybridRL은 강화학습으로 언제 잠재 추론을 쓸지 익히는 단계다.

CoT monitorability모델이 쓴 사고 과정을 읽어 이상 행동을 감시하는 것이다. 잠재 추론은 이 감시를 어렵게 만든다는 우려가 있다.