Blast Radius: 에이전트 코딩의 토큰 낭비를 줄이는 예측형 컨텍스트 메모리 관리
Blast Radius
TL;DR Highlight
죽은 컨텍스트를 원문 그대로 보관하며 비워, 토큰을 17~26% 줄였다
Who Should Read
코딩 에이전트의 긴 대화 때문에 토큰 비용과 컨텍스트 오버플로에 시달리는 백엔드 개발자
Core Mechanics
- 들어올 프롬프트의 영향 범위를 먼저 예측한다
- Blast Radius는 컨텍스트와 코드, 두 채널을 엮어 프롬프트가 어디까지 닿을지 추정한다.
- 이 추정으로 어떤 기록을 비울지와 코드베이스에 얼마나 접근할지를 정한다.
- NECROPHORESIS로 되돌릴 수 있게 비운다
- 안 쓰는(죽은) 컨텍스트를 원문 그대로 따로 보관한 뒤 컨텍스트에서 뺀다.
- 필요하면 다시 꺼낼 수 있어서 요약처럼 정보가 사라지지 않는다.
- 반복되는 죽은 기록(RDM)은 묻어 버린다
- Recurring Dead Matter는 같은 transcript가 반복해서 나오는 기록을 찾아낸다.
- 이런 기록은 계속 컨텍스트를 차지하므로 우선적으로 묻는다.
- HCRC 아래층에서 돌아가는 계층이다
- Blast Radius는 HCRC 밑에서 어떤 기록을 묻을지 결정한다.
- 단독 도구라기보다 기존 컨텍스트 관리 아래에 붙는 층이다.
Evidence
- 토큰 사용량이 줄었다
- OpenAI 모델 7종 전체에서 토큰 소비가 17~26% 감소했다.
- 오버플로가 가장 적었다
- 비교한 정책들 중 overflow rate가 가장 낮았다.
- 되돌리기가 바이트 단위로 정확했다
- 보관한 기록이 byte exact로 복원 가능했다.
- 묻은 기록은 다시 안 찾았다
- 묻은 450개 중 378개가 반복되는 죽은 기록(RDM)이었다.
- 이 450개 중 다시 불러온 건 0건이었다.
How to Apply
- 오늘 내 에이전트 로그에서 반복 기록 세어 보기
- 최근 코딩 에이전트 세션 로그를 뽑아 같은 툴 출력·transcript가 몇 번 반복되는지 센다.
- 반복 비율이 높으면 컨텍스트 정리 대상 후보로 표시한다.
- 컨텍스트를 지우지 말고 원문으로 따로 저장하기
- 요약으로 덮어쓰는 대신 비울 기록을 파일이나 DB에 원문 그대로 저장한다.
- 컨텍스트에는 보관 위치 ID만 남겨 필요할 때 복원한다.
- 프롬프트 도착 시 접근 범위 먼저 정하기
- 새 프롬프트가 들어오면 관련 코드 파일과 이전 기록 범위를 먼저 추려 그 안에서만 컨텍스트를 구성한다.
- 범위 밖 기록은 보관소로 내린다.
Try It
# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 반복되는 죽은 컨텍스트 찾기)
아래는 코딩 에이전트 세션의 대화 기록이다.
{{대화 기록}}
# 지시
1. 같은 내용이 반복되거나 이후 작업에 더 이상 쓰이지 않는 기록 블록을 찾아 번호와 이유를 표로 정리해라.
2. 각 블록을 '원문 그대로 보관 후 컨텍스트에서 제거' 대상으로 분류해라. 요약하거나 바꿔 쓰지 마라.
3. 다음 요청 {{다음 프롬프트}}에 필요한 블록만 남긴 목록을 만들어라.
# 이어서 해 볼 것
제거 대상 블록 중 나중에 다시 필요해질 만한 것이 있는지 물어보고, 있다면 복원 조건을 적게 해라.Terminology
관련 논문
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓
Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터
GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터
Original Abstract (Expand)
Agentic coding faces growing problems of affordability and wasted tokens. We introduce Blast Radius, a predictive memory management layer that estimates an incoming prompt's reach through coupled context and code channels. NECROPHORESIS enables reversible eviction by archiving dead context verbatim, while Recurring Dead Matter (RDM) identifies and buries repeatedly occurring transcripts. We formulate reversible context eviction over a Polish context space, providing a measurable foundation for retention, recurrence, and eviction while connecting context entropy to resurrection probability. Across seven OpenAI models, Blast Radius reduced token consumption by 17-26%, achieved the lowest overflow rate among tested policies, and remained byte exact reversible. Of 450 buried bodies, 378 were recurring dead matter and zero were recalled. Blast Radius operates beneath HCRC, determining which records to bury and how far an incoming prompt may reach into the codebase. This work contributes to the broader goal of Algosophy: making large language models and agentic coding more reusable and sustainable.