Context Gateway – LLM 호출 전 Agent Context를 압축해주는 프록시

Who Should Read

Claude Code, Cursor 같은 AI 코딩 에이전트를 장시간 사용하다가 context 한도 초과로 compaction 대기 시간이 불편한 개발자, 또는 LLM 에이전트 워크플로우에서 토큰 비용과 응답 지연을 줄이고 싶은 백엔드/ML 엔지니어.

Core Mechanics

• Context Gateway는 AI 에이전트(Claude Code, Cursor, OpenClaw 등)와 LLM API 사이에 위치하는 프록시 서버로, 대화 히스토리가 일정 임계값(기본 75%)에 도달하면 백그라운드에서 미리 요약(compaction)을 수행해둔다. 덕분에 실제 context 한도가 찼을 때 사용자가 기다리지 않아도 된다.
• YC 지원을 받은 Compresr AI가 만든 도구로, Apache-2.0 라이선스 오픈소스로 공개돼 있다. GitHub 스타 411개, Fork 34개 수준이다.
• 설치는 curl 한 줄로 바이너리를 받고 `context-gateway` 명령어를 실행하면 TUI(터미널 UI) 위자드가 뜬다. 위자드에서 에이전트 종류(claude_code, cursor, openclaw, custom), 요약에 쓸 모델과 API 키, Slack 알림 여부, 압축 트리거 임계값 등을 설정한다.
• 압축 결과는 `logs/history_compaction.jsonl` 파일에 기록되어 어떤 내용이 요약됐는지 확인할 수 있다.
• 지원 에이전트는 claude_code, cursor, openclaw, custom(직접 설정) 네 가지이며, custom 옵션을 통해 자체 에이전트 워크플로우에도 붙일 수 있다고 설명한다.
• Golang으로 작성된 것으로 보이며(go.mod, go.sum, .golangci.yml 존재), Docker 지원도 포함되어 있다.

Evidence

• Anthropic이 최근 1M context 창을 가진 Claude를 GA(정식 출시)했고 'lost-in-the-middle(긴 context 중간 내용을 모델이 놓치는 문제)'도 해결했다고 발표한 시점이라, Context Gateway가 해결하려는 문제 자체가 단기간에 사라질 수 있다는 지적이 많았다. '이 회사는 몇 달 안에 사라지거나 VC 돈이 떨어질 것'이라는 냉소적인 반응도 있었다.
• 캐싱 비용 문제도 제기됐다. 누군가 'context를 압축하면 기존 캐시가 깨지기 때문에, 압축 이후 전체 히스토리 토큰을 uncached 상태로 다시 과금받게 된다'고 지적했다(Claude의 prompt caching 문서 링크 포함). 이 경우 압축으로 절약하는 비용보다 캐시 미스로 늘어나는 비용이 더 클 수 있다는 우려다.
• 'Claude의 자체 compaction은 엄청 느린데 Codex는 그나마 참을 만하다. 이 도구가 그것들보다 얼마나 빠른지 수치 데이터가 있느냐'는 질문이 있었지만, 압축이 출력에 악영향을 미치는지도 직접 테스트해봐야겠다는 유보적 반응이었다. 제작사 측의 명확한 벤치마크 데이터는 공개되지 않은 상태다.
• ADK(Google Agent Development Kit) 사용자 중 한 명은 '우리 프레임워크는 이미 툴·서브에이전트별로 context 압축을 boolean 한 줄로 켤 수 있다. 외부 도구가 내 context를 건드리는 게 싫고, 이런 기능은 프레임워크 레벨에서 처리해야 할 단순한 기능이다. YC가 너무 일찍 AI 스타트업에 과투자했다'고 강하게 비판했다.
• 에이전트 출력 결과(tool call output)를 압축하면 에이전트가 문제 진단에 필요한 핵심 context를 잃을 수 있다는 품질 우려도 있었다. 또한 '로컬에서 ~1B짜리 소형 언어 모델(SLM)로 이런 기능을 내장하는 방향으로 업계가 갈 텐데, 독립 제품으로서 어떻게 sticky하게 살아남을 거냐'는 질문도 제기됐다.

How to Apply

• Claude Code를 사용하다가 긴 세션에서 compaction 대기 시간이 답답한 경우, `curl -fsSL https://compresr.ai/api/install | sh`로 설치 후 `context-gateway` 명령어로 claude_code 에이전트를 선택하면 바로 프록시로 연결할 수 있다. 단, 압축 시 기존 캐시가 깨져 추가 토큰 비용이 발생할 수 있으니 `logs/history_compaction.jsonl`을 보며 실제 비용 대비 효과를 측정해볼 것.
• Cursor IDE 사용자가 장기 코딩 세션에서 context 한도 문제를 겪는다면, TUI 위자드에서 cursor 에이전트를 선택하고 압축 트리거 임계값을 기본 75%보다 낮게(예: 60%) 설정하면 더 일찍 백그라운드 압축이 시작돼 대기 없이 넘어갈 수 있다.
• 자체 에이전트 파이프라인을 운영 중인 팀이라면 custom 옵션으로 설정 파일을 직접 작성해 연결할 수 있다. 다만 현재 ADK, LangChain 등 주요 프레임워크가 이미 유사 기능을 자체적으로 제공하므로, 도입 전에 사용 중인 프레임워크의 context 관리 기능을 먼저 확인하는 게 낫다.

Code Example

# 1. 설치
curl -fsSL https://compresr.ai/api/install | sh

# 2. TUI 위자드 실행 (에이전트 선택, 모델/API 키, 임계값 설정)
context-gateway

# 3. 압축 로그 확인
cat logs/history_compaction.jsonl

Terminology

관련 논문

• Claude Code는 프롬프트 읽기 전에 33k 토큰을 전송한다; OpenCode는 7k

  동일한 모델과 작업 환경에서 Claude Code와 OpenCode의 실제 토큰 사용량을 API 레벨에서 측정한 결과, Claude Code가 시스템 프롬프트 오버헤드만으로 OpenCode 대비 4.7배 더 많은 토큰을 소비한다는 것을 확인했다.

• Mesh LLM: iroh 기반 분산 AI 컴퓨팅

  사무실, 집, 클라우드에 흩어진 GPU들을 하나의 OpenAI 호환 API로 묶어주는 분산 LLM 실행 시스템으로, 비싼 API 비용 없이 큰 모델을 직접 운영할 수 있다.

• Frugon – LLM API 호출 로그를 분석해서 더 싼 모델로 대체 가능한 구간을 찾아주는 로컬 도구

  내 LLM API 비용이 어디서 새는지 로컬에서 분석해주는 오픈소스 CLI 도구로, 비싼 모델 대신 저렴한 모델로 전환 가능한 호출을 골라낸다.

• 로컬에서 SOTA LLM 실행하기 완전 가이드 (하드웨어부터 설정까지)

  2천 달러짜리 RTX 3090 한 장부터 4만 달러짜리 RTX PRO 6000 4장 셋업까지, 로컬에서 최신 LLM을 직접 돌리는 방법을 하드웨어 선택·구성·실행 설정까지 통째로 정리한 실전 가이드다.

• Manticore Search에서 ONNX 경로를 재설계해 임베딩 속도를 14배 높인 방법

  Manticore Search가 기존 SentenceTransformers/Candle 백엔드를 ONNX Runtime으로 교체해 텍스트 임베딩 생성 속도를 평균 14배 향상시켰다. 별도 모델 서비스 없이 DB 내부에서 직접 임베딩을 처리하는 구조에서 INSERT 속도가 곧 임베딩 속도이기 때문에 이 개선은 실질적인 ingest 처리량 향상으로 직결된다.

• Asymmetric Quantization: 97% 스토리지 절감으로 Late Interaction 검색 품질 유지하기

  멀티벡터 검색 모델의 문서 벡터를 1비트 이진값으로 압축하고 쿼리 벡터만 int8로 유지하는 비대칭 양자화 기법으로, 스토리지를 97% 줄이면서 검색 품질 손실을 0.61점(NDCG@10 기준)에 그치게 만든 실제 프로덕션 적용 사례다.

Related Resources

• https://github.com/Compresr-ai/Context-Gateway
• https://compresr.ai
• https://platform.claude.com/docs/en/build-with-claude/prompt-caching
• https://swival.dev/pages/context-management.html