MacBook에서 Claude Code를 완전 오프라인으로 실행하기 — API 키 없이, 클라우드 없이, 작업당 17초

Who Should Read

API 비용이나 코드 유출이 부담스러워 Claude Code를 선뜻 못 쓰는 개발자, 또는 M1/M2/M3/M4/M5 계열 MacBook을 가진 개발자 중 로컬 AI 코딩 환경을 구축하고 싶은 사람.

Core Mechanics

• 약 200줄짜리 Python 서버로 Claude Code가 기대하는 Anthropic Messages API를 로컬에서 그대로 구현했다. 별도 OpenAI 포맷 변환 프록시 없이 네이티브 API를 직접 스피킹한다.
• 모델은 Qwen3.5-122B-A10B MoE(Mixture-of-Experts) 구조로, 총 파라미터 1220억 개지만 토큰당 실제 활성화되는 파라미터는 100억 개다. 4비트 양자화로 약 50GB에 맞춰 M5 Max(128GB)에서 동작한다.
• M5 Max 기준 토큰 생성 속도는 45~65 tok/s. 1000 토큰 생성에 15.3초 걸리며, Claude Code 태스크 엔드투엔드 완료 시간은 17.6초다.
• 기존에 가장 많이 쓰이던 방식(Ollama + OpenAI↔Anthropic 포맷 변환 프록시)은 태스크 완료에 133초가 걸렸는데, 프록시 레이어 제거만으로 7.5배 속도 향상을 얻었다.
• API 키 불필요, 사용량 제한 없음, 비용 없음, 코드가 외부로 전송되지 않는 완전 로컬 환경이다. Claude Code의 cowork, 파일 편집, 프로젝트 기능을 그대로 쓸 수 있다.

Evidence

• 작성자가 ~200줄 Python 서버를 구현해 Claude Code가 Anthropic Messages API 형식 그대로 로컬 MLX 모델과 통신하도록 구성 — proxy/middleware 없이 직접 연결
• M5 Max(128GB) 기준 실측: 100토큰 약 2.2초(45 tok/s), 500토큰 약 11초 — API 대비 느리지만 완전 오프라인·비용 0
• 댓글 반론: Anthropic API key를 로컬 엔드포인트로 교체하면 이미 가능한 것을 굳이 레이어 하나 더 추가한 것이라는 지적 / Ollama launch claude 명령으로도 동일 효과 가능
• 긍정 반응: Qwen3.5 30B 4-bit로 Conway's Game of Life를 첫 시도에 성공했다는 실사용 사례 / '앞으로 가격 오를수록 필요해질 것'이라는 공감

How to Apply

• 50GB 이상 여유 VRAM이 있는 Apple Silicon Mac(M1 Ultra/M2 Max 이상 권장)을 쓴다면 https://github.com/nicedreamzapp/claude-code-local 를 클론해 로컬 서버를 올리고, Claude Code의 API 엔드포인트를 localhost로 변경해서 바로 테스트해볼 수 있다.
• 보안이 중요한 사내 코드베이스나 NDA가 걸린 프로젝트에서 AI 코드 어시스턴트를 쓰고 싶을 때, 이 방식으로 코드가 외부 서버로 나가지 않는 완전 오프라인 환경을 구성할 수 있다.
• 기존에 LiteLLM이나 local-claude 같은 OpenAI 포맷 변환 프록시를 쓰고 있다면, 해당 레이어를 제거하고 Anthropic API를 네이티브로 구현하는 방향으로 전환하면 응답 지연을 크게 줄일 수 있다.

Terminology

관련 논문

• Claude Code는 프롬프트 읽기 전에 33k 토큰을 전송한다; OpenCode는 7k

  동일한 모델과 작업 환경에서 Claude Code와 OpenCode의 실제 토큰 사용량을 API 레벨에서 측정한 결과, Claude Code가 시스템 프롬프트 오버헤드만으로 OpenCode 대비 4.7배 더 많은 토큰을 소비한다는 것을 확인했다.

• Mesh LLM: iroh 기반 분산 AI 컴퓨팅

  사무실, 집, 클라우드에 흩어진 GPU들을 하나의 OpenAI 호환 API로 묶어주는 분산 LLM 실행 시스템으로, 비싼 API 비용 없이 큰 모델을 직접 운영할 수 있다.

• Frugon – LLM API 호출 로그를 분석해서 더 싼 모델로 대체 가능한 구간을 찾아주는 로컬 도구

  내 LLM API 비용이 어디서 새는지 로컬에서 분석해주는 오픈소스 CLI 도구로, 비싼 모델 대신 저렴한 모델로 전환 가능한 호출을 골라낸다.

• 로컬에서 SOTA LLM 실행하기 완전 가이드 (하드웨어부터 설정까지)

  2천 달러짜리 RTX 3090 한 장부터 4만 달러짜리 RTX PRO 6000 4장 셋업까지, 로컬에서 최신 LLM을 직접 돌리는 방법을 하드웨어 선택·구성·실행 설정까지 통째로 정리한 실전 가이드다.

• Manticore Search에서 ONNX 경로를 재설계해 임베딩 속도를 14배 높인 방법

  Manticore Search가 기존 SentenceTransformers/Candle 백엔드를 ONNX Runtime으로 교체해 텍스트 임베딩 생성 속도를 평균 14배 향상시켰다. 별도 모델 서비스 없이 DB 내부에서 직접 임베딩을 처리하는 구조에서 INSERT 속도가 곧 임베딩 속도이기 때문에 이 개선은 실질적인 ingest 처리량 향상으로 직결된다.

• Asymmetric Quantization: 97% 스토리지 절감으로 Late Interaction 검색 품질 유지하기

  멀티벡터 검색 모델의 문서 벡터를 1비트 이진값으로 압축하고 쿼리 벡터만 int8로 유지하는 비대칭 양자화 기법으로, 스토리지를 97% 줄이면서 검색 품질 손실을 0.61점(NDCG@10 기준)에 그치게 만든 실제 프로덕션 적용 사례다.

Related Resources

• 원본 Reddit 포스트
• GitHub: claude-code-local (오픈소스 로컬 서버)