Edge0-145B: 29GB 메모리로 노트북에서 돌리는 145B 온디바이스 모델
Edge0-145B: Frontier AI Capabilities on Your Own Computer
TL;DR Highlight
전문가 간 행렬을 공유해 145B 모델을 노트북 29GB 메모리에서 80+ tokens/s로 실행
Who Should Read
클라우드 LLM API 비용과 데이터 반출 제약 때문에 로컬 코딩 에이전트 도입을 고민하는 백엔드 개발자
Core Mechanics
- 145B인데 피크 메모리 29GB
- 원문은 호환 노트북(MacBook Pro 등)에서 서버 없이 돌아간다고 밝힌다.
- 디코딩은 80+ tokens/s, 프리필(프롬프트 처리)은 1,100+ tokens/s로 보고됐다.
- 전문가끼리 행렬을 공유해 메모리를 줄였다
- MoE(입력마다 일부 전문가만 쓰는 구조)에서 64개 전문가 그룹이 큰 행렬 2개를 공유한다.
- 전체 145B 중 추론 한 스텝에 쓰이는 파라미터는 약 10B다.
- 메모리를 GPU·RAM·SSD 3단으로 나눠 쓴다
- 자주 쓰는 전문가는 GPU 메모리에 두고, 약 40GB 전문가 라이브러리는 시스템 메모리에 둔다.
- 약 48GB 어휘 데이터는 SSD에서 필요할 때 읽는다.
- 코딩·에이전트 벤치마크가 강하다 (자체 평가)
- DeepSWE 1.1에서 64.6으로 Qwen3.8-Flash-Next 58.7, DeepSeek-V4-Flash-0731 54.4보다 높다.
- Terminal-Bench 2.1은 86.52로 Claude-Opus-4.6(Max) 78.2보다 높다.
- GPQA-Diamond는 90.4로 Claude-Opus-4.6(Max) 91.3에 근접한다.
- 메모리 대비 성능이 핵심 주장이다
- 6개 벤치마크 평균 72.8로 Qwen3.8-Flash-Next 71.7보다 높다.
- Qwen3.8-Flash-Next는 4-bit 배포 시 약 70GB로 추정되며 실측은 아니다.
- 로컬 에이전트 데모를 공개했다
- Blender 3D 장면, 게임, 실제 드론 제어 코드, KiCad PCB 설계까지 로컬에서 만들었다고 한다.
- 모델 가중치, 추론 프레임워크, 원클릭 배포 도구를 함께 공개했고 macOS·Windows·Linux를 지원한다.
Community Reactions
- NVFP4로만 배포돼 호환이 좁다는 지적
- NVFP4 배포라 Nvidia Blackwell 전용일 가능성이 있다는 의견이 있었다.
- GGUF 파일 없이 HF 링크가 여러 파일이 담긴 디렉터리로 연결돼 어색하다는 의견도 있었다.
- 벤치마크 점수 검증이 필요하다는 신중론
- 모델 크기 대비 점수가 놀라워 서드파티 검증이 필요하다는 의견이 있었다.
- 반면 Terminal-Bench 점수는 bash 중심 코딩 에이전트의 실사용 성능과 대체로 맞아 평가해 볼 만하다는 경험담도 있었다.
- Blender 결과물의 실용성에 의문
- 에이전트가 만든 디자인은 지저분해서 손으로 정리하다 보면 시간 절약이 안 된 경우가 많았다는 의견이 있었다.
- 오픈소스가 아니라 오픈 웨이트라는 지적
- 가중치 공개와 오픈소스는 다르다는 반론이 있었다.
- 회사 정보가 홈페이지에 너무 적다는 의견도 있었다.
How to Apply
- 내 장비 메모리부터 확인하기
- 오늘 모델 카드와 하드웨어 가이드에서 지원 칩과 요구 메모리를 확인한다.
- 내 노트북이 48GB급이고 Apple M 시리즈나 RTX 4090/5090인지 대조한다.
- 사내 코딩 에이전트 작업을 로컬 후보로 분류하기
- 소스코드나 설계 파일처럼 외부 반출이 어려운 작업을 골라 목록을 만든다.
- 같은 작업을 현재 클라우드 모델과 Edge0로 돌려 결과를 비교한다.
- 벤치마크를 자체 태스크로 재검증하기
- 원문 수치는 Edge0 자체 평가이므로 우리 repo 이슈 10~20개로 직접 돌린다.
- 성공률, 소요 시간, 수정 횟수를 기록한다.
- 배포 포맷을 도입 전에 확인하기
- 가중치가 NVFP4인지 GGUF 등 다른 포맷도 있는지 확인한다.
- 쓰는 추론 엔진이 원문 프레임워크를 지원하는지 먼저 본다.
Try It
# Claude나 ChatGPT에 붙여넣기: 로컬 모델 도입 타당성 점검 (원문 내용 기반 간이 체크)
나는 {{역할}}이고, 노트북은 {{칩/메모리, 예: M-series 48GB}}이다.
현재 클라우드 LLM으로 하는 작업은 {{작업 목록}}이다.
아래 기준으로 로컬 온디바이스 모델(예: 145B MoE, 피크 메모리 29GB, 디코딩 80+ tokens/s로 보고됨)로 옮길 후보를 표로 만들어줘.
1) 외부 반출이 어려운 데이터가 있는가
2) 반복 횟수가 많아 토큰 비용이 큰가
3) 오프라인이 필요한가
4) 클라우드 모델보다 품질이 떨어지면 치명적인가
이어서 해 볼 것: 후보 작업 하나를 골라 로컬 모델과 현재 모델로 각각 돌리고 성공 여부를 비교해줘.Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습