1-Bit Bonsai Image 4B Image Generation for Local Devices
TL;DR Highlight
4B 파라미터 이미지 생성 모델의 가중치를 1비트/3값으로 극단적으로 압축해서 iPhone에서도 돌아가게 만든 모델. 7.75GB짜리 diffusion transformer를 0.93GB까지 줄였다.
Who Should Read
모바일/엣지 디바이스에서 이미지 생성 기능을 구현하고 싶은 iOS/macOS 앱 개발자, 또는 로컬 AI 추론 최적화에 관심 있는 ML 엔지니어.
Core Mechanics
- PrismML이 공개한 Bonsai Image 4B는 FLUX.2 Klein 4B 아키텍처를 그대로 유지하면서 transformer 가중치만 1-bit({-1, +1}) 또는 Ternary({-1, 0, +1})로 바꾼 모델이다.
- 1-bit 변형은 유효 비트 수가 1.125 bits/weight, Ternary 변형은 1.71 bits/weight로, 원본 FP16 대비 각각 8.3x, 6.4x 용량이 줄었다. 구체적으로 diffusion transformer가 7.75GB → 0.93GB(1-bit), 1.21GB(Ternary)가 됐다.
- 정밀도에 민감한 projection layer 약 5%는 FP16으로 유지했고, text encoder는 추론 후 offload하는 방식을 사용해서 실제 런타임 메모리를 더 줄였다.
- Apple Silicon 기준 전체 배포 페이로드는 1-bit가 3.42GB, Ternary가 3.88GB인데, 원본 FLUX.2 Klein 4B는 15.97GB다. 512x512 이미지 생성 시 mean-active memory는 각각 1.5GB, 1.96GB(원본 11.74GB)다.
- iPhone 17 Pro Max에서 512x512 이미지를 약 9.4초, Mac M4 Pro에서 약 6초에 생성한다. Mac M4 Pro 기준으로 full-precision MFLUX 파이프라인보다 최대 5.6배 빠르다.
- 배포 스택은 Apple Silicon(iPhone, iPad, Mac)과 CUDA GPU를 모두 지원한다. Apple 하드웨어는 MLX low-bit 경로를, CUDA는 Gemlite low-bit GEMM 커널을 사용한다.
- 성능 평가는 GenEval(객체 구성/속성 바인딩), HPSv3(인간 선호도/미적 품질), DPG-Bench(dense prompt 따르기/의미 충실도) 세 가지 벤치마크로 진행했다.
- 회사 측 주장으로는 '이 파라미터 클래스에서 iPhone에서 직접 돌아가는 최초의 이미지 모델'이라고 하지만, 커뮤니티에서는 FLUX.2 Klein 4B가 이미 Draw Things 앱으로 iPhone에서 8-bit/6-bit 양자화로 돌아간다며 이 주장의 정확성을 문제삼고 있다.
Evidence
- '이 파라미터 클래스에서 iPhone에서 직접 돌아가는 최초의 이미지 모델'이라는 주장에 대해, Draw Things 앱을 통해 FLUX.2 Klein 4B(동일 파라미터 클래스, 사실상 같은 모델)가 이미 8-bit/6-bit 양자화로 iPhone에서 돌아간다는 반박이 있었다. 다만 '직접(directly)'이라는 단어로 빠져나갈 여지를 만들었다는 지적도 있었다.
- Stable Diffusion XL 3.5B나 리파이너 모델도 iPhone 13 Pro에서 돌아간다는 댓글도 있어, '최초' 주장의 근거가 더욱 흔들렸다.
- 실제 bottleneck은 메모리가 아니라 생성 속도라는 의견이 있었다. 8-12GB VRAM의 1080 세대 GPU나 동급 Mac에서 이미 많은 모델이 돌아가고, 이 모델이 기반 모델인 FLUX.2보다 오히려 조금 느리다는 점을 들어 실용적 필요성에 의문을 제기했다.
- 텍스트 인코더가 1.8GB인데, 이 부분을 압축하지 않으면 결국 총 용량 절감 효과가 제한적이라는 지적이 있었다. 실제로 전체 배포 페이로드(3.42~3.88GB)를 보면 diffusion transformer 외 나머지 부분이 상당한 비중을 차지한다.
- 미래에는 고가 구독 서비스 대신 하드웨어를 업그레이드해서 로컬 AI를 쓰는 시대가 오길 기대한다는 감성적 반응도 있었고, 로컬 실행 가능한 모델이 늘어날수록 일반 사용자들이 스스로 선택권을 요구하게 될 것이라는 의견도 있었다.
How to Apply
- iOS/macOS 앱에 이미지 생성 기능을 추가하고 싶은데 메모리 제약이 걸린다면, Bonsai Image 4B Ternary 변형(3.88GB 페이로드)을 MLX 백엔드로 통합하면 iPhone 17 Pro Max급 기기에서 512x512를 약 9.4초에 생성할 수 있다.
- CUDA GPU 환경에서 경량 이미지 생성 서버를 운영한다면 Gemlite low-bit GEMM 커널을 사용하는 Bonsai Image 4B를 적용해 GPU 메모리 사용량을 원본 대비 최대 7.4x 줄이고 더 많은 동시 요청을 처리할 수 있다.
- Mac M4 Pro 이상을 사용하는 로컬 개발 환경이라면 Bonsai Studio 앱을 먼저 테스트해보고, LM Studio에 올라온 구현체 중 자신의 워크플로우에 맞는 것을 골라 파이프라인에 통합하면 된다.
- 생성 이미지 품질보다 메모리 절약이 우선이면 1-bit 변형(0.93GB transformer, 3.42GB 페이로드)을, 프롬프트 충실도와 시각적 품질이 중요하면 Ternary 변형(1.21GB transformer, 3.88GB 페이로드)을 선택하는 기준으로 삼을 수 있다.
Terminology
Related Papers
Claude Code sends 33k tokens before reading the prompt; OpenCode sends 7k
동일한 모델과 작업 환경에서 Claude Code와 OpenCode의 실제 토큰 사용량을 API 레벨에서 측정한 결과, Claude Code가 시스템 프롬프트 오버헤드만으로 OpenCode 대비 4.7배 더 많은 토큰을 소비한다는 것을 확인했다.
Mesh LLM: distributed AI computing on iroh
사무실, 집, 클라우드에 흩어진 GPU들을 하나의 OpenAI 호환 API로 묶어주는 분산 LLM 실행 시스템으로, 비싼 API 비용 없이 큰 모델을 직접 운영할 수 있다.
Show HN: Frugon – Find which LLM calls a cheaper model could handle (local, MIT)
내 LLM API 비용이 어디서 새는지 로컬에서 분석해주는 오픈소스 CLI 도구로, 비싼 모델 대신 저렴한 모델로 전환 가능한 호출을 골라낸다.
Jamesob's guide to running SOTA LLMs locally
2천 달러짜리 RTX 3090 한 장부터 4만 달러짜리 RTX PRO 6000 4장 셋업까지, 로컬에서 최신 LLM을 직접 돌리는 방법을 하드웨어 선택·구성·실행 설정까지 통째로 정리한 실전 가이드다.
Faster embeddings: how we rebuilt the ONNX path in Manticore
Manticore Search가 기존 SentenceTransformers/Candle 백엔드를 ONNX Runtime으로 교체해 텍스트 임베딩 생성 속도를 평균 14배 향상시켰다. 별도 모델 서비스 없이 DB 내부에서 직접 임베딩을 처리하는 구조에서 INSERT 속도가 곧 임베딩 속도이기 때문에 이 개선은 실질적인 ingest 처리량 향상으로 직결된다.
Asymmetric Quantization: Near-Lossless Retrieval with 97% Storage Reduction
멀티벡터 검색 모델의 문서 벡터를 1비트 이진값으로 압축하고 쿼리 벡터만 int8로 유지하는 비대칭 양자화 기법으로, 스토리지를 97% 줄이면서 검색 품질 손실을 0.61점(NDCG@10 기준)에 그치게 만든 실제 프로덕션 적용 사례다.