CanIRun.ai — 내 컴퓨터에서 돌릴 수 있는 AI 모델 찾기

Who Should Read

로컬 LLM을 돌려보고 싶은데 내 Mac이나 GPU에서 어떤 모델이 돌아가는지 감이 안 잡히는 개발자. 또는 팀에 로컬 AI 도입을 검토 중인 엔지니어.

Core Mechanics

• CanIRun.ai는 브라우저 WebGPU API로 GPU/RAM 스펙을 자동 감지한 뒤, 각 오픈소스 모델을 S~F 등급으로 매겨서 내 머신에서 실제로 돌아갈지 알려준다. 별도 소프트웨어 설치 없이 웹에서 바로 확인 가능.
• Llama 3.1 8B(4.1GB), Qwen 3.5 9B(4.6GB) 같은 소형 모델부터 DeepSeek V3.2 685B(350GB), Kimi K2 1T(512GB) 같은 초대형 MoE 모델까지 다양한 모델을 커버한다. 각 모델별로 Q2_K부터 F16까지 양자화 옵션도 표시된다.
• Chat, Code, Reasoning, Vision 등 용도별 필터와 Meta, Google, Alibaba 등 제공사별 필터를 지원해서 목적에 맞는 모델을 빠르게 찾을 수 있다.
• MoE(Mixture of Experts) 모델은 전체 파라미터 중 일부만 활성화되기 때문에, 예를 들어 GPT-OSS 20B는 3.6B만 활성화돼서 실제 추론 속도는 3~4B 급 dense 모델과 비슷하다. 다만 전체 모델을 VRAM에 올려야 하므로 메모리는 20B만큼 필요.
• 사이트에서 보여주는 VRAM 수치는 기본적으로 Q4_K_M 양자화 기준이라, 원본 모델 크기(예: Llama 3.1 8B 원본은 16GB)와 큰 차이가 난다. 양자화 버전에 따라 성능과 메모리 요구량이 달라지는데 이 부분이 명확히 표시되지 않아 혼동 가능.
• 비슷한 도구로 CLI 기반의 llmfit(github.com/AlexsJones/llmfit)이 있는데, CanIRun.ai는 이걸 웹 버전으로 만든 느낌. 다만 양쪽 모두 모델 품질(벤치마크 점수) 기준 정렬이 없어서, 내 하드웨어에서 '가장 똑똑한' 모델을 찾기는 여전히 어렵다.
• WebGPU 기반 감지라 한계가 있다. 모바일 GPU 지원이 부족하고, CPU-GPU 메모리 공유나 KV cache offloading 같은 고급 전략은 고려되지 않는다. 또한 브라우저에 렌더링용 GPU가 잡히면 실제 추론용 GPU와 다를 수 있다.
• M4와 M5 칩 간 성능 차이가 전혀 없이 동일 데이터로 표시되는 등, 실측이 아닌 추정치 기반이라는 지적이 있다. 실제 벤치마크 데이터가 뒷받침되지 않으면 참고용 이상의 신뢰도를 기대하기 어렵다.

Evidence

• 로컬 모델에 2년간 집중 투자한 사용자가 '소형 모델(Qwen 3.5 9B 등)은 tool use나 정보 추출 같은 임베디드 용도에 탁월하지만, 코딩은 그냥 Claude나 Gemini CLI 쓰라'고 조언했다. 로컬 코딩 환경 구축에 100시간을 썼지만 취미가 아니면 비추천이라는 경험담.
• MoE 모델의 속도 추정이 부정확하다는 기술적 반론이 있었다. GPT-OSS 20B의 경우 활성 파라미터가 3.6B라 dense 3~4B급 속도가 나오지만, 지능은 sqrt(20B×3.6B)≈8.5B dense급이라는 구체적 공식도 공유됐다.
• '내 하드웨어에서 tok/s X 이상, context Y 이상인 가장 똑똑한 모델'을 찾는 게 가장 흔한 질문인데, 이 사이트도 llmfit도 그걸 못 해준다는 불만이 여럿 있었다. 품질 기준 정렬이 없어서 결국 guess-and-check로 돌아간다는 의견.
• 에이전트 워크플로우(멀티스텝 계획, 도구 사용, 에러 복구)에는 로컬 모델과 프론티어 모델 간 격차가 여전히 크다는 의견이 있었다. 실용적 타협안으로 '커밋 메시지, 코드 완성, 분류 같은 단순 대량 작업은 로컬, 추론·계획이 필요한 복잡한 작업은 API'라는 분리 전략을 추천.
• WebGPU로 브라우저가 정확한 하드웨어 스펙을 웹사이트에 알림 없이 제공한다는 점에 놀랐다는 프라이버시 우려 댓글도 있었다. 또한 M3 Ultra 256GB 같은 고사양 옵션이 누락되어 있고, 역방향 검색(모델을 선택하면 각 프로세서별 성능 비교)이 있으면 구매 결정에 도움이 될 거라는 제안도 나왔다.

How to Apply

• 로컬 LLM 도입을 검토 중이라면 CanIRun.ai에서 내 하드웨어 기준으로 S/A/B 등급 모델 목록을 먼저 확인하고, 그중 용도(Chat/Code/Reasoning)에 맞는 모델을 ollama로 바로 테스트해볼 수 있다.
• 코딩 보조 도구를 로컬로 돌리고 싶다면, Qwen 2.5 Coder 32B나 Devstral 2 123B 같은 코드 특화 모델의 양자화 버전(Q4_K_M)을 기준으로 VRAM 여유를 확인하고, 부족하면 Q3_K_M으로 한 단계 낮춰서 시도한다.
• API 비용을 줄이려면 커밋 메시지 생성, 코드 완성, 로그 분류 같은 반복적이고 단순한 작업만 로컬 소형 모델(8~9B급)로 전환하고, 에이전트·추론·긴 컨텍스트 작업은 프론티어 API를 유지하는 하이브리드 구조를 적용한다.
• Mac 사용자라면 MLX 생태계(mlx-community 모델들)를 활용해 Apple Silicon에 최적화된 모델을 로드할 수 있다. 64GB Mac 기준 Qwen 3.5 27B 4bit가 실사용 가능한 sweet spot으로 여러 사용자가 추천했다.

Terminology

관련 논문

• Claude Code는 프롬프트 읽기 전에 33k 토큰을 전송한다; OpenCode는 7k

  동일한 모델과 작업 환경에서 Claude Code와 OpenCode의 실제 토큰 사용량을 API 레벨에서 측정한 결과, Claude Code가 시스템 프롬프트 오버헤드만으로 OpenCode 대비 4.7배 더 많은 토큰을 소비한다는 것을 확인했다.

• Mesh LLM: iroh 기반 분산 AI 컴퓨팅

  사무실, 집, 클라우드에 흩어진 GPU들을 하나의 OpenAI 호환 API로 묶어주는 분산 LLM 실행 시스템으로, 비싼 API 비용 없이 큰 모델을 직접 운영할 수 있다.

• Frugon – LLM API 호출 로그를 분석해서 더 싼 모델로 대체 가능한 구간을 찾아주는 로컬 도구

  내 LLM API 비용이 어디서 새는지 로컬에서 분석해주는 오픈소스 CLI 도구로, 비싼 모델 대신 저렴한 모델로 전환 가능한 호출을 골라낸다.

• 로컬에서 SOTA LLM 실행하기 완전 가이드 (하드웨어부터 설정까지)

  2천 달러짜리 RTX 3090 한 장부터 4만 달러짜리 RTX PRO 6000 4장 셋업까지, 로컬에서 최신 LLM을 직접 돌리는 방법을 하드웨어 선택·구성·실행 설정까지 통째로 정리한 실전 가이드다.

• Manticore Search에서 ONNX 경로를 재설계해 임베딩 속도를 14배 높인 방법

  Manticore Search가 기존 SentenceTransformers/Candle 백엔드를 ONNX Runtime으로 교체해 텍스트 임베딩 생성 속도를 평균 14배 향상시켰다. 별도 모델 서비스 없이 DB 내부에서 직접 임베딩을 처리하는 구조에서 INSERT 속도가 곧 임베딩 속도이기 때문에 이 개선은 실질적인 ingest 처리량 향상으로 직결된다.

• Asymmetric Quantization: 97% 스토리지 절감으로 Late Interaction 검색 품질 유지하기

  멀티벡터 검색 모델의 문서 벡터를 1비트 이진값으로 압축하고 쿼리 벡터만 int8로 유지하는 비대칭 양자화 기법으로, 스토리지를 97% 줄이면서 검색 품질 손실을 0.61점(NDCG@10 기준)에 그치게 만든 실제 프로덕션 적용 사례다.

Related Resources

• https://www.canirun.ai/
• https://github.com/AlexsJones/llmfit
• https://huggingface.co/meta-llama/Llama-3.1-8B/tree/main
• https://ollama.com/library/llama3.1:8b