llama.cpp팀과 Hugging Face의 로컬 AI 앱 Llama

Who Should Read

OpenAI API로 만든 코드를 API 키·사용료 없이 로컬 모델로 돌려 보고 싶은 백엔드 개발자

Core Mechanics

• Llama는 로컬 모델 실행 앱이다
  • llama.cpp 팀과 Hugging Face가 만든 Mac·Windows용 앱이다.
  • 무료, 오픈소스, 오프라인 동작이며 다운로드 크기는 1MB다.
  • Linux는 curl 설치 스크립트로 명령줄 버전을 쓴다.
• OpenAI 호환 로컬 API를 연다
  • localhost:9931/v1로 접속하며 base URL만 바꾸면 기존 코드가 돌아간다고 한다.
  • OpenAI·Anthropic 호환 엔드포인트를 제공한다.
  • 스트리밍, 도구 호출(tool calling), 구조화 출력, 비전을 지원한다고 한다.
• 설정은 앱이 자동으로 잡는다
  • 양자화(모델을 작게 압축하는 방식)는 메모리에 들어가는 최고 정밀도로 자동 선택한다.
  • 컨텍스트 크기, 이미지 입력, 추측 디코딩(speculative decoding, 작은 예측으로 생성 속도를 높이는 기법)도 자동이다.
  • 배치 크기는 32GB 이상 Mac에서 더 크게 잡는다.
  • 모든 llama.cpp 설정은 텍스트 파일 하나에서 직접 바꿀 수 있다.
• 모델은 한 번만 저장하고 같이 쓴다
  • 모델은 Hugging Face 캐시에 한 번만 저장되어 llama.cpp 등 다른 도구와 공유된다.
  • 앱 3개가 각자 모델을 두면 57GB인데, Llama를 쓰면 19GB라고 한다.

Community Reactions

• llama-server가 이미 멀티 모델을 지원한다는 의견
  • ini 파일에 모델별 최적화 파라미터를 적어 두면 API 클라이언트는 모델만 고르면 된다는 경험이 나왔다.
  • ngram-mod(spec-default)를 켜면 거의 공짜라는 조언도 있었다.
• llama.app 설치 팁
  • 예전 이름은 LlamaBarn이라는 설명이 있었다.
  • llama.app보다 llama.cpp 릴리스가 빠르니 brew로 llama.cpp를 먼저 깔라는 의견이 있었다.
  • hf CLI로 받은 모델은 자동으로 인식된다고 한다.
• llama.cpp 안정성 불만
  • Framework 13의 AMD GPU에서 ROCm 지원이 코드 변경으로 깨져 한 달 가까이 수정이 안 됐다는 경험이 있었다.
  • Vulkan으로 전환해 우회했다고 한다.
• 설치와 실행 후기
  • RTX 3070에서 llama.cpp 설치가 vLLM보다 매끄러웠다는 경험이 있었다.
  • curl | sh 설치가 꺼림칙해 직접 빌드하자는 의견도 있었다.
  • Qwen3-4B Q4_0은 서버가 종료됐고 Llama-3.2-1B는 잘 돌았다는 보고가 있었다.

How to Apply

• 기존 OpenAI 코드의 base URL 바꿔 보기
  • 오늘 Llama를 설치하고 모델 하나를 받는다.
  • OpenAI SDK의 base URL을 http://localhost:9931/v1로 바꾸고 api key는 임의 값으로 둔다.
  • 기존 프롬프트로 응답이 오는지 확인한다.
• 개발·테스트 환경만 로컬 API로 돌리기
  • CI나 개발용 스크립트의 base URL을 환경변수로 분리한다.
  • 비용이 드는 반복 테스트는 로컬 모델로 보낸다.
  • 도구 호출과 구조화 출력이 쓰는 모델에서 되는지 먼저 확인한다.
• 메모리에 맞는 모델을 골라 품질 비교하기
  • 내 Mac 메모리에 맞는 추천 모델(Gemma 4, GPT-OSS, Qwen 3.8)을 하나 받는다.
  • 실제 서비스 프롬프트 10개를 현재 API와 로컬 모델에 똑같이 돌린다.
  • 품질 차이를 표로 기록한다.

Try It

# 터미널에 붙여넣기 (Llama 앱 설치 후, 모델 설치 상태에서 실행)

curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ggml-org/gpt-oss-20b-GGUF:MXFP4",
    "messages": [{"role": "user", "content": "{{질문}}"}]
  }'

# 이어서 해 볼 것: 기존 OpenAI SDK 코드의 base URL만 http://localhost:9931/v1로 바꿔 돌려 본다.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://llama.app
• https://github.com/ggml-org/llama.cpp
• https://github.com/ggml-org/Llama-macOS
• https://github.com/DannyArends/DLLM