탈옥한 PS5에서 llama.cpp로 GGUF 모델 돌리기 (PS5LM)
Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console
TL;DR Highlight
탈옥 PS5의 GPU로 llama.cpp를 돌려 집 안 LLM 서버를 만들었다
Who Should Read
클라우드 비용 없이 집에서 쓸 로컬 LLM 서버를 찾는 OpenAI·Anthropic API 클라이언트 개발자
Core Mechanics
- PS5가 로컬 LLM 서버가 된다
- 콘솔 GPU에서 llama.cpp의 Vulkan 백엔드로 GGUF 모델을 돌린다.
- 모델과 컨텍스트용으로 공유 메모리 11.4GB를 쓴다.
- 기존 API 클라이언트를 그대로 붙인다
- OpenAI의 /v1/chat/completions와 Anthropic의 /v1/messages를 지원한다.
- Claude Code도 붙는다고 원문에 적혀 있다.
- PS5 Slim 실측 속도
- Qwen 3.5 0.8B Q4_K_M(0.5GB)은 초당 207토큰이다.
- Qwen 3.5 9B Q4_K_M(5.3GB)은 초당 55토큰, Qwen 3.8 27B UD-Q2_K_XL(9.2GB)은 64k 컨텍스트에서 초당 약 20토큰이다.
- 메모리에 맞게 컨텍스트를 자동 설정한다
- 플래너가 GGUF를 읽고 남은 메모리에 들어가는 가장 긴 컨텍스트와 최적 캐시를 고른다.
- Hugging Face 다운로드도 앱이 직접 한다.
- 텍스트 생성 없는 decision 모델도 지원한다
- /v1/systemone API로 choice·yes/no 질문에 확률 점수가 달린 답을 준다.
- d1 Omni 600M은 질문 3개를 0.3초에, 720p 이미지와 질문 7개를 2.9초에 처리했다.
Community Reactions
- 2비트 양자화 27B도 쓸모 있다는 의견
- 서버 에러율 감시나 보안 영상 검토처럼 계속 토큰이 필요한 작업에 맞는다고 본다.
- 하루 전기료 70센트로 출력 약 200만 토큰을 얻는다고 계산했다.
- VRAM이 작아 실용성이 없다는 반론
- 성과로는 멋지지만 README가 실제로 쓸 만하다는 듯 과장한다는 의견이다.
- Codex·Claude와 비교하면 어떠냐는 질문
- 더 느리고 성능도 낮을 거라는 추측이 달렸다.
- 다른 하드웨어에도 될 거라는 의견
- PS5 APU를 줄인 BC250 보드(중고 150~200달러)에서도 되리라는 의견이 있었다.
- 프로젝트를 GitHub 말고 자체 도메인에 두라는 의견도 있었다.
How to Apply
- PC에서 같은 API 형태로 로컬 호출 테스트하기
- 오늘 OpenAI 호환 클라이언트의 base URL만 로컬 llama.cpp 서버로 바꿔 호출해 보자.
- 그다음 PS5LM의 http://<console>:8081로 바꿔도 같은 코드가 돈다.
- 상시 돌리는 저난도 작업을 로컬로 옮기기
- 분류·판정 작업에 decision 모델 시험하기
- 의도 분류나 yes/no 판정 같은 고정 출력 작업에 /v1/systemone 호출을 붙여 보자.
- 지연이 0.3초대인지 직접 재서 LLM 호출과 비교하자.
Try It
# 터미널에 붙여넣기 (PS5LM이 로드된 콘솔이 같은 네트워크에 있을 때)
curl http://{{콘솔IP}}:8081/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"any","messages":[{"role":"user","content":"{{질문}}"}]}'
# decision 모델을 로드했다면
curl http://{{콘솔IP}}:8081/v1/systemone -H 'Content-Type: application/json' -d '{"state":"I was charged twice this month. Refund me or I cancel.","questions":{"intent":{"type":"choice","instructions":"What does the customer want?","criteria":{"refund":null,"information":null,"cancel":null}}}}'Terminology
관련 논문
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓
Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터
GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터