Pirate Face: LLM 모델을 토렌트로 영구 보존
Pirate Face Rescues LLM Models from Deletion
TL;DR Highlight
Hugging Face 모델을 토렌트로 미러링해 삭제돼도 받을 수 있게 했다
Who Should Read
오픈 웨이트 모델을 Hugging Face에서 받아 쓰다가 삭제·접근 제한이 걱정되는 ML 인프라 담당 백엔드 개발자
Core Mechanics
- Hugging Face 모델을 토렌트로 미러링
- Pirate Face는 모델을 Hugging Face에서 가져와 마그넷 링크(magnet link)로 P2P 공유한다.
- 원본이 사라져도 파일을 가진 피어가 있으면 계속 받을 수 있다고 한다.
- SHA-256으로 원본과 대조
- Hugging Face가 SHA-256을 제공하는 파일은 해시를 기록해 둔다.
- 다운로드한 파일 해시를 모델 페이지 값과 비교해 같은지 확인할 수 있다.
- pip 한 줄로 기존 코드 그대로
- pip install pirateface 후 기존 transformers·huggingface_hub 코드가 코드 수정 없이 시더(seeder)에서 받는다.
- 스웜이 못 주는 파일은 평소처럼 Hugging Face에서 받는다.
- 터미널에서 검색·다운로드
- curl https://pirateface.co/s/qwen 은 토렌트가 있는 모델을 한 줄씩 보여준다.
- 출력은 이름, 크기, 시드 수, 마그넷 순이고 aria2로 바로 받을 수 있다.
- 계정 없이 받고 올릴 수 있다
- 둘러보기·다운로드·시딩은 계정이 필요 없다.
- 토렌트 제출이나 핸들 관리에는 로그인이 필요하다.
Community Reactions
- 토렌트 배포가 맞다는 의견
- 단일 장애점인 Hugging Face에 의존할 이유가 없고 BitTorrent가 이런 용도로 만들어졌다는 의견이 있었다.
- 예전 Blizzard가 게임 배포에 토렌트를 썼다는 사례도 언급됐다.
- 직접 써 보니 제출 기능이 아쉽다는 경험
- 로컬 파일로 토렌트를 만들어 올려도 Hugging Face 백스톱(대체 경로)을 지정할 수 없었다는 경험이 있었다.
- 토렌트 생성은 SKILLS.md가 아니라 스크립트로 제공돼야 한다는 의견이 있었다.
- 보안 측면의 기대
- 파인튜닝으로 자격증명을 빼내도록 조작된 악성 모델을 걸러내려면 HF 해시 대조가 필요하다는 의견이 있었다.
- 이 사이트가 HF 해시와 대조한다는 점을 확인했다는 댓글이 있었다.
- 가입 방식과 이름에 대한 불만
- X에 글을 올려야 핸들을 얻는 방식이 이상하고 가입이 복잡하다는 의견이 여러 개 있었다.
- pirate라는 이름이 부정적 인상을 준다는 의견도 있었다.
How to Apply
- 터미널로 모델 토렌트 검색해 보기
- 오늘 curl https://pirateface.co/s/qwen 을 실행해 쓰는 모델에 마그넷이 있는지 확인하라.
- 결과 첫 줄 마그넷을 aria2c로 받아 속도를 HF와 비교하라.
- 받은 가중치 SHA-256 대조 습관 들이기
- 모델 파일을 받은 뒤 sha256sum 결과를 Hugging Face 해시와 비교하라.
- 사내 모델 배포 파이프라인에 이 검증 단계를 넣어라.
- 중요 모델은 내부 미러에 시딩하기
- 서비스에 꼭 필요한 모델은 완전한 파일을 직접 보관하고 시딩하라.
- 핵심 모델 목록을 정해 원본 삭제 때 대체 경로가 있는지 점검하라.
Try It
# 터미널(셸)에 붙여넣기: Pirate Face에서 모델 검색 후 첫 결과 받기
# 사전 설치: aria2 (예: brew install aria2 / apt install aria2)
curl https://pirateface.co/s/{{모델이름}}
curl -s https://pirateface.co/s/{{모델이름}} | head -1 | awk '{print $NF}' | xargs aria2c --seed-ratio=1.0
# 이어서 해 볼 것: 기존 코드에 적용
pip install pirateface
python train.pyTerminology
관련 논문
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓
Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터
GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터