Petals: BitTorrent 방식으로 집에서 LLM 돌리기

TL;DR Highlight

모델 일부만 로드하고 다른 사람 GPU와 이어 405B급 LLM을 돌린다

Who Should Read

GPU 없이 큰 오픈 LLM을 직접 돌려 보거나 내부 상태를 들여다보고 싶은 백엔드·ML 엔지니어

Core Mechanics

모델을 쪼개 여러 사람이 나눠 돌린다
- 내 GPU에는 모델 일부만 올린다.
- 나머지 부분은 네트워크에 참여한 다른 사람들이 서빙한다.
지원 모델이 꽤 크다
- Llama 3.1(최대 405B), Mixtral(8x22B), Falcon(40B+), BLOOM(176B)을 쓸 수 있다고 한다.
- 일반 소비자용 GPU나 Google Colab으로 쓸 수 있다고 소개한다.
속도는 챗봇 수준이라고 한다
- Llama 2(70B)는 단일 배치 추론에서 최대 초당 6토큰이다.
- Falcon(180B)은 최대 초당 4토큰이다.
일반 API보다 자유도가 높다
- 파인튜닝과 샘플링 방법을 마음대로 쓸 수 있다.
- 모델 안의 실행 경로를 직접 지정하거나 hidden state(중간 계산값)를 볼 수 있다.
API의 편리함과 PyTorch의 유연함을 함께 준다
- PyTorch와 🤗 Transformers 방식으로 쓸 수 있다고 소개한다.
- BigScience 연구 워크숍 프로젝트다.

Community Reactions

2022년 프로젝트라 지금은 낡았다는 의견
- 작은 모델 성능, 양자화, 소비자 GPU 최적화가 많이 좋아졌다는 댓글이 있었다.
- 한 GPU에 들어가는 모델이면 AI Horde(stablehorde.net) 같은 대안이 이미 있다고 한다.
사실상 방치됐다는 지적
- GitHub 활동이 거의 없고 마지막 커밋도 오래됐다는 댓글이 여럿 있었다.
- 최신 LLM 지원 업데이트가 있는지 묻는 댓글도 있었다.
네트워크 대역폭이 병목이라는 의견
- 노드 간 대역폭 때문에 제대로 안 돌 것이라는 댓글이 있었다.
- 기가비트나 10기가비트 저지연 회선이 보편화돼야 현실적이라는 의견도 있었다.
대안과 변형 아이디어가 언급됐다
- meshllm.cloud를 써 봤다는 경험이 있었다. 노드 간 모델 분할은 공개 데모에 없다고 한다.
- 작은 모델 전체를 한 호스트에 올리고 P2P로 요청을 라우팅하자는 아이디어도 나왔다.

How to Apply

Colab에서 Petals 예제 먼저 돌려 보기
- 홈페이지의 Try now in Colab 링크를 연다.
- 속도와 응답 안정성을 직접 확인한다.
내부 상태가 필요한 실험에 후보로 올리기
- hidden state 확인이나 커스텀 경로 실행이 필요한 연구·실험을 고른다.
- 일반 API로 안 되는 부분만 Petals로 시험한다.
운영 도입 전 유지보수 상태 확인하기
- GitHub의 최근 커밋과 이슈 상태를 먼저 본다.
- 최신 모델 지원이 필요하면 meshllm.cloud 같은 대안과 비교한다.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣는 프롬프트 (Petals 도입 판단용)

나는 {{모델 이름, 예: Llama 3.1 405B}}를 {{용도, 예: 사내 챗봇}}에 쓰려고 한다.
내 환경은 {{GPU 사양}}, 네트워크는 {{대역폭·지연}}이다.

Petals(공개 GPU 네트워크로 모델을 나눠 돌리는 방식)를 쓸 때와 일반 LLM API를 쓸 때를 비교해 줘.
기준은 속도, 안정성, 데이터 프라이버시, 유지보수 상태야.

이어서 해 볼 것: Petals GitHub의 최근 커밋 날짜를 확인하고 결과를 위 비교에 반영해 줘.

Terminology

hidden states모델이 층마다 계산하는 중간 결과값이다. 요리로 치면 완성 요리 말고 조리 중간 단계의 재료 상태를 보는 것이다.

단일 배치 추론요청 하나씩 처리하는 추론 방식이다. 계산대에서 손님을 한 명씩 받는 것과 비슷하다.

BitTorrent 방식파일을 여러 사용자가 조각내 나눠 주고받는 P2P 방식이다. 여기서는 모델 조각을 여러 사람 GPU가 나눠 맡는다.

양자화모델 숫자를 낮은 정밀도로 줄여 메모리를 아끼는 기법이다. 고화질 사진을 용량 작게 압축하는 것과 비슷하다.