AI At Home 1부: 중고 부품으로 만든 4-GPU 로컬 AI 서버

Who Should Read

API 의존을 줄이려고 집이나 사무실에 로컬 LLM 서버를 직접 만들어 보려는 개발자

Core Mechanics

• 서버용 V620으로 VRAM 128GB를 모았다
  • AMD가 클라우드 게이밍용으로 과잉 생산한 V620은 VRAM이 32GB이고 영상 출력이 없다.
  • 소프트웨어 지원이 나쁘다는 평 때문에 eBay 중고가가 싸다.
  • 저자는 4장을 장당 $350에 협상해 샀다.
• 나머지 부품은 구형으로 맞췄다
  • 2017년 X299 보드(Supermicro C9X299-PGF)와 i9-10900X, 1600W 파워를 썼다.
  • 연산은 GPU VRAM에서 하므로 CPU·RAM·SSD 사양 요구가 낮다고 한다.
  • 케이스는 PCI 슬롯이 8개인 SilverStone RM4A($262)다.
• 팬 없는 서버 카드는 직접 냉각해야 했다
  • 카드 4장을 나란히 두면 폭이 약 160mm라 80mm 팬 2개를 덮는 슈라우드(공기 유도 덮개)를 직접 모델링해 출력했다.
  • 10,000RPM 팬(Arctic S8038-10K)은 벽 너머까지 들릴 만큼 시끄러웠다.
• 부팅하려면 BIOS 설정이 필요했다
  • 보드가 4장 연결 상태로 켜지려면 Resizable BAR와 MMIO High Size를 둘 다 켜야 했다.
  • 두 옵션은 서로 다른 고급 메뉴 안에 있다.
• 팬 제어는 Arduino로 직접 만들었다

Community Reactions

• 서버 카드 냉각에 대한 조언
  • 블로어 팬이 조용한 건 아니지만 정압이 높아 공기를 밀어 넣는 데 유리하다는 의견이 있었다.
  • 4장을 나란히 꽂을 수 있는 케이스는 드물다는 지적도 있었다.
• MI50 4장으로 비슷하게 만들어 봤다는 경험
  • 14cm Noctua 팬 1개와 3D 프린트 덕트로 저속에서도 최대 62도로 유지됐다고 한다.
  • 큰 팬이 더 조용했고 방열 패드를 좋은 써멀 컴파운드로 바꾸니 온도가 몇 도 내려갔다고 한다.
• DGX Spark 2대로 클라우드를 대체했다는 경험
  • QSFP로 연결해 DS4 Flash와 OCR 모델을 돌린다고 한다.
  • 오래 쓰던 Claude가 이제 필요 없어졌다는 후기다.
• 3D 프린트 소재에 대한 반론
  • PLA는 55도 부근에서 무르기 시작해 이 장비에는 부적합하다는 의견이 있었다.
  • ASA가 어려우면 PETG-CF가 더 안전하다는 제안이다.

How to Apply

• 오늘 내 GPU 후보를 llama.cpp로 테스트하기
  • 가진 GPU나 중고 후보 카드에 llama.cpp를 빌드하고 Gemma4처럼 한 장에 들어가는 모델부터 돌려 보라.
  • 속도와 VRAM 사용량을 기록해 API 비용과 비교하라.
• 멀티 GPU 빌드 전 BIOS 요구사항 체크하기
  • 구형 보드로 GPU 여러 장을 꽂을 계획이면 Resizable BAR와 MMIO High Size 옵션이 있는지 먼저 확인하라.
  • 두 옵션이 없으면 부팅이 안 될 수 있다.
• 서버 카드는 팬 계획부터 세우기
  • 팬 없는 데이터센터 카드를 사기 전에 카드 폭과 케이스 슬롯 수(8개 이상)를 재라.
  • 팬은 온도 기반 PWM 제어를 전제로 고르라.
• 로컬 모델로 운영 스크립트 짜게 하기
  • 팬 제어처럼 작은 유틸리티 스크립트는 로컬 모델에 맡겨 품질을 확인하라.
  • 사람이 계속 가이드해야 쓸 만한 결과가 나온다.

Try It

# Claude나 ChatGPT에 그대로 붙여넣는 프롬프트 (원문의 팬 제어 스크립트 작업 방식을 옮긴 간이 버전)

나는 GPU {{GPU 개수}}장짜리 리눅스 서버를 운영한다. GPU 온도를 읽어 팬 속도(0~100%)를 계산하고 시리얼로 {{장치 경로}}에 전송하는 파이썬 스크립트를 작성해줘.

조건:
- 온도는 {{온도 조회 명령}}으로 읽는다.
- 가장 뜨거운 GPU 기준으로 속도를 정한다.
- 온도 구간별 속도는 표로 먼저 보여준다.
- 센서 읽기 실패 시 안전하게 높은 속도로 올린다.

먼저 설계를 설명하고 내가 승인하면 코드를 써줘.

이어서 해 볼 것: 완성된 스크립트에 대해 "이 코드의 위험한 부분을 찾아줘"라고 물어보라.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://jdagostino.github.io/ai-pt1-box-o-scraps/index.html