서버리스 GPU 시장 심층 분석: 플랫폼별 실제 차이점
[D] The "serverless GPU" market is getting crowded — a breakdown of how different platforms actually differ
TL;DR Highlight
Vast.ai, RunPod, Yotta Labs는 서버리스 GPU를 각기 다른 4가지 아키텍처로 구현하여 플랫폼별 선택 기준이 결정됨.
Who Should Read
GPU 인프라 비용 최적화를 고민하는 ML 엔지니어, 모델 서빙·파인튜닝 인프라를 선택하는 팀
Core Mechanics
- Vast.ai: GPU 마켓플레이스 — 분산 인벤토리 접근이지만 탄력성은 제3자 공급자 가용성에 의존, 진정한 서버리스 아님
- RunPod: 더 관리형이지만 중간 지점 — "서버리스" 마케팅에도 불구하고 엄격한 의미에서 아님
- Yotta Labs: 여러 클라우드 공급자 간 인벤토리 풀링 + 동적 라우팅 — 아키텍처적으로 차별화된 접근
- "서버리스 GPU"는 마케팅 용어 — 실제 탄력성 모델·콜드 스타트 시간·가격 구조를 직접 확인해야
Evidence
- 저자가 서버리스 GPU 시장 심층 분석 기사 작성을 위해 수주간 플랫폼별 인터뷰와 아키텍처 조사 진행
How to Apply
- 서버리스 GPU 플랫폼 선택 시 ①실제 탄력성 모델 ②콜드 스타트 지연 ③최소 과금 단위 ④인벤토리 소스(자체/제3자)를 반드시 확인
- 버스트성 추론(inference) 워크로드 vs 지속적 훈련 워크로드에 따라 최적 플랫폼이 다름
Terminology
관련 논문
Claude Code, Codex, Cursor에서 바로 쓰는 Smart Model Routing 도구
프롬프트마다 적합한 AI 모델을 50ms 이내에 자동으로 선택해주는 프록시 라우터로, API 비용을 40~70% 절감할 수 있다고 주장하는 오픈소스 도구다. 단, 프롬프트 캐싱 손실 문제로 커뮤니티 반응은 엇갈린다.
900KB Transformer를 과적합시켜 100MB CSV를 7MB로 압축한 실험
단일 파일을 통째로 암기하도록 Transformer를 과적합(overfitting)시킨 뒤 arithmetic coding으로 압축하는 실험으로, 100MB CSV를 7MB(~0.5 bits/byte)까지 줄이는 데 성공했다. 모델이 '범용 이해' 대신 '특정 파일 완전 암기'를 목표로 한다는 점에서 전통적 ML 학습과 정반대 방향이라 흥미롭다.
Anthropic이 나를 Claude Code에서 밴했는데 어떻게 해야 할지 모르겠다
VPN 사용 또는 동일 카드 재사용으로 Anthropic Claude Code 계정이 이유 불명으로 정지당한 사용자의 사례와, 커뮤니티에서 나온 대안 및 우회 방법 논의.
Moebius: 0.2B 파라미터로 10B급 성능을 내는 이미지 인페인팅 모델
FLUX.1-Fill-Dev(11.9B) 대비 2% 미만의 파라미터(0.22B)로 동급 또는 그 이상의 인페인팅 품질을 달성하면서 추론 속도는 15배 빠른 경량 모델. 소비자용 GPU나 엣지 디바이스에서도 고품질 인페인팅이 가능해진다.
AI Compute Extensions (ACE) Specification — x86 CPU에 ML 연산 가속 명령어 추가
x86 Ecosystem Advisory Group이 행렬 곱셈과 저정밀도 데이터 포맷을 하드웨어 수준에서 가속하는 새로운 x86 명령어 확장 스펙 ACE를 공개했다. ML 워크로드를 CPU에서 더 효율적으로 돌리기 위한 ISA(명령어 집합 구조) 수준의 변화라 향후 AI 추론 환경에 영향을 줄 수 있다.
고해상도 Neural Cellular Automata: 세포에서 픽셀로
EPFL과 Google Research가 공동 개발한 Neural Cellular Automata(NCA)를 고해상도로 확장하는 기법으로, 기존 NCA의 해상도 한계를 경량 신경망 디코더로 극복한 SIGGRAPH 2026 논문이다.