Hetzner, LLM Inference 실험 시작: OpenAI 호환 API 첫인상

Who Should Read

유럽 호스팅 기반 LLM 추론 API를 OpenAI SDK로 갈아끼워 볼 수 있는지 궁금한 백엔드 개발자

Core Mechanics

• Hetzner가 추론 API를 실험 중
  • Experiments 대시보드에서 API 토큰을 만들어 쓰는 OpenAI 호환 API다.
  • 과금·SLA·프로덕션 보장은 없고 모델은 하나뿐이다.
• 모델은 Qwen3.6-35B-A3B-FP8 하나
  • 350억 파라미터 MoE(Mixture-of-Experts, 필요한 전문가만 일부 켜는 구조)이고 활성 파라미터는 30억이다.
  • 텍스트와 이미지를 받고 컨텍스트 윈도우는 262K, 가중치는 FP8 양자화다.
• 연결은 base_url만 바꾸면 끝
  • pip install openai 후 base_url을 https://inference.hetzner.com/api/v1로 지정한다.
  • enable_thinking을 False로 주면 추론에 토큰을 덜 쓰지만 Hetzner 문서에는 없는 옵션이다.
• 저자 측정 TTFT 153ms, 224 tok/s
  • 2026년 7월 23일 한 클라이언트에서 짧은 요청 7번의 TTFT(첫 토큰까지 걸리는 시간) 중앙값이 153ms였다.
  • 512토큰 상한 긴 생성 5번에서는 초당 224 출력 토큰이 나왔다.
  • 동시 사용자가 많을 때의 성능은 알 수 없다고 저자가 밝혔다.
• 모델 품질은 작은 모델 수준
  • 포맷과 검색 지시는 대체로 따랐고 이미지도 맞게 처리했다.

Community Reactions

• EU 네이티브 추론 업체에 대한 기대
  • 규제 측면에서 신뢰받는 EU 기반 추론 제공자가 있으면 좋겠다는 의견이 있었다.
  • GDPR을 지키는 Mistral 외 코딩 플랜·구독이 없는 게 아쉽다는 의견도 있었다.
• 단일 GPU에 들어가는 모델이 승부처라는 의견
  • 한 장의 카드에 들어가는 모델에서는 경쟁력이 나올 수 있다는 의견이 있었다.
  • 대형 모델 서빙 경쟁에 뛰어드는 건 지금은 무모하다는 의견이었다.
  • GLM이나 Kimi를 호스팅하면 쓰겠다는 댓글도 있었다.
• enable_thinking 설명이 반대라는 지적
  • 옵션 이름대로 켜면 추론하고 끄면 추론하지 않는데 본문 설명이 거꾸로라는 지적이 있었다.
  • 글 일부가 AI가 쓴 듯한 환각 문장이라 아쉽다는 의견도 있었다.
• 대안 서비스와 가격 기대
  • 여러 모델을 고를 수 있는 Infomaniak AI 서비스를 쓰고 있다는 추천이 있었다.
  • 웹호스팅처럼 추론도 저렴한 리셀러 시장이 생기길 바란다는 의견이 있었다.

How to Apply

• 오늘 토큰 받아 호환성 테스트
  • Experiments 대시보드에서 토큰을 만들고 아래 코드를 실행해 base_url만 바꿔 돌아가는지 확인하라.
  • 지금 쓰는 OpenAI SDK 코드에서 응답 형식이 같은지 비교하라.
• 프로덕션 대신 비핵심 작업에만 연결
  • 요약이나 분류 같은 사내 실험 작업에 한정해 호출하라.
  • 과금·SLA가 없으므로 실패 시 기존 공급자로 돌아가는 폴백을 붙여라.
• 자체 지연 시간 측정 스크립트 만들기
  • 실제 프롬프트 길이로 TTFT와 초당 토큰 수를 직접 재라.
  • 저자 수치는 단일 클라이언트 1회 측정이므로 내 환경 수치와 비교하라.
• 추론 옵션은 문서화 전까지 의존하지 않기
  • enable_thinking은 Hetzner 문서에 없으므로 설정 값을 코드 한곳에 모아라.
  • 응답에 추론이 섞여도 깨지지 않게 파싱하라.

Try It

# 터미널과 Python에서 실행: Hetzner Inference(실험용) 호환성 테스트
# 설치: pip install openai

from openai import OpenAI
import time

client = OpenAI(
    base_url="https://inference.hetzner.com/api/v1",
    api_key="{{YOUR_TOKEN}}",
)

start = time.time()
response = client.chat.completions.create(
    model="Qwen/Qwen3.6-35B-A3B-FP8",
    messages=[{"role": "user", "content": "{{질문}}"}],
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)
print(f"총 소요 시간: {time.time() - start:.2f}s")

# 이어서 해 볼 것: enable_thinking을 True로 바꿔 답변 품질과 지연 시간 차이를 비교해 보기

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://sliplane.io/blog/hetzner-inference
• https://www.infomaniak.com/en/hosting/ai-services