TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
TL;DR Highlight
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
Who Should Read
GPU 대신 AWS Trainium으로 오픈 모델을 서빙할 수 있는지 비용을 따져 보는 인프라·백엔드 개발자
Core Mechanics
- Trainium2에서 도는 오픈 추론 엔진
- TrnRT는 AWS Trainium용 오픈소스 LLM 추론 엔진이다.
- trn2.48xlarge 한 대에서 OpenAI 호환 API로 서빙한다.
- 디코드를 레이어당 커널 하나로 합쳤다
- 디코드를 NKI 메가커널(여러 연산을 하나로 합친 커널)로 돌린다.
- 레이어 절반마다 커널 하나가 대략 대응한다.
- 지원 모델은 GLM-5.3-Flash 하나뿐
- GLM-5.3-Flash는 320B MoE에 활성 18B, FP8, 1M 토큰 컨텍스트 모델이다.
- 다른 오픈 모델은 "coming soon"이다.
- prefix cache를 디바이스와 호스트에 둔다
- FP8 KV 페이지 위에 radix tree로 prefix cache를 만든다.
- 밀려난 페이지와 상태 체크포인트는 호스트 메모리 계층에 저장한다.
- 컴파일은 CPU 서버에서 미리 한다
- 모든 그래프를 x86_64 호스트에서 빌드한다. NeuronCore는 필요 없고 몇 시간 걸린다.
- 서빙 박스는 기본적으로 컴파일 없이 로드만 한다.
- 병목은 메모리 대역폭이 아니라고 한다
- 디코드는 작은 명령어, 커널 경계, 노출된 collective(칩 간 통신)가 지배한다고 한다.
- 그래서 SBUF에 작업 집합 유지, 두 물리 코어 대칭 사용, collective를 커널 안으로 이동 이 세 규칙을 따른다.
Community Reactions
- tokens/min 지표가 낯설다는 의견
- 보통 tok/s를 쓰는데 분당 토큰은 다른 엔진과 비교하기 불편하다는 의견이 있었다.
- Trainium 생태계가 빈약하다는 의견
- Amazon 규모에 비해 Trainium 생태계가 부실한 게 의외라는 의견이 있었다.
- Nvidia 대체재로 매끄럽게 만드는 것이 선순환 전략이라는 의견도 있었다.
- Nvidia·AMD와의 토큰당 비용이 궁금하다는 반응
- Trainium의 token/$를 Nvidia, AMD 칩과 비교해 달라는 질문이 나왔다.
- SGLang과 비교해 달라는 질문
- SGLang과 어떻게 다른지 묻는 댓글이 있었다.
How to Apply
- 이미 쓰는 OpenAI 클라이언트로 붙여 보기
- 서버가 있다면 base_url만 http://localhost:8000/v1로 바꿔 호출하라.
- 같은 대화에는 extra_body의 session_id를 고정해 prefix cache를 타게 하라.
- 벤치마크를 우리 비용표로 환산하기
- README의 $/M tokens(스팟 $8.60/h 기준 batch 12에서 $0.040)를 지금 쓰는 GPU 서빙 단가와 나란히 놓아라.
- 용량 블록 $35.76/h 기준 $0.167도 함께 비교하라.
- 에이전트 워크로드면 batch 설정을 고르기
- 지연이 중요하면 batch 4·8, 처리량이 중요하면 기본값 batch 12를 고려하라.
- batch 12의 캐시 적중 첫 토큰 p50은 6.53초임을 확인하라.
Try It
# OpenAI 호환 API로 띄운 TrnRT 서버에 붙이는 파이썬 코드 (pip install openai, 서버는 README 3단계로 실행)
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")
reply = client.chat.completions.create(
model="glm",
messages=[{"role": "user", "content": "Write a haiku about Trainium."}],
extra_body={"session_id": "my-session"}, # keeps a conversation on one engine's prefix cache
)
print(reply.choices[0].message.content)
# 이어서 해 볼 것: 같은 session_id로 긴 대화를 반복 호출하며 응답 지연을 비교해 보기Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습
NVIDIA가 AI 스타트업에 투자해 GPU 부족을 키웠다는 WSJ 보도
WSJ: NVIDIA가 투자한 스타트업이 다시 NVIDIA GPU를 사게 했다는 의혹