OpenAI Jalapeño: Blackwell을 넘어선 자체 설계 추론 칩

TL;DR Highlight

OpenAI 자체 추론 칩 Jalapeño가 STP만으로 MW당 토큰 처리량에서 Rubin MTP 결과를 넘었다

Who Should Read

LLM 추론 비용과 지연시간 때문에 클라우드·칩 선택을 고민하는 백엔드·인프라 개발자

Core Mechanics

Jalapeño는 범용 추론 칩이다
- OpenAI와 Broadcom이 LLM 추론 전용으로 처음부터 설계했고 OpenAI 모델 전용이 아니다.
- 2024년 중반 설계를 시작해 약 16개월 만에 tape-out(제조용 설계 완료)했다.
MW당 처리량이 Rubin MTP를 넘었다
- Jalapeño는 STP(단일 토큰 예측)만으로 MW당 출력 토큰 처리량이 7월 발표된 Vera Rubin MTP 결과를 웃돈다.
- 투기적 디코딩과 prefill-decode 분리 없이 얻은 결과다.
저동시성 속도가 압도적이다
- DeepSeek R1에서 동시성 1일 때 사용자당 700 tok/s를 넘겼다.
- Kimi K2.5는 약 700 tok/s/user로, 다음 칩(100 tok/s/user)의 9배 넘는다.
- GPT-OSS는 약 1,400 tok/s/user가 나왔다.
TCO는 Rubin과 비슷하다
- 달러당 출력 토큰은 Vera Rubin과 거의 같다.
- Rubin은 투기적 디코딩을 썼고 Jalapeño는 쓰지 않았다는 점이 다르다.
칩 사양은 전력 대비 효율에 맞춰졌다
- HBM4로 패키지당 15.4TB/s 대역폭을 낸다.

Community Reactions

원문이 OpenAI 홍보물 같다는 의견
- 초대받아 벤치마크했다더니 중간에 수치는 OpenAI가 줬다고 말이 바뀐다는 지적이 있었다.
- 엔지니어링 샘플을 널리 쓰이는 구형 칩과 비교하는 전형적 PR이라는 의견도 있었다.
투기적 디코딩 효과를 낙관했다는 반론
- 워크로드에 따라 5배 빨라질 수도, 2배 느려질 수도 있다는 의견이 있었다.
- 기본으로 켜지 않은 이유가 이 ASIC과 맞지 않아서일 수 있다는 의견도 있었다.
연산이 병목이라 MTP를 안 쓴다는 분석
대역폭은 크고 연산 코어는 약해서 대역폭 병목이 아니라 연산 병목이라는 의견이 있었다.
- 그래서 MTP 이득이 없고 전력 절감은 낮은 클럭에서 나왔을 것이라는 의견이다.
토큰 가격은 계속 내려갈 것이라는 전망
- 하드웨어가 계속 좋아지면 토큰 가격도 계속 떨어질 것이라는 의견이 있었다.
- 모델이 서로 대체 가능해지면 가격이 에너지 비용에 수렴하고 대형 랩이 가장 싸게 돌릴 것이라는 의견도 있었다.

How to Apply

지금 쓰는 모델의 tok/s/user와 비용 기록하기
- 오늘 운영 중인 엔드포인트에서 동시성 1, 8, 32로 사용자당 tok/s를 측정해 표로 남겨라.
- 아래 프롬프트로 측정 스크립트를 만들어 돌려라.
추론 공급자 비교 때 평가 기준 3가지 고정하기
- 벤치마크 수치를 볼 때 동시성, 입력·출력 길이(8k1k 등), 투기적 디코딩 사용 여부를 먼저 확인하라.
- 이 세 가지가 다르면 수치를 직접 비교하지 마라.
에이전트 워크로드는 멀티턴으로 따로 재기
- 단일 턴 벤치마크만 믿지 말고 긴 컨텍스트와 prefix cache 적중률이 들어간 자체 트레이스로 측정하라.
- 공급자 선정 전에 실제 에이전트 로그를 재생해 지연시간을 비교하라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 붙여넣기 (원문 벤치마크 관점을 간이 측정으로 옮긴 버전)

너는 LLM 추론 성능 엔지니어다. 아래 조건으로 내 API 엔드포인트의 사용자당 처리 속도(tok/s/user)를 동시성별로 측정하는 파이썬 스크립트를 작성해줘.
- 엔드포인트: {{API 엔드포인트 또는 SDK}}
- 모델: {{모델명}}
- 입력 길이 약 {{8000}}토큰, 출력 약 {{1000}}토큰
- 동시성 1, 8, 32에서 각 {{20}}회 요청
- 스트리밍으로 첫 토큰 시간(TTFT)과 이후 tok/s를 분리해 기록
- 결과를 동시성별 중앙값·p95 표로 출력

스크립트를 만든 뒤, 결과 표를 해석하는 체크리스트도 3줄로 써줘.

이어서 해 볼 것: 같은 스크립트를 긴 대화 이력(멀티턴)으로 바꿔 prefix cache 효과를 비교해 보라.

Terminology

ASIC특정 용도에 맞춰 만든 전용 칩이다. 범용 GPU가 만능 공구라면 ASIC은 한 작업용 맞춤 공구다.

STP/MTPSTP는 한 번에 토큰 하나를 예측하고 MTP는 여러 개를 한꺼번에 예측한다. 한 글자씩 치느냐 자동완성으로 몇 단어씩 받느냐의 차이다.

투기적 디코딩작은 모델이 먼저 초안을 쓰고 큰 모델이 검증해 속도를 높이는 방식이다. 인턴이 초안을 쓰고 선배가 검토하는 구조와 비슷하다.

prefill-decode 분리프롬프트 읽기와 답변 생성을 서로 다른 칩 그룹에 맡기는 구조다. 주방에서 재료 손질과 조리를 나눠 맡기는 것과 같다.

HBM4칩 바로 옆에 붙는 고대역폭 메모리 규격이다. 창고와 작업대 사이 도로를 넓게 뚫은 것이다.

TCO장비 구매·전력·운영을 합친 총소유비용이다. 차 가격이 아니라 연료·정비까지 합친 값이다.