GPT-5.6 Sol Ultrafast: Cerebras로 최대 750 tokens/s

TL;DR Highlight

Cerebras 칩으로 GPT-5.6 Sol을 돌렸더니 최대 750 tokens/s가 나왔다

Who Should Read

코딩 에이전트나 LLM API 응답 지연 때문에 속도와 품질 사이에서 고민하는 백엔드 개발자

Core Mechanics

Ultrafast는 새 서비스 등급이다
- OpenAI API에 먼저 나오는 새 service tier이고 Cerebras가 구동한다.
- 지금은 일부 고객에게만 limited preview로 열려 있고 용량이 늘면 확대된다.
출력 속도가 최대 750 tokens/s
- 품질 저하 없이 나온 속도라고 Cerebras는 밝혔다.
- Artificial Analysis 공개 속도 기준으로 Fable 5의 11배, Fast 모드의 Opus 4.8의 5배다.
HLE 2,500문항을 약 7배 빠르게 풀었다
- GPT-5.6 Sol Ultrafast는 11시간 11분, Claude Fable 5는 78시간 27분이 걸렸다.
- 정확도는 비슷했다고 하며, 둘 다 xhigh reasoning으로 Codex와 Claude Code에서 돌렸다.
GDP-Val에서 end-to-end 5.6배 빨라졌다
- 일반 GPT-5.6 Sol 대비 속도 향상이고 품질 저하는 없었다고 한다.
- medium reasoning으로 Codex에서 측정했다.
속도의 비밀은 메모리 이동을 없앤 것이다
- GPU는 모델 가중치를 칩 안팎으로 계속 옮겨야 해서 메모리 대역폭이 병목이다.
- Cerebras는 웨이퍼 크기 칩마다 44 GB SRAM을 넣어 가중치를 칩 안에 둔다.

Community Reactions

속도가 곧 품질이라는 의견
- 사람처럼 검토와 수정을 여러 번 돌리면 답이 훨씬 좋아지는데 시간 때문에 안 한다는 의견이 있었다.
- 응답이 밀리초로 오면 이 반복 검토를 하네스에 기본으로 넣을 수 있다는 주장이다.
토큰이 빨라도 전체가 빨라지진 않는다는 반론
- e2e 테스트 1시간, typecheck 10분, 큰 코드베이스 grep은 그대로라는 의견이 있었다.
- HLE는 도구 호출이 없는 벤치마크일 것이라 실제 업무와 다르다는 지적도 있었다.
성능 동일 여부와 가격이 불명확하다는 의견
- 원문과 OpenAI 글 모두 일반 Sol과 성능이 같다고 딱 잘라 말하지 않는다는 지적이 있었다.
- 가격 정보가 없다는 점도 여러 댓글에서 나왔다.
쿼터가 빨리 닳을 것이라는 경험담
- Codex Fast는 이미 1.5배 빠르고 2배 비싸서 14배 빠르면 한 세션에 쿼터가 끝날 것 같다는 의견이 있었다.
- 반대로 토큰당 가격이 같다면 구독을 더 빨리 써도 기꺼이 낼 만하다는 댓글도 있었다.

How to Apply

지금 쓰는 에이전트에 자동 셀프리뷰 단계 넣기
- 오늘 30분 안에 작업 완료 직후 평가 기준을 만들고 그 기준으로 검토 후 개선하라는 프롬프트를 한 번 더 보내 보라.
- 개선 폭이 줄어들 때까지 반복 횟수와 걸린 시간을 기록하라.
에이전트 병목을 단계별로 시간 재기
한 작업에서 LLM 생성 시간과 테스트, typecheck, grep 시간을 따로 로깅하라.
- LLM 생성 비중이 큰 작업만 빠른 등급 후보로 표시하라.
빠른 등급과 Standard 등급을 작업별로 나눠 라우팅하기
- 장애 분석처럼 급한 작업은 빠른 등급에, 대량 반복 작업은 Standard에 보내도록 분기하라.
- Ultrafast는 limited preview이므로 접근 권한이 생길 때까지 설정 값으로 분리해 두라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT 대화에서 복잡한 작업을 끝낸 직후 붙여넣기 (원문 댓글의 셀프리뷰 반복 방법)

방금 쓴 답변을 검토해 줘. 먼저 이 작업에 맞는 평가 기준 목록을 네가 만들고, 그 기준으로 답변을 채점해 줘. 그 결과를 바탕으로 필요하면 더 나은 답변을 다시 써 줘.

작업 내용: {{작업 설명}}

이어서 해 볼 것: 같은 프롬프트를 개선 폭이 줄 때까지 반복하고, Claude Code라면 "sub-agents로 수렴할 때까지 검토와 개선을 반복해"라고 지시해 보기

Terminology

Ultrafast modeOpenAI API의 새 서비스 등급이다. 같은 모델을 Cerebras 하드웨어에서 더 빠르게 돌려 주는 빠른 차선 같은 것이다.

Wafer-Scale Engine웨이퍼 하나 크기의 거대한 칩이다. 작은 칩 여러 개를 잇는 대신 한 판에 다 올린 구조다.

SRAM칩 안에 있는 빠른 메모리다. 책상 위에 자료를 펴 두는 것과 같아서 창고에서 꺼내오는 시간이 없다.

Humanity's Last Exam (HLE)박사급 전문가나 풀 법한 2,500문항짜리 어려운 벤치마크다.

GDP-Val경제적 가치가 있는 지식 업무 작업을 평가하는 벤치마크다.