Cerebras에 Qwen 3.8 27B 등장, 약 1850 tokens/s
Qwen 3.8 27B available on Cerebras at 1500 tokens/s
TL;DR Highlight
Cerebras가 Qwen 3.8 27B를 약 1850 tokens/s로 제공하지만 한도와 비용이 걸림돌
Who Should Read
코딩 에이전트나 서브 에이전트에 초고속 추론 API를 붙이려는 LLM 백엔드 개발자
Core Mechanics
- Cerebras 공유 추론에 Qwen 3.8 27B가 올라왔다
- 모델 ID는 qwen-3.8-27b, 파라미터는 27 billion이다.
- 컨텍스트는 무료 64k, 유료 128k다.
- 속도는 카탈로그상 약 1850 tokens/s다
- 같은 표의 OpenAI GPT OSS(gpt-oss-120b)는 약 3000 tokens/s다.
- 제목의 1500 tokens/s는 원문 문서가 아니라 글 제목에 적힌 수치다.
- 공유 추론 모델은 가지치기(pruning) 안 한 원본이다
- pruning은 레이어나 전문가 모듈을 영구 제거해 모델 구조를 바꾸는 방식이다.
- REAP 가지치기 모델은 Hugging Face에만 공개하고 API로는 서빙하지 않는다.
- 양자화는 저장할 때만 선택적으로 쓴다
- 가중치는 16/8/4비트로 저장하고, 민감한 레이어는 풀 정밀도로 저장해 실행 중에 복원한다.
- activation, attention, kv cache는 양자화하지 않고 풀 정밀도로 유지한다.
- 기존 모델 ID의 가중치는 몰래 바꾸지 않겠다고 밝혔다
- 나중에 pruning을 도입하면 별도 모델 ID의 변형으로 낼 계획이라고 적혀 있다.
Community Reactions
- 코딩에는 비용이 폭발한다는 경험
- 같은 작업을 DeepSeek-V4-Flash로 돌리면 172초에 $0.024였다는 댓글이 있다.
- Qwen 3.8 27B는 450,000 TPM 한도를 약 90초 만에 채우고 $1.10를 썼다는 경험이다.
- 캐시된 토큰도 한도에 포함된다는 설명이다.
- 캐시 할인이 없어 세션이 길수록 불리하다는 의견
- pi로 커밋 리뷰를 해 보니 Cerebras는 $1.60에 5.1분, p50 890 tok/s, TTFT 0.64초였다는 경험이다.
- OpenRouter 평균으로는 $0.29에 14.4분이라, 5.6배 비싸고 2.8배 빠르다는 계산이다.
- 빠른 출력이 병목을 해결하지는 못한다는 경험
- 입력 읽기는 빠르지 않았고 툴 호출 실패가 DS4보다 잦았다는 댓글이다.
- 결국 대기 시간은 비슷했다는 후기다.
- 한도와 계정 문제가 크다는 불만
- 공개 엔드포인트 150k TPM 한도로는 코딩 작업에 부족하다는 의견이다.
- 128k 컨텍스트라 코딩 에이전트에서 compaction이 잦고, 서브 에이전트가 윈도우를 넘겨 오류가 났다는 경험도 있다.
How to Apply
- 지금 쓰는 에이전트 작업 하나를 Cerebras로 돌려 비용 재기
- 오늘 같은 작업을 현재 모델과 Qwen 3.8 27B로 각각 돌려라.
- 총 비용, 소요 시간, 429 발생 횟수를 기록해라.
- 캐시된 토큰이 한도와 비용에 어떻게 잡히는지 확인해라.
- 짧은 컨텍스트 서브 에이전트에만 붙이기
- 컨텍스트가 64k/128k로 제한되므로 긴 세션용 메인 에이전트에는 쓰지 마라.
- 코드 리뷰나 짧은 질의처럼 입력이 작은 단계에만 라우팅해라.
- 429 재시도와 컨텍스트 상한 처리 넣기
- 429 응답에 백오프 재시도를 추가해라.
- 요청 전에 프롬프트 토큰 수를 재서 64k/128k를 넘으면 다른 모델로 보내라.
Try It
# Claude나 ChatGPT에 붙여넣는 프롬프트: 모델 도입 전 비용·한도 점검표 만들기
나는 코딩 에이전트에 Cerebras의 qwen-3.8-27b를 붙일지 검토 중이야.
조건: 컨텍스트 무료 64k/유료 128k, 속도 약 1850 tokens/s, 캐시 할인 없음, TPM 한도 있음(캐시 토큰도 포함).
우리 워크로드:
- 세션당 평균 입력 토큰: {{평균 입력 토큰}}
- 세션당 평균 출력 토큰: {{평균 출력 토큰}}
- 분당 요청 수: {{RPM}}
- 현재 사용 모델과 단가: {{모델/단가}}
위 정보로 (1) 분당 토큰 사용량이 TPM 한도를 넘는지, (2) 캐시 없을 때 현재 모델 대비 비용 차이, (3) 컨텍스트 초과 위험 구간을 표로 계산해줘.
이어서 해 볼 것: 계산 결과에서 Cerebras로 보낼 단계와 기존 모델에 남길 단계를 나눠 라우팅 규칙을 써줘.Terminology
관련 논문
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓
Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터
GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터