Cerebras가 조 단위 파라미터 모델을 웨이퍼 여러 장에 올리는 방법

Cerebras Deploys Trillion-Parameter AI Models

Oct 25, 2026•gmays•View Original

TL;DR Highlight

Kimi K3(3T)를 웨이퍼 59장 파이프라인에 올려 초당 1000~2000+ 토큰을 낸다

Who Should Read

LLM 추론 API를 골라 쓰면서 Cerebras가 어떻게 그 속도를 내는지 궁금한 백엔드 개발자

Core Mechanics

웨이퍼 한 장 메모리는 44GB뿐이다
- WSE-3T 웨이퍼 한 장의 온칩 메모리는 44GB다.
- 조 단위 모델은 가중치만으로 테라바이트가 필요하다.
Kimi K3는 레이어당 약 16GB다
- 3T 파라미터를 4비트로 저장하고 93개 레이어(선형 어텐션 69 + dense 24)로 나눈 값이다.
- KV cache는 8비트, 평균 요청 길이는 256k로 가정했다.
레이어 종류별로 웨이퍼 배치가 다르다
- dense(full-attention) 레이어는 KV cache 공간이 필요해 웨이퍼당 1개만 둔다.
- 선형 어텐션 레이어는 요청당 고정 크기 상태만 가져 웨이퍼당 2개(32GB)를 둔다.
- 합치면 35 + 24 = 총 59장이다.
가중치는 움직이지 않고 activation만 넘어간다
- 레이어가 통째로 한 웨이퍼에 들어가므로 웨이퍼끼리는 activation만 주고받는다.
- 연결은 RDMA over Ethernet이고 홉당 약 2마이크로초다.
조립 라인처럼 요청을 계속 채운다
- 각 웨이퍼가 파이프라인의 한 단계라서 단계마다 서로 다른 요청을 동시에 처리한다.
- 동시 요청 수는 대략 단계 수 × 마이크로배치 크기다.
동시 요청 상한은 KV cache 메모리가 정한다
- dense 레이어가 든 웨이퍼의 남은 SRAM이 KV cache 몫이다.
- 마이크로배치가 작으면 요청당 속도가 빨라지고 크면 전체 처리량이 늘어난다.

Community Reactions

커뮤니티는 낡은 모델 제공을 가장 많이 지적했다
- Cerebras에서 쓸 수 있는 건 GPT OSS 120b, Qwen 3.8 27B 정도라 쓸모가 적다는 의견이 있었다.
- 지연이 6~9개월이면 곧 더 나은 모델이 올라올 테니 기다리면 된다는 반론도 있었다.
빠르지만 정확도가 아쉽다는 경험담이 있었다
- GPT OSS 120b를 Cerebras에서 돌려 보니 엄청 빠르지만 대부분 틀렸다는 경험이 있었다.
- 풀 정밀도 벤치마크를 인용하고 실제로는 4비트 양자화로 서빙한다는 비판도 있었다.
저가 플랜은 신뢰성이 떨어진다는 의견이 있었다
- 저가 플랜은 영업용 맛보기라 자원을 나눠 쓰므로 안정적이지 않다는 의견이 있었다.
- 월 $1500 이상 플랜은 일부 용도에서 값어치가 있다는 의견도 있었다.
원문이 안 다룬 부분을 묻는 댓글이 있었다
- prefill을 이 인터커넥트에서 어떻게 빠르게 하는지 글에 없다는 지적이 있었다.
- 웨이퍼 59장은 아키텍처 문제처럼 보인다는 의견이 있었다.
- 20kW/웨이퍼, 1500 tok/s, 190 동시 요청을 가정해 약 4.1 J/token으로 계산한 댓글도 있었다.

How to Apply

지금 쓰는 모델의 속도 병목부터 재 보기
- 오늘 에이전트 한 작업을 돌려 LLM 생성 시간과 도구 호출·빌드 시간을 나눠 기록하라.
- 생성 시간 비중이 크면 고속 추론 제공자를 비교할 가치가 있다.
추론 제공자를 tok/s와 정확도로 같이 비교하기
- 같은 프롬프트 20개를 후보 제공자에 보내 실제 tok/s와 정답률을 함께 측정하라.
- 양자화 여부를 제공자 문서에서 확인해 표에 적어라.
긴 컨텍스트 동시 처리 한도 계산해 보기
- 서비스의 평균 컨텍스트 길이와 동시 요청 수를 적고 KV cache 메모리가 상한을 정하는지 따져라.
- 모델이 dense 어텐션인지 선형 어텐션인지에 따라 필요 메모리가 달라진다는 점을 감안하라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 붙여넣기 (원문 계산 방식의 간이 버전)

내가 쓰려는 모델 정보:
- 파라미터 수: {{파라미터 수}}
- 가중치 정밀도: {{비트 수}}
- 레이어 수: {{레이어 수}}
- 장치당 메모리: {{메모리 GB}}

다음 순서로 계산해 줘.
1. 가중치 총 크기와 레이어당 크기
2. 장치 한 개에 레이어가 몇 개 들어가는지
3. 필요한 장치 수
각 단계의 식과 가정을 함께 보여 줘.

이어서 해 볼 것: 요청 평균 길이 {{토큰 수}}일 때 요청당 KV cache 크기를 구하고, 남는 메모리로 동시 요청이 몇 개 가능한지 계산해 달라고 해 보자.

Terminology

WSE-3TCerebras의 웨이퍼 크기 칩이다. 칩 하나가 웨이퍼 한 장 전체라서 온칩 메모리를 넉넉하게 쓸 수 있다.

KV cache이미 처리한 토큰의 key/value를 저장해 둔 메모장이다. 요청이 길수록, 동시 요청이 많을수록 커진다.

선형 어텐션(linear attention)모든 토큰을 저장하지 않고 요청당 고정 크기 상태만 유지하는 어텐션이다. 컨텍스트가 길어져도 메모리가 늘지 않는다.

activation레이어가 계산해 다음 레이어로 넘기는 중간 결과다. 조립 라인에서 단계 사이를 오가는 반제품과 같다.

RDMA over EthernetCPU를 거치지 않고 장비 간에 메모리를 직접 주고받는 네트워크 방식이다.

마이크로배치파이프라인 한 단계가 한 번에 처리하는 소규모 요청 묶음이다.

Related Resources

Cerebras가 조 단위 파라미터 모델을 웨이퍼 여러 장에 올리는 방법

Cerebras Deploys Trillion-Parameter AI Models

Oct 25, 2026•gmays•View Original

TL;DR Highlight

Kimi K3(3T)를 웨이퍼 59장 파이프라인에 올려 초당 1000~2000+ 토큰을 낸다

Who Should Read

LLM 추론 API를 골라 쓰면서 Cerebras가 어떻게 그 속도를 내는지 궁금한 백엔드 개발자

Core Mechanics

웨이퍼 한 장 메모리는 44GB뿐이다
- WSE-3T 웨이퍼 한 장의 온칩 메모리는 44GB다.
- 조 단위 모델은 가중치만으로 테라바이트가 필요하다.
Kimi K3는 레이어당 약 16GB다
- 3T 파라미터를 4비트로 저장하고 93개 레이어(선형 어텐션 69 + dense 24)로 나눈 값이다.
- KV cache는 8비트, 평균 요청 길이는 256k로 가정했다.
레이어 종류별로 웨이퍼 배치가 다르다
- dense(full-attention) 레이어는 KV cache 공간이 필요해 웨이퍼당 1개만 둔다.
- 선형 어텐션 레이어는 요청당 고정 크기 상태만 가져 웨이퍼당 2개(32GB)를 둔다.
- 합치면 35 + 24 = 총 59장이다.
가중치는 움직이지 않고 activation만 넘어간다
- 레이어가 통째로 한 웨이퍼에 들어가므로 웨이퍼끼리는 activation만 주고받는다.
- 연결은 RDMA over Ethernet이고 홉당 약 2마이크로초다.
조립 라인처럼 요청을 계속 채운다
- 각 웨이퍼가 파이프라인의 한 단계라서 단계마다 서로 다른 요청을 동시에 처리한다.
- 동시 요청 수는 대략 단계 수 × 마이크로배치 크기다.
동시 요청 상한은 KV cache 메모리가 정한다
- dense 레이어가 든 웨이퍼의 남은 SRAM이 KV cache 몫이다.
- 마이크로배치가 작으면 요청당 속도가 빨라지고 크면 전체 처리량이 늘어난다.

Community Reactions

커뮤니티는 낡은 모델 제공을 가장 많이 지적했다
- Cerebras에서 쓸 수 있는 건 GPT OSS 120b, Qwen 3.8 27B 정도라 쓸모가 적다는 의견이 있었다.
- 지연이 6~9개월이면 곧 더 나은 모델이 올라올 테니 기다리면 된다는 반론도 있었다.
빠르지만 정확도가 아쉽다는 경험담이 있었다
- GPT OSS 120b를 Cerebras에서 돌려 보니 엄청 빠르지만 대부분 틀렸다는 경험이 있었다.
- 풀 정밀도 벤치마크를 인용하고 실제로는 4비트 양자화로 서빙한다는 비판도 있었다.
저가 플랜은 신뢰성이 떨어진다는 의견이 있었다
- 저가 플랜은 영업용 맛보기라 자원을 나눠 쓰므로 안정적이지 않다는 의견이 있었다.
- 월 $1500 이상 플랜은 일부 용도에서 값어치가 있다는 의견도 있었다.
원문이 안 다룬 부분을 묻는 댓글이 있었다
- prefill을 이 인터커넥트에서 어떻게 빠르게 하는지 글에 없다는 지적이 있었다.
- 웨이퍼 59장은 아키텍처 문제처럼 보인다는 의견이 있었다.
- 20kW/웨이퍼, 1500 tok/s, 190 동시 요청을 가정해 약 4.1 J/token으로 계산한 댓글도 있었다.

How to Apply

지금 쓰는 모델의 속도 병목부터 재 보기
- 오늘 에이전트 한 작업을 돌려 LLM 생성 시간과 도구 호출·빌드 시간을 나눠 기록하라.
- 생성 시간 비중이 크면 고속 추론 제공자를 비교할 가치가 있다.
추론 제공자를 tok/s와 정확도로 같이 비교하기
- 같은 프롬프트 20개를 후보 제공자에 보내 실제 tok/s와 정답률을 함께 측정하라.
- 양자화 여부를 제공자 문서에서 확인해 표에 적어라.
긴 컨텍스트 동시 처리 한도 계산해 보기
- 서비스의 평균 컨텍스트 길이와 동시 요청 수를 적고 KV cache 메모리가 상한을 정하는지 따져라.
- 모델이 dense 어텐션인지 선형 어텐션인지에 따라 필요 메모리가 달라진다는 점을 감안하라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 붙여넣기 (원문 계산 방식의 간이 버전)

내가 쓰려는 모델 정보:
- 파라미터 수: {{파라미터 수}}
- 가중치 정밀도: {{비트 수}}
- 레이어 수: {{레이어 수}}
- 장치당 메모리: {{메모리 GB}}

다음 순서로 계산해 줘.
1. 가중치 총 크기와 레이어당 크기
2. 장치 한 개에 레이어가 몇 개 들어가는지
3. 필요한 장치 수
각 단계의 식과 가정을 함께 보여 줘.

이어서 해 볼 것: 요청 평균 길이 {{토큰 수}}일 때 요청당 KV cache 크기를 구하고, 남는 메모리로 동시 요청이 몇 개 가능한지 계산해 달라고 해 보자.

Terminology

WSE-3TCerebras의 웨이퍼 크기 칩이다. 칩 하나가 웨이퍼 한 장 전체라서 온칩 메모리를 넉넉하게 쓸 수 있다.

KV cache이미 처리한 토큰의 key/value를 저장해 둔 메모장이다. 요청이 길수록, 동시 요청이 많을수록 커진다.

선형 어텐션(linear attention)모든 토큰을 저장하지 않고 요청당 고정 크기 상태만 유지하는 어텐션이다. 컨텍스트가 길어져도 메모리가 늘지 않는다.

activation레이어가 계산해 다음 레이어로 넘기는 중간 결과다. 조립 라인에서 단계 사이를 오가는 반제품과 같다.

RDMA over EthernetCPU를 거치지 않고 장비 간에 메모리를 직접 주고받는 네트워크 방식이다.

마이크로배치파이프라인 한 단계가 한 번에 처리하는 소규모 요청 묶음이다.

Cerebras가 조 단위 파라미터 모델을 웨이퍼 여러 장에 올리는 방법

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

Cerebras가 조 단위 파라미터 모델을 웨이퍼 여러 장에 올리는 방법

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources