AI 칩 아키텍처 총정리: GPU부터 TPU·LPU까지

Who Should Read

LLM 추론 비용과 지연 시간이 왜 칩 구조에서 갈리는지 궁금한 백엔드·AI 서비스 개발자

Core Mechanics

• CPU 성능 증가율은 52%에서 3%로
  • 1980년대 단일 스레드 CPU 성능은 연 52%씩 늘었다.
  • 2018년에는 무어의 법칙과 데나드 스케일링이 끝나 연 3%였다.
  • 그래서 특정 용도 전용 칩(DSA)이 필요해졌다.
• Google TPU v1은 CPU의 29배
  • 신경망 추론 처리량이 CPU 대비 29배였다.
  • 에너지 효율은 CPU 대비 80배 좋았다.
• 병목은 계산이 아니라 메모리
  • AI 연산은 행렬곱이 대부분이다.
  • 계산 성능은 기하급수로 늘었지만 메모리 대역폭은 그렇지 못했다(메모리 벽).
  • 칩마다 데이터 이동 전략이 다르다.
• 디코드는 prefill보다 훨씬 메모리에 묶인다
  • prefill은 큰 행렬×행렬 곱이라 연산 밀도가 높다.
  • 디코드는 토큰 하나씩 만들어 행렬×벡터 곱이 되고 연산 밀도가 크게 떨어진다.
  • 토큰 하나마다 모든 가중치와 KV Cache를 읽어야 한다.
• 배칭과 투기적 디코딩은 연산 밀도를 회복시킨다

Community Reactions

• 큰 그림이 좋은 입문서라는 의견
  • 아는 아키텍처를 훑었을 때 LLM이 틀리기 쉬운 오류를 못 찾았고 이보다 나은 입문서는 못 봤다는 의견이 있었다.
  • 이 주제 깊이 읽기로 최고 수준이라는 평가도 있었다.
• AI가 쓴 글 같고 읽기 불편하다는 반론
  • 글이 AI 생성 같고 읽기 어렵다는 의견이 여러 개 있었다.
  • 폰트가 얇고 이탤릭 남용으로 읽기 힘들다는 불만도 있었다.
• 아날로그·뉴로모픽 등 대안에 관심이 쏠렸다
  • 인메모리 아날로그(EnCharge, Mythic), RRAM·MRAM 같은 연구 단계 기술이 더 흥미롭다는 의견이 있었다.
  • 수백 kW가 지능에 필요할 리 없다며 아날로그·뉴로모픽이 대체할지 묻는 댓글도 있었다.
• 노트북 NPU는 실제로 안 쓰인다는 경험
  • 동생이 산 AI 칩 노트북에서 작업 관리자의 NPU 사용률이 계속 0%였다는 경험담이 있었다.

How to Apply

• 서비스 지연을 prefill과 decode로 나눠 재기
  • 오늘 로그에서 입력 처리 시간(첫 토큰까지)과 토큰당 생성 시간을 따로 기록하라.
  • 긴 프롬프트 요청과 긴 출력 요청을 나눠 비교하라.
• 긴 컨텍스트 비용은 KV Cache 기준으로 점검하기
  • 동시 요청 수와 컨텍스트 길이를 늘려 가며 디코드 속도 변화를 측정하라.
  • 느려지면 대역폭 병목으로 보고 배치 크기를 조정하라.
• 자체 호스팅 추론은 배칭 설정부터 켜기
  • 서빙 엔진에서 continuous batching을 켰는지 확인하라.
  • 지원되면 speculative decoding을 켜서 처리량을 비교하라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (글 내용을 우리 서비스에 대입해 보는 프롬프트)

나는 LLM 추론 서비스를 운영한다. 아래 정보를 바탕으로 prefill과 decode 중 어디가 병목인지 진단해줘.

- 모델/GPU: {{모델과 GPU}}
- 평균 입력 토큰 수: {{입력 길이}}
- 평균 출력 토큰 수: {{출력 길이}}
- 동시 요청 수: {{동시성}}
- 현재 지표: 첫 토큰까지 시간 {{TTFT}}, 토큰당 시간 {{TPOT}}

전제: prefill은 연산 밀도가 높고(compute-bound), decode는 매 토큰마다 모든 가중치와 KV Cache를 읽어 메모리 대역폭에 묶인다. continuous batching과 speculative decoding은 decode의 연산 밀도를 올린다.

질문: 1) 병목은 어디인가 2) 시도할 설정 3가지를 우선순위로 3) 각각 어떤 지표로 효과를 확인할까

이어서 해 볼 것: 답에서 나온 설정 하나를 골라 실제 측정값 전후를 비교해 봐.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://www.jepeake.com/ai-chip-architectures