OpenTPU: AI가 설계한 오픈소스 AI 가속기

Who Should Read

LLM 추론이 하드웨어에서 어떻게 돌아가는지 바닥부터 보고 싶은 백엔드·AI 서비스 개발자

Core Mechanics

• AI가 만든 칩에서 실제 모델이 돈다
  • Kintex-7 PCIe 카드에서 실제 가중치의 모델 10종이 돌아간다.
  • 카드가 내놓는 토큰은 시뮬레이터와 비트 단위로 같다.
• 디코딩은 DRAM 대역폭이 좌우한다
  • LFM2.5-230M int8은 디코드 59.0 tok/s, DRAM 14.5GB/s로 피크의 85%다.
  • 디코딩은 DRAM에 묶여 있고 LiteDRAM은 DDR3 피크의 82-85%를 읽는다.
• 4비트 가중치로 속도를 40% 이상 올렸다
  • FP4 값에 2단계 블록 스케일을 쓰고 가중치당 4.25비트다.
  • 토큰당 바이트가 약 1/3 줄고 디코드가 Qwen3.5 40%, Qwen3·LFM2 45% 빨라졌다.
  • 대신 perplexity(모델이 다음 단어를 얼마나 헷갈려 하는지의 지표)는 측정 가능한 수준으로 나빠진다.
• 카드보다 큰 MoE 모델도 돌린다
  • Qwen3.5-35B-A3B(34.7B 파라미터)는 3.95 tok/s를 낸다.
  • 필요한 expert만 호스트 저장소에서 PCIe로 복사하며 토큰당 153MB를 스트리밍한다.
• 구조를 일부러 단순하게 만들었다
  • 캐시와 숨은 스케줄링이 없고 모든 데이터 이동이 명령어다.

Community Reactions

• 프론티어 모델을 칩에 굽지 않는 이유가 궁금하다는 질문
  • 경제성과 물리적 한계를 모르겠다는 소프트웨어 개발자의 질문이었다.
• "AI가 자체 추론 하드웨어를 개발했다"는 표현은 과장이라는 반론
  • 사람이 LLM에게 하드웨어 설계용 시뮬레이션 환경을 만들게 했다는 주장이다.
  • 이후 사람의 프롬프트에 따라 LLM이 제약 조건에 맞춰 설계를 최적화한 것이라고 했다.
• 최신 하드웨어 대비 성능이 실제 개선인지 묻는 의견
  • 사람이 설계한 최신 하드웨어와의 비교가 없다는 지적이다.
  • 약 $300짜리 FPGA 보드로 보이는데 하드웨어 정보를 아는 사람이 있느냐는 질문도 있었다.
• 숙련자가 LLM의 방향을 잡아 주는 게 중요하다는 의견
  • 취향 있는 방향 제시에서 얻는 게 크다는 의견이다.
• RTL을 열어 보니 LLM에는 정확한 부동소수점 연산이 필요 없다는 걸 배웠다는 경험

How to Apply

• otpu-chat을 시뮬레이터로 돌려 보기
  • 오늘 pip install -e . 후 LFM2.5-230M을 받아 otpu-chat --model lfm2 --backend isa를 실행하라.
  • 카드 없이 노트북에서 가속기 구조를 체험할 수 있다.
• 내 모델의 토큰당 바이트부터 계산하기
  • 디코드 속도는 DRAM 대역폭에 묶이므로 모델 크기를 대역폭으로 나눠 상한을 구하라.
  • 4비트 양자화를 적용하기 전에 이 상한과 실측치를 비교하라.
• 양자화 전에 golden 비교 검증 넣기
  • tools/validate.py처럼 fp32 기준 출력과 top-1 일치율·KL을 측정하는 검증 스크립트를 만들어라.
  • 양자화 설정을 바꿀 때마다 이 수치를 기록하라.
• Lens 트레이스 읽는 법 익히기
  • docs/lens.md를 따라 Qwen3 디코드 trace를 열어라.
  • roofline에서 연산·DRAM 대기를 구분해 병목을 찾아라.

Try It

# 터미널에 붙여넣기 (카드 없이 시뮬레이터로 실행, Verilator는 RTL 테스트에만 필요)

pip install -e .
pip install pytest torch transformers

hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M
otpu-chat --model lfm2 --backend isa

# 이어서 해 볼 것: 같은 모델의 시뮬레이터 출력을 CPU golden과 비교
python3 tools/validate.py --model lfm2 --wformat fp4 --head-format int8

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://github.com/FeSens/openTPU
• https://openai.com/index/jalapeno-first-results/
• https://github.com/Jonahss/openav1