초고속 AI 추론 칩의 등장: 17,000 tokens/sec를 향한 길

TL;DR Highlight

Taalas가 AI 모델을 실리콘에 직접 새겨 넣어 17,000 tokens/sec 추론을 달성했으며, 현재 최고 속도 대비 10배 빠르다.

Who Should Read

AI 추론 서비스의 레이턴시와 인프라 비용에 고민이 많은 ML 엔지니어 또는 AI 스타트업 기술 의사결정자. 특히 로보틱스, 실시간 에이전트 파이프라인처럼 밀리초 단위 응답이 필요한 시스템을 설계하는 개발자.

Core Mechanics

Taalas는 AI 모델 가중치를 ASIC(특정 용도용 반도체)에 물리적으로 새기는 '하드코어 모델' 방식을 채택했다. 소프트웨어로 돌리는 GPU 기반 추론과 달리 웨이트가 마스크 ROM에 고정되기 때문에 추론 속도가 극적으로 올라간다.
첫 번째 칩에서 Llama 3.1 8B 모델을 3-bit 양자화로 실행해 17,000 tokens/sec를 달성했다. 현재 최고 수준(약 1,700 tokens/sec) 대비 약 10배 빠른 속도다.
하드웨어 사양은 TSMC 6nm 공정, 880mm² 다이, 53B 트랜지스터 규모다. 댓글 분석에 따르면 8B q3 모델을 수용하기 위해 칩 10개를 연결하는 구성(총 2.4kW)으로 추정된다.
제조 비용은 기존 GPU 대비 20분의 1, 토큰당 전력 소비는 10분의 1을 목표로 한다. 이 수치가 실현되면 per-token 비용 구조를 근본적으로 바꿀 수 있다.
핵심 기술은 '1 트랜지스터로 4-bit 곱셈'을 구현하는 마스크 ROM 방식이다. 트랜지스터의 구동 강도(fin 개수, 임계 전압)가 곧 저장된 가중치이며, 입력 활성화를 펄스 폭/카운트로 인코딩해 전류 적분으로 곱셈을 수행한다.
가중치가 실리콘에 고정되기 때문에 모델 업데이트가 불가능하다는 단점이 있다. 2026년 봄에 '중간 크기 thinking 모델'을 같은 하드웨어로 출시 예정이며, 다음 세대 하드웨어는 FP4 정밀도를 지원할 계획이다.
12개월 내에 프론티어급 LLM을 자사 칩에서 구동하겠다는 로드맵을 공개했다. 창업자들은 AMD와 Nvidia 합산 25년 경력 보유자이며, 현재까지 2억 달러 VC 투자를 유치했다.
현재 데모 사이트(chatjimmy.ai)에서 실제 속도를 체험할 수 있다. 엔터 키를 누르는 순간 응답이 나타나는 수준으로, 기존 AI 챗봇의 스트리밍 타이핑 방식과 체감 차이가 크다.

Evidence

많은 댓글에서 모델 품질(8B Llama의 할루시네이션, 오답)을 비판했지만, 이는 핵심을 놓친 반응이라는 반론도 나왔다. 이 데모의 목적은 Llama 3.1 8B의 정확도를 보여주는 게 아니라 전용 하드웨어의 추론 속도를 증명하는 것이기 때문이다.
한 유저가 캐싱 의혹을 제기했다. '태양계에서 가장 큰 행성은?'을 물었더니 엉뚱한 답변이 돌아왔다는 경험을 공유했는데, 응답 내용이 이전 질문의 캐시처럼 보였다고 했다.
칩 구조에 대한 기술적 분석이 이어졌다. N6 공정 850mm² 다이에서 SRAM만으로는 최대 3GB밖에 확보할 수 없어 8B q3 모델을 단일 칩에 담기 어렵다는 분석과 함께, 10개 칩을 연결해 2.4kW로 운용하는 구성일 것이라는 역산이 나왔다.
'이 속도면 AI 평가 방법론 자체가 바뀌어야 한다'는 흥미로운 관점도 있었다. MMLU 같은 정적 벤치마크는 인간 속도 기반으로 설계됐는데, 17k tokens/sec라면 기존 벤치마크 전체 시간 안에 수만 건의 적대적 에이전트 상호작용을 돌릴 수 있어 평가 패러다임이 달라진다는 주장이다.
모델이 실리콘에 고정된다는 점에서 사업 모델에 대한 의문도 제기됐다. 'AI 모델 교체 주기가 몇 달인데, 칩을 계속 새로 사야 하는가'라는 질문과 함께, 오히려 프론티어 랩들이 경쟁사의 칩에서 가중치를 전자현미경으로 추출하는 역공학 문제가 새로운 업계 이슈가 될 것이라는 예측도 나왔다.

How to Apply

밀리초 단위 응답이 필수인 실시간 에이전트 파이프라인(로보틱스 제어, 게임 NPC, 실시간 콘텐츠 필터링 등)을 개발 중이라면, Taalas API가 상용화될 때 소형 모델용 레이턴시 집약적 레이어에 적용을 검토해볼 수 있다.
현재 당장 적용하고 싶다면 Groq의 추론 API로 유사한 고속 소형 모델 경험을 미리 해볼 수 있다. OpenRouter 통계에 따르면 Llama 3.1 8B는 이미 일주일 22% 성장으로 1일 100억 토큰이 처리될 만큼 좁은 도메인 작업에서 충분히 유용하다.
에이전트 파이프라인 설계 시 '17k tokens/sec로 중간급 모델을 30번 반복 개선하는 게 1번의 프론티어 모델 호출보다 나은가'라는 아키텍처 질문을 이미 던져볼 수 있다. 단일 최고 성능 모델 의존에서 다단계 경량 모델 파이프라인으로의 전환 실험에 참고하자.

Terminology

ASIC특정 용도에만 최적화된 반도체 칩. GPU처럼 범용이 아니라 딱 하나의 작업만 극단적으로 잘 하도록 설계된다.

마스크 ROM칩 제조 시 패턴을 물리적으로 새겨 넣어 데이터를 저장하는 방식. 제조 후 내용을 바꿀 수 없지만, 읽기 속도가 극도로 빠르고 밀도가 높다.

양자화모델 가중치의 숫자 정밀도를 낮추는 기법. 원래 32비트 부동소수점을 4비트 정수로 줄이면 메모리와 연산량이 크게 줄지만 정확도가 약간 떨어질 수 있다.

KV CacheLLM이 이전 토큰들의 Key-Value 값을 메모리에 저장해 반복 계산을 피하는 방식. 긴 대화나 긴 문서를 처리할 때 속도에 큰 영향을 준다.

reticle sized chip반도체 제조 장비(스테퍼)가 한 번에 노광할 수 있는 최대 면적(약 850mm²)에 가까운 크기의 칩. 수율이 낮아지는 위험을 감수하고 최대 밀도를 추구하는 설계다.

FP44비트 부동소수점 형식. 기존 FP16/BF16보다 훨씬 낮은 정밀도지만 하드웨어 효율이 극적으로 높아지며, 최근 AI 추론 최적화의 핫토픽이다.