Speko: 음성 AI 모델을 언어별로 벤치마크하고 하나의 API로 라우팅

Who Should Read

음성 에이전트에 쓸 STT·TTS 모델을 고르느라 벤더별 수치를 일일이 비교하는 백엔드 개발자

Core Mechanics

• 음성 모델용 라우터를 내세웠다
  • Speko는 STT, LLM, TTS를 router.speko.dev의 API 하나로 묶는다고 소개한다.
  • 모델 선택은 벤치마크를 바탕으로 한 관리형 라우팅이 맡는다.
• 언어별 벤치마크가 핵심이다
  • 17개 언어에서 4개의 서로 다른 모델이 1위를 한다고 한다.
  • 모든 언어에서 최고인 단일 모델은 없다는 주장이다.
• 영어만 측정된 모델이 많다
  • 53개 중 10개는 영어로만 측정됐다.
  • 영어 표 1위 모델을 포함해 다른 언어 순위는 알 수 없다고 적혀 있다.
• 정확도·지연을 같이 본다
  • STT 표에 대화체 WER(단어 오류율)과 finalize 지연(p50, ms)이 나란히 나온다.
  • Qwen3-ASR Fast는 WER 12.0%, 33ms로 맨 위에 올라 있다.
• LiveKit·Pipecat·MCP 연동을 제공한다
  • LiveKit용 Python 서비스에서 STT, LLM, TTS를 credential_source="auto"와 model="auto"로 설정한다.
  • Claude에는 claude mcp add 명령으로 MCP 서버를 붙인다.

Community Reactions

• 지연은 모델이 아니라 전송 방식 문제라는 경험
  • 벤더가 느리다고 한 TTS를 스트리밍으로 다시 재 보니 비스트리밍 5초가 약 0.9초였다는 경험이 올라왔다.
  • 전송 방식별 측정이 필요하다는 의견이다.
• 비영어에서 빠른 티어가 무너진다는 경험
  • flash/turbo급 모델이 영어에서는 괜찮았지만 일본어에서는 문장 뜻이 바뀌는 오류를 냈다는 경험이다.
  • 벤더 문서의 두 티어 동일 주장이 일본어에서는 틀렸다고 한다.
• 단가표 대신 실효 비용을 봐야 한다는 의견
  • 캐시 적중률과 컨텍스트 분포에 따라 같은 정가의 스택도 비용이 몇 배 달라진다는 지적이다.
  • 최적화기가 이를 모델링하는지 질문이 나왔다.
• 3단 구성 vs 엔드투엔드 논쟁
  • 업계가 지연 때문에 end-to-end 모델로 간다며 라우팅 가치가 의심스럽다는 반론이 있었다.
  • 대신 자동 평가 중심의 'LM Arena for voice'로 포지셔닝하라는 제안이다.
  • 반대로 DeepSeek-V4-Pro와 작은 STT 조합이 분당 비용 약 10배 저렴했다(300ms 지연 예산 내)는 경험도 있었다.

How to Apply

• 내 서비스 언어로 STT 후보 3개 직접 재 보기
  • 실제 사용자 음성 샘플 10개를 준비해 후보 모델에 돌리고 WER을 비교하라.
  • 영어 벤치마크 순위를 그대로 믿지 말고 서비스 언어 결과로 결정하라.
• TTS 지연을 스트리밍 경로로 다시 측정하기
  • 비스트리밍 호출로 탈락시킨 모델을 스트리밍으로 재측정하라.
  • 실제 배포할 전송 방식과 같은 조건에서 비교하라.
• 모델 비교표에 실효 비용 열 추가하기
  • 정가 대신 프롬프트 중 고정 접두사 비율을 반영해 분당 비용을 계산하라.
  • 캐시 적중률별로 두세 가지 시나리오를 나눠 적어라.
• LiveKit 에이전트에 Speko Gateway 붙여 보기
  • 개발 환경에서 STT·LLM·TTS를 auto로 설정하고 라우팅 결과를 기존 고정 모델과 비교하라.

Try It

# Claude 또는 ChatGPT에 그대로 붙여넣기 (음성 모델 선택 기준 점검용 프롬프트)

우리 서비스는 {{서비스 설명}}이고, 사용자 언어는 {{언어}}야.
현재 STT는 {{STT 모델}}, TTS는 {{TTS 모델}}, LLM은 {{LLM 모델}}을 쓴다.

아래 기준으로 모델 선택 점검표를 만들어 줘.
1. 영어가 아닌 {{언어}}에서 측정해야 할 항목(WER, 고유명사, 자기정정 처리)
2. 스트리밍 경로 기준 지연 측정 방법
3. 캐시 적중률별 실효 비용 계산식
4. 후보 모델 3개를 비교할 테스트 샘플 10개의 구성

이어서 해 볼 것: 점검표대로 측정한 결과를 표로 붙여 주면 어떤 조합이 맞는지 같이 비교해 줘.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://speko.ai/
• https://benchmarks.speko.ai/turntaking
• https://livekit.com/blog/introducing-livekit-inference
• https://github.com/fastrepl/anarlog