Gemini 3.5 Transcribe: 구글의 새 음성인식(STT) 모델

Who Should Read

음성 에이전트나 통화 분석 파이프라인에 쓸 STT 모델을 고르고 있는 백엔드 개발자

Core Mechanics

• 스트리밍과 녹음 파일용 API가 따로 있다
  • 실시간은 Live API의 gemini-3.5-transcribe-live 모델이다.
  • 녹음 파일은 Interactions API의 gemini-3.5-transcribe 모델이다.
  • 녹음 파일 쪽은 화자 구분과 단어 단위 타임스탬프를 지원한다.
• 말 고침과 추임새를 알아서 정리한다
  • "화요일, 아니 수요일" 같은 말 고침을 처리한다.
  • "음", "어" 같은 군말을 지우고 자동으로 서식을 맞춘다.
  • 사용자가 준 커스텀 어휘(전문 용어·고유 철자)에 맞춰 전사한다.
• WER은 스트리밍 4.0%, 비스트리밍 2.6%
  • Artificial Analysis 측정 평균 단어 오류율(WER)이다.
  • FLEURS 벤치마크 상위 언어 기준으로는 스트리밍 5.50%, 비스트리밍 5.04%다.
  • FLEURS에서 이전 모델 Chirp 3보다 좋아졌다고 한다.
• Chirp 3 대비 지연이 크게 줄었다
  • Artificial Analysis 기준 최종 전사까지 걸리는 시간이 70% 개선됐다.
  • 실시간 스트리밍은 1초 미만 지연이라고 소개한다.

Community Reactions

• 내 데이터로 돌리면 순위가 달라진다는 경험
  • 독일어·이탈리아어·영어가 섞인 사내 회의 음성으로 STT 20개 이상을 테스트한 사람이 있다.
  • 로컬 모델 중에는 Voxtral Mini 3b, 유료 API 중에는 ElevenLabs만 만족스러웠다고 한다.
• 정확도는 높지만 지연이 아쉽다는 의견
  • 실시간 번역기를 만든 사용자가 Soniox STT v5를 가장 좋게 봤다.
  • Gemini 3.5 Transcribe는 정확도는 다른 모델을 앞서지만 지연 개선이 더 필요하다고 했다.
  • 다른 사용자는 자기 벤치마크 사이트에서 지연과 정확도 모두 최상위권은 아니라고 했다.
• 군말 정리가 의미까지 지운다는 경험
  • Pixel 11 Pro에서 써 봤더니 "망설였지만 확인했어야 했다" 같은 문장의 앞부분이 매번 빠졌다고 한다.
  • 정확한 표현이 필요할 때는 문제라는 의견이다.
• Chirp는 환각이 있었다는 경험
  • 소음이나 무음 오디오를 넣으면 같은 문장을 계속 뱉어 요청 타임아웃까지 간 적이 있다고 한다.
  • 그래서 타임스탬프는 Whisper, 교정은 Gemini Flash로 돌아갔다고 한다.
• 가격과 화자 구분 한계를 지적하는 의견
  • 가격표를 정리한 댓글에 따르면 비스트리밍은 입력 분당 $0.003, 출력 분당 $0.002다.

How to Apply

• 내 음성 샘플 10개로 정확도부터 재 보기
  • 오늘 AI Studio에서 실제 통화·회의 녹음 10개를 gemini-3.5-transcribe에 넣어라.
  • 현재 쓰는 STT 결과와 나란히 두고 고유명사·숫자·언어 전환 구간의 오류를 세어라.
• 실시간과 배치 API를 용도별로 나누기
  • 음성 에이전트처럼 지연이 중요한 곳은 Live API의 gemini-3.5-transcribe-live로 붙여라.
  • 통화 분석처럼 정확도와 화자 구분이 필요한 곳은 Interactions API의 gemini-3.5-transcribe로 돌려라.
• 도메인 용어를 커스텀 어휘로 넣기
  • 제품명·약어·주문번호 형식을 목록으로 만들어 요청에 함께 전달하라.
  • 넣기 전후 오류율을 같은 샘플로 비교하라.
• 군말 제거가 의미를 깎는지 점검하기
  • 법적·감사 기록처럼 원문 보존이 필요한 파이프라인은 정리된 전사본을 그대로 믿지 말라.
  • 원문과 정리본을 샘플링해 문장 누락이 있는지 확인하라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5-transcribe/
• https://ai.google.dev/gemini-api/docs/pricing#gemini-3.5-tra...
• https://multilingualsttbench.com/
• https://fliptalk.ai