Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

TL;DR Highlight

Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

Who Should Read

음성·채팅 지원이나 브라우저 에이전트처럼 지연시간에 민감한 LLM 서비스를 운영하며 더 빠르고 싼 모델을 찾는 백엔드 개발자

Core Mechanics

Mercury 3는 diffusion 방식 LLM이다
- Inception이 공개한 모델로, 자기네 말로는 지금까지 나온 diffusion 기반 LLM 중 가장 성능이 좋다.
- 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5보다 낫고 4~8배 빠르다고 주장한다.
속도는 NVIDIA GPU에서 1,068 tok/s
- 초당 1,000토큰 이상이라고 밝혔다.
- 컨텍스트는 1M 토큰이며 Mercury 2.5의 260K에서 늘었다.
Mercury 1 대비 40배 커졌는데 속도는 그대로
- 전체 파라미터를 40배 이상 키웠다.
- 여러 표준 벤치마크에서 지능이 Mercury 1(mini) 대비 3배 올랐다고 한다.
- 자기회귀 모델에서 통했던 스케일링 법칙이 diffusion에도 통한다는 게 회사 주장이다.
가격은 입력 $0.20, 출력 $0.70 (100만 토큰당)
- 출시 기념으로 50% 할인해 입력 $0.10, 출력 $0.35다.
- 캐시된 토큰은 입력 가격에서 90% 할인된다.
에이전트·교육·검색·지원에서 얼리 액세스 사례가 나왔다
- TinyFish는 Mind2Web 실사이트 50개 과제 중 50%를 완료했고, GPT-6.1-Sol보다 significantly 많다고 밝혔다.

Community Reactions

직접 써 보니 빠르고 쓸 만했다는 경험
- Swift UI OCR·번역 앱을 8~9단계 계획으로 끝까지 만들었고 좌표 계산만 한 번 고쳤다는 후기다.
- 약 45분 작업에 2,600만 토큰(비캐시 130만)을 160TPS 정도로 썼다고 한다.
실측 속도는 광고보다 낮았다는 경험
- 처음엔 느리다가 300~400tps 정도가 나왔다는 사용자가 있었다.
- OpenRouter에서 deepseek v4.1 flash가 지연시간과 성능에서 더 낫고 Mercury의 TTFT가 느리다는 의견도 있었다.
가격이 놀랍다는 반응과 할인 종료 후를 걱정하는 의견
- Haiku 5.5는 100k 컨텍스트 이상에서 5배 비싸지는데 Mercury 3는 1M까지 같은 가격이라는 의견이 있었다.
- 할인이 끝나도 쓸모 있을지 궁금해하는 댓글도 있었다.
비교 방식과 구조에 대한 의문
- Mercury와 Luna는 학습 데이터와 후처리가 달라 공정 비교인지 모르겠다는 의견이 있었다.
- 비선형으로 토큰을 만드는 모델은 추론 과정을 파악하기 어렵지 않느냐는 질문도 있었다.
- 멀티모달과 코딩 플랜 구독이 없다는 아쉬움도 나왔다.

How to Apply

기존 호출에 base_url만 바꿔 지연시간 비교하기
- 오늘 OpenAI 호환 클라이언트에서 base_url과 모델명을 Mercury 3로 바꿔 보자.
- 지금 쓰는 빠른 모델과 같은 프롬프트 20개로 TTFT와 전체 응답시간을 각각 재라.
- 무료 100M 토큰으로 충분히 돌려 볼 수 있다.
지연에 민감한 단계만 Mercury로 분기하기
- 음성·채팅 응답, 힌트 생성, 검색 후 요약처럼 사용자가 기다리는 단계만 골라라.
- 어려운 추론 단계는 기존 모델에 그대로 두고 단계별로 비교하라.
에이전트 하네스에서 품질과 비용 같이 측정하기
- 브라우저·로그 분석 에이전트에 모델만 교체하고 성공률, 단계 수, 토큰량을 기록하라.
- 원문 사례처럼 같은 단계 수에서 성공률과 토큰당 비용을 비교하라.
할인 종료 가격 기준으로 비용 다시 계산하기
- 월 입력·출력 토큰량에 정가($0.20/$0.70)를 곱해 기존 모델과 비교하라.
- 캐시 가능한 프롬프트는 캐시 90% 할인을 반영하라.

Try It

복사해서 바로 해보기

# 터미널에서 실행 (OpenAI 호환 API 지연시간 측정 스크립트, 원문에 base_url·모델명이 없어 직접 채워야 함)

pip install openai

import os, time
from openai import OpenAI

BASE_URL = "{{Inception API 문서의 base_url}}"
MODEL = "{{문서에 나온 Mercury 3 모델명}}"
client = OpenAI(base_url=BASE_URL, api_key=os.environ["INCEPTION_API_KEY"])

prompt = "{{지금 쓰는 프롬프트}}"
start = time.time()
first = None
for chunk in client.chat.completions.create(model=MODEL, messages=[{"role": "user", "content": prompt}], stream=True):
    if first is None and chunk.choices and chunk.choices[0].delta.content:
        first = time.time() - start
print("TTFT:", first, "total:", time.time() - start)

이어서 해 볼 것: 같은 스크립트로 기존 모델 base_url과 모델명을 넣고 프롬프트 20개로 중앙값을 비교해 보자.

Terminology

diffusion LLM글자를 앞에서부터 하나씩 쓰는 대신 흐릿한 초안을 여러 번 다듬어 문장을 완성하는 방식의 언어 모델이다.

자기회귀 모델앞 토큰을 보고 다음 토큰을 하나씩 이어 쓰는 일반적인 LLM 방식이다. 타자기로 한 글자씩 치는 것과 비슷하다.

TTFT/TTFAT요청 후 첫 토큰(또는 첫 답변 토큰)이 나오기까지의 시간이다. 음성에서는 전체 시간보다 이 값이 체감에 크다.

스케일링 법칙모델을 키우면 성능이 예측 가능하게 오른다는 경험칙이다.