Microsoft Decision-1: Qwen3.5-9B 기반 결정 점수 전용 모델

Who Should Read

티켓 라우팅이나 에이전트 pass/fail 검증에 비싼 범용 LLM을 쓰며 비용과 지연이 부담인 백엔드 개발자

Core Mechanics

• 글을 쓰지 않고 선택지 점수만 낸다
  • Microsoft-Decision-1은 내용과 미리 정한 선택지를 받아 선택지별 보정된 확률을 한 번의 forward pass로 돌려준다.
  • 라우팅, 분류, 우선순위, 검증, 워크플로 제어가 핵심 용도다.
• 베이스는 Qwen3.5-9B다
  • Alibaba의 open-weight 모델을 빠른 단일 패스 결정 점수용으로 post-training했다.
  • Microsoft는 나중에 MAI와 OpenAI 모델로 rebase하겠다고 밝혔다.
• 속도·정확도는 자사 벤치 기준이다
  • 36개 벤치마크, 약 150,000개 held-out 질문 비교에서 정확도 83.5%라고 주장한다.
  • GPT-6 Sol 대비 P50 지연이 약 35배 낮다고 하지만 둘은 하는 일이 다르다.
  • 독립 재현 결과는 글에 없다.
• 입력 변동에 안정적이라는 수치도 있다
  • 작은 입력 변화에도 결정이 유지되는 비율이 98.7%라고 Microsoft가 밝혔다.
  • 사소한 말 바꿈에 라우팅이 뒤집히면 버그라서 중요한 수치지만 외부 검증은 없다.
• 제약이 분명하다
  • 입력은 텍스트만, 최대 32,000 토큰이다.
  • 설명문은 생성하지 못하고 이미지·오디오·비디오도 처리하지 못한다.
  • 가중치는 배포되지 않아 호스팅 API로만 쓴다.
• 가격은 OpenRouter 목록 기준이다
  • 입력 100만 토큰당 $0.042, 출력은 무료로 보도됐다.
  • Microsoft 자체 문서에서는 확정 가격이 확인되지 않았고 Foundry 가격은 동적이라고 한다.

Community Reactions

• 벤치마크 수치가 광고 같다는 의견
  • 다른 decision 모델들을 언급하지 않아 홍보성 기사처럼 읽힌다는 댓글이 있었다.
  • 원문 대신 Microsoft 공식 글(commandline.microsoft.com)을 보라는 댓글도 있었다.
• 다른 오픈소스 decision 모델이 괜찮다는 경험
  • pplx-decider-v1.2와 -flash 변형이 평가해 본 범위에서 꽤 좋았다는 댓글이 있었다.
  • 이 댓글은 MonitoringBench로 평가했다며 각자 과제에서 비교해 본 사람이 있는지 물었다.

How to Apply

• 기존 티켓 100건으로 임계값 테스트하기
  • 오늘 과거 사람이 라우팅한 티켓 100건을 골라 현재 LLM이 낸 선택지와 사람 결정을 비교해 보라.
  • 신뢰도 0.75 같은 임계값을 정해 그 이상만 자동 처리했을 때 일치율을 계산하라.
• 범용 LLM의 분류 호출을 분리하기
  • 스팸 판별, A/B/C 분류, 에이전트 출력 pass/fail 검사처럼 생성이 필요 없는 호출을 목록으로 뽑아라.
  • 그 호출에 OpenRouter의 microsoft/microsoft-decision-1을 붙여 비용과 지연을 비교하라.
• 낮은 확신도는 사람에게 넘기기
  • 상위 확률이 임계값 미만이면 자동 실행하지 말고 수동 검토 큐로 보내라.
  • 설명이 필요한 건은 범용 모델과 짝지어 사용하라.

Try It

# Claude나 ChatGPT에 붙여넣기 (Decision-1 방식의 간이 버전: 선택지별 확률만 출력)

너는 분류기다. 글을 쓰지 말고 JSON만 출력해라.
선택지: ["billing_support", "technical_support", "spam", "escalate_to_human"]
각 선택지에 확률을 매기고 합이 1이 되게 해라.
출력 형식: {"scores": {"선택지": 확률}}

입력: {{고객 메시지}}

이어서 해 볼 것: 같은 입력을 말만 바꿔 5번 넣어 보고 최고 확률 선택지가 유지되는지 확인해 보라.

Terminology

관련 논문

• GLM-5.3 Workers AI의 KV cache 교차 노출 사고와 SGLang 수정

  컨텍스트 창보다 작은 KV 풀 때문에 긴 프롬프트 155건에 타인 데이터가 섞였다

• Cerebras가 조 단위 파라미터 모델을 웨이퍼 여러 장에 올리는 방법

  Kimi K3(3T)를 웨이퍼 59장 파이프라인에 올려 초당 1000~2000+ 토큰을 낸다

• AI 이미지 생성 실전 가이드: diffusion부터 에이전트 연동까지

  이미지 API를 직접 써 보니 캔버스 단위 과금과 카메라 묘사 프롬프트가 핵심이었다

• DeepInfer: DeepSeek 모델용 고성능 대규모 추론 프레임워크 공개

  DeepSeek가 프로덕션 추론 엔진 DeepInfer를 Apache-2.0으로 공개했다

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• DeepSeek, 미 연방 민간 기관에서 금지된다: DHS 명령과 개발자 반응

  DHS 명령으로 DeepSeek이 미 연방 민간 기관 IT 시스템에서 금지됐다

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

Related Resources

• https://shattered.io/microsoft-decision-1-qwen3-5-9b-model-2026/
• https://commandline.microsoft.com/microsoft-decision-1-model