Mistral Large 4 "Le Chonk": 1조 파라미터 오픈웨이트 멀티모달 모델 프리뷰

Who Should Read

오픈웨이트 모델로 코딩 에이전트나 보안·금융 업무 자동화를 검토하는 백엔드·플랫폼 개발자

Core Mechanics

• 1조 파라미터, 활성 520억
  • ML4는 네이티브 멀티모달 MoE(필요한 전문가만 켜는 구조) 모델이다.
  • 프리뷰 API는 Mistral Studio에서 쓸 수 있고 가중치는 이달 말 공개 예정이다.
• 사이버 벤치마크에서 강세
  • Artificial Analysis Cyber Index에서 전 세계 상위 5개 모델에 들었다.
  • 취약점 재현 후 패치하는 테스트에서 82%로 전체 모델 중 최고다.
  • Cybench 40문제 중 93%를 풀었다.
• 닫힌 모델은 거부해서 0점 근처
  • Claude Opus 5.5와 GPT-6 Astra는 같은 테스트에서 작업을 거부해 거의 0점이라고 한다.
  • Mistral은 이를 오픈웨이트·자체 배포의 장점으로 내세운다.
• 코딩 에이전트 지표
  • DeepSWE v1.1 61.7%, SWE-Atlas-QnA 59.4%, Terminal-Bench 4 28.3%다.
  • Coding Agent Index 49.8%로 DeepSeek V4 Pro 0813과 Qwen3.8 Max보다 앞선다.
  • Surge AI 블라인드 평가에서 5개 모델 중 2위(3.74)이고 1위는 Claude Opus 5(4.22)다.
• 업무 자동화·금융·법률

Community Reactions

How to Apply

• 프리뷰 API로 내 업무 샘플 돌려보기
  • Mistral Studio에서 쓰는 모델과 같은 프롬프트 10개를 ML4에 넣어 비교한다.
  • 코드 리뷰·로그 분석처럼 기존 모델이 거부했던 보안 업무를 포함한다.
• 보안 업무용 모델 후보에 추가하기
  • 기존 모델이 취약점 재현을 거부하는 케이스를 모아 ML4와 거부율을 비교한다.
  • 가중치 공개 후 사내 환경에 자체 배포할 수 있는지 확인한다.
• 비용 계산표에 ML4 단가 넣기
  • 현재 모델 월 토큰 사용량에 입력 $1.36, 출력 $4.18(100만 토큰당)을 곱해 비용을 비교한다.

Try It

# Claude나 ChatGPT에 붙여넣기: ML4 프리뷰 평가용 테스트셋 만들기 (논문 방법의 간이 버전)

너는 LLM 평가 설계자다. 아래 업무에서 모델이 거부하거나 틀리기 쉬운 테스트 프롬프트 10개를 만들어라.
업무: {{우리 서비스의 보안/금융/코딩 업무 설명}}

각 프롬프트마다 기대 결과와 '거부 vs 수행' 판정 기준을 적어라.

이어서 해 볼 것: 만든 10개를 현재 모델과 ML4 프리뷰 API에 똑같이 넣고 거부율과 정확도를 표로 비교하라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://mistral.ai/news/mistral-large-4/
• https://news.ycombinator.com/item?id=49977979