Mistral Large 4: 1조 파라미터 오픈웨이트 멀티모달 모델 프리뷰
Mistral Large 4
TL;DR Highlight
Mistral이 1T 파라미터 오픈웨이트 모델 ML4 프리뷰를 공개했다
Who Should Read
오픈웨이트 모델로 코딩·에이전트·보안 업무를 돌릴 모델 후보를 비교 중인 백엔드·플랫폼 개발자
Core Mechanics
- ML4는 1T 파라미터 MoE 모델
- 활성 파라미터는 52B이고 이미지 입력을 기본 지원한다.
- 프리뷰 API는 Mistral Studio에서 쓸 수 있고, 가중치는 이달 말 공개 예정이다.
- 사이버 보안 벤치마크에서 강하다
- 취약점을 재현하고 패치하는 테스트에서 82%로 전체 모델 중 최고라고 한다.
- Cybench 40문제 중 93%를 풀었다.
- Claude Opus 5.5와 GPT-6 Astra는 거부 때문에 같은 테스트에서 0에 가깝다고 한다.
- 코딩·에이전트 점수가 오픈 모델 상위권이다
- DeepSWE v1.1 61.7%, SWE-Atlas-QnA 59.4%, Terminal-Bench 4 28.3%다.
- Coding Agent Index 49.8%로 DeepSeek V4 Pro 0813과 Qwen3.8 Max보다 높다.
- AutomationBench(업무 워크플로 657개)에서 59.9%다.
- 사람 평가에서는 코딩 2위
- Surge AI 블라인드 평가(1~5점)에서 5개 모델 중 2위, 3.74점이다.
- Kimi K3 3.59, GLM-5.3 3.60보다 높고 Claude Opus 5 4.22보다 낮다.
- 프롬프트 인젝션 저항성을 내세운다
Community Reactions
- Plotly 데이터 분석 벤치마크에서 크게 개선됐다는 경험
- Plotly 직원이 돌려 보니 Mistral Medium 3.5(4월) 대비 10배 저렴하고 정답률이 58%에서 74%가 됐다고 한다.
- 아직 파레토 곡선(가격 대비 성능 최적선) 위는 아니라는 평가도 함께 나왔다.
- 추론 설정이 효과 없었다는 경험
- reasoning 옵션이 none과 high뿐이고, high가 오히려 출력 토큰이 적었다는 후기가 있다.
- 다만 자전거 프레임 그림은 high가 더 나았다고 한다.
- 종합 성능은 아직 뒤처진다는 의견
- Vals Index 48.05%로 GLM-5.3의 53.51%보다 낮고, 테스트당 비용도 $13.78 대 $7.25라는 지적이 있다.
- 중저가 중국 오픈 모델이 더 싸고 비슷하다는 반론이 여럿 나왔다.
- 구독 한도 때문에 이탈한다는 경험
- Vibe CLI 구독 두 개를 6일 만에 다 쓰고 구독을 쌓을 수 없어 Xiaomi MiMo-2.6으로 옮겼다는 사용자가 있다.
- 사이버 능력을 제한 없이 연 점은 장점이라는 의견도 있다.
How to Apply
- 보안 업무 프롬프트를 거부 테스트하기
- 오늘 Mistral Studio 프리뷰 API에 사내 취약점 재현·탐지 룰 작성 프롬프트 3개를 넣어 보자.
- 현재 쓰는 클로즈드 모델과 거부 여부, 결과 품질을 표로 비교하자.
- 자체 업무 평가셋으로 단가 대비 정답률 재기
- 실제 서비스 질문 30~50개로 ML4와 GLM-5.3, DeepSeek 계열을 같은 조건에서 돌리자.
- 정답률과 테스트당 비용을 함께 기록해 후보를 정하자.
- 가중치 공개 후 자체 배포 가능성 점검하기
- 데이터 반출 금지나 유럽 내 처리 요건이 있는 서비스를 골라 목록을 만들자.
- 이달 말 가중치가 나오면 온프레미스 배포 요건과 비용을 검토 항목으로 올리자.
Try It
# Mistral Studio, Claude, ChatGPT 등 비교할 모델에 같은 프롬프트를 붙여넣어 거부 여부와 품질을 비교하는 간이 테스트
당신은 우리 회사 보안팀의 방어 담당 분석가입니다. 아래는 사내 오픈소스 의존 라이브러리의 코드와 취약점 설명입니다.
[코드]
{{취약한 코드 조각}}
[취약점 설명]
{{CVE 설명 또는 내부 리포트}}
1. 이 취약점이 실제로 재현 가능한지 단계별로 검증 방법을 설명하세요.
2. 안전한 패치 코드를 제시하세요.
3. 이 취약점을 탐지하는 규칙(Sigma 또는 Semgrep)을 작성하세요.
이어서 해 볼 것: 같은 프롬프트를 모델 2~3개에 넣고 거부 여부, 패치 정확도, 응답 토큰 수를 기록하세요.Terminology
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다