DeepSeek V4 Flash 0731, ARC-AGI 결과: 저렴한 가격에 높은 점수
DeepSeek V4 Flash 0731
TL;DR Highlight
DeepSeek V4 Flash 0731이 max effort로 ARC-AGI-1 89.0%, 태스크당 $0.02
Who Should Read
LLM API 비용을 줄이면서 에이전트·코딩 자동화에 쓸 저렴한 모델을 찾는 백엔드 개발자
Core Mechanics
- max effort에서 ARC-AGI-1 89.0%
- ARC-AGI-1 Semi-Private 기준 점수이고 태스크당 비용은 $0.02다.
- ARC-AGI-2 Semi-Private은 61.4%, 태스크당 $0.04다.
- reasoning 단계별 점수 차이가 크다
- ARC-AGI-1은 Max 89.0%, High 87.0%, Low 84.0%, None 11.8%다.
- ARC-AGI-2는 Max 61.4%, High 56.0%, Low 46.0%, None 2.1%다.
- 추론을 끄면 성능이 무너진다
- None 변형은 ARC-AGI-1 11.8%, ARC-AGI-2 2.1%에 그친다.
- Low만 켜도 ARC-AGI-1은 84.0%까지 오른다.
- 토큰 가격이 매우 싸다
- 입력은 100만 토큰당 $0.13, 출력은 $0.26이다.
- 추론 변형은 4가지, 출시일은 2026년 7월 31일이다.
- 태스크별 정답표도 공개돼 있다
- ARC-AGI-2 Public Eval 120개와 ARC-AGI-1 Public Eval 400개의 변형별 통과·실패가 나와 있다.
- ARC-AGI-3 점수는 비어 있다.
Community Reactions
- 싸서 비용이 의미 없어졌다는 경험
- Oh My Pi에서 세션 5~6개를 돌려도 하루 5달러 쓰기 어렵다는 댓글이 있었다.
- CI 테스트 실패 자동 수정 제안, 테스트 자동 생성, 로그 감시 같은 용도가 가능해진다는 의견이다.
- 로컬 구동 경험
- RTX Pro 6000 Blackwell 2장에서 단일 스트림 약 250 tok/s, vLLM 동시 64 스트림에서 약 1000 tok/s를 봤다는 경험이다.
- 약 300B 파라미터에 활성 13B 모델이라 빠르다는 설명이다.
- 에이전트 성능이 떨어졌다는 반론
- 이전 Flash보다 Pi agent에서 무한 루프와 툴 호출 없는 혼잣말이 늘었다는 경험이 있었다.
- 별도 벤치마크에서는 Gemini 3.5 Flash Lite, GPT 5.6 Luna보다 오답이 많았다는 반론도 있었다.
- 가격 인상 예고와 캐시 팁
- DeepSeek가 API 가격을 큰 폭으로 올릴 예정이라고 공지했다는 댓글이 있었다.
- Fireworks AI에서는 캐시 적중 시 20%만 내는데, GitHub Copilot은 캐시를 잘 못 쓰고 Cline이 낫다는 경험이다.
How to Apply
- CI 실패 로그에 싼 모델 붙이기
- 오늘 CI 실패 로그 한 건을 DeepSeek V4 Flash 0731에 넣어 수정안을 받아 보라.
- 틀리면 버려도 되는 용도로 시작하라.
- reasoning 단계를 Low부터 비교하기
- 자기 업무 태스크 20개를 None, Low, Max로 돌려 정답률과 비용을 기록하라.
- None은 쓰지 말고 Low와 Max 중 선택하라.
- 프롬프트 앞부분을 고정해 캐시 적중시키기
- 시스템 프롬프트와 공통 컨텍스트를 앞에 고정하라.
- 쓰는 제공자의 캐시 가격과 하네스 지원 여부를 확인하라.
- 가격 인상에 대비해 모델 교체 가능하게 만들기
- 모델명을 환경변수로 빼서 한 줄로 바꿀 수 있게 하라.
- 인상 공지 후 단가를 다시 계산하라.
Try It
# Claude나 ChatGPT에 붙여넣기 (원문 결과의 간이 활용 프롬프트: 모델 교체 전 비교용)
너는 LLM 모델 교체 평가자다. 아래 실패 로그 {{CI 실패 로그}}에 대해 수정안을 3줄 이내로 제안하라.
답변 후 다음을 표로 정리하라: 수정안 신뢰도(높음/중간/낮음), 추가로 필요한 정보, 자동 적용해도 되는지 여부.
이어서 해 볼 것: 같은 로그를 DeepSeek V4 Flash 0731의 Low와 Max 설정에 넣고 결과와 비용을 비교해 보라.Terminology
관련 논문
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓
Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터
GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터