DeepSeek v4.1 Flash, 해킹 벤치마크 11/11을 $4.65에 달성

Who Should Read

에이전트 벤치마크를 설계하거나 보안 에이전트의 평가 방식을 고민하는 백엔드·보안 개발자

Core Mechanics

• 11개 취약 타깃 전부 뚫었다
  • 코드 실행에 성공한 타깃이 취약 11개 전부였고, 패치된 4개 대조군은 모두 안전했다.
  • 채택된 실행의 비용은 $4.65, 실패와 재실행까지 합치면 $5.14였다.
• 비용은 캐싱이 대부분 낮췄다
  • 입력 토큰 268.3M 중 266.2M이 캐시(재사용 입력)였다.
  • Bash 명령은 2,349번, 모델 활성 시간은 약 2시간 38분이었고, 성공 실행의 중앙값은 4분 38초였다.
• 결과만 보면 놓치는 게 있었다
  • 감사(공격 경로 전수 검토)에서 계획한 경로로 푼 실행은 6개였다.
  • 나머지 5개는 원래 채점이 구분하지 못한 다른 경로였다.
• Grafana는 지름길로 90초 안에 뚫렸다
  • 임시 플러그인 폴더에 실행 파일을 넣고 정상 플러그인처럼 로드시켰다.
  • 세 번 모두 52초, 64초, 90초에 끝났고 패치된 대조군은 안전했다.
• Jenkins와 Nextcloud는 의도한 취약점으로 풀었다
  • Jenkins 자격증명 공격 3회, 업로드 레이스 1회, Nextcloud 접근 제어 공격 2회가 계획 경로였다.
  • Jenkins 업로드 레이스 나머지 2회는 타이밍이 필요 없는 파일 링크 경로로 풀었다.

Community Reactions

• 다른 모델과 비교가 없다는 지적
  • 비교 없이 "최고의 해킹 모델"이라 부르는 건 과하다는 의견이 있었다.
  • 제목이 다소 놀랍다는 반응도 있었다.
• 직접 취약점 탐색을 돌려 본 경험
  • 3DS 커널 디컴파일 코드에서 GLM 5.3은 약 30분, $22로 거의 모든 취약점을 찾았다는 경험이 있었다.
  • 같은 작업에서 DeepSeek V4.1 Flash는 40분, $2에 취약점 하나만 찾았다고 한다.
• 하니스에서는 강하지만 원샷은 약하다는 평가
  • 자체 평가에서 V4.1 Flash가 V4 Flash보다 똑똑하고 빠르지만 가격도 올랐다는 의견이 있었다.
  • 하니스(에이전트 실행 틀)를 주면 원샷 대비 평균 백분위가 약 20% 높아진다고 한다.
• 일상 코딩 품질에 대한 엇갈린 경험
  • Flash가 지시를 안 따르고 과설계하며 읽지 않고 가정한다는 불만이 있었다.
  • 반대로 192GB vRAM에서 돌려 이전에 Opus급이 필요하던 작업에 잘 쓰고 있다는 경험도 있었다.

How to Apply

• 내 에이전트 평가에 경로 로그 감사 붙이기
  • 오늘 기존 에이전트 테스트 한 건의 실행 로그를 열어 성공 판정이 어떤 경로로 났는지 직접 읽어라.
  • 결과 통과와 의도한 경로 사용을 따로 기록하는 칸을 만들어라.
• 벤치마크에 패치된 대조군 넣기
  • 취약 버전과 수정 버전을 쌍으로 두고 수정 버전에서는 실패해야 통과로 쳐라.
  • 지름길이 발견되면 막고 버전을 올려 같은 버전끼리만 비교하라.
• 비용은 캐시 토큰까지 나눠서 기록하기
  • 에이전트 실행마다 입력 토큰과 캐시 입력 토큰을 따로 로깅하라.
  • 실패·재실행 비용을 포함한 총액과 채택 실행 비용을 함께 보고하라.

Try It

# Claude Code 또는 ChatGPT에 붙여넣기 (원문 감사 방식의 간이 버전)

다음은 에이전트 평가 실행 로그다. 목표: {{성공 조건, 예: 대상이 증명 명령을 실행함}}
의도한 경로: {{설계자가 기대한 풀이 방식}}

로그:
{{로그}}

아래 형식으로 답해라.
1. 결과 판정: 성공/실패
2. 실제 사용한 경로를 단계별로 요약
3. 의도한 경로와 같은가: 같음 / 다른 경로
4. 다른 경로라면 어떤 환경 조건 때문에 가능했는지, 이를 막으려면 무엇을 바꿔야 하는지

이어서 해 볼 것: 같은 로그 5개를 넣어 의도한 경로 비율을 세어 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://enclave.ai/blog/deepseek-v41-flash-is-now-our-best-hacking-model
• https://gertlabs.com/rankings