Gemini 4 Argon 공개: 장기 소프트웨어 엔지니어링과 과학 작업에 초점
Gemini 4 Argon
TL;DR Highlight
Gemini 4 Argon, CWE-Bench 공동 1위(68%)에 vLLM 2.85배 가속 사례까지 공개
Who Should Read
코딩 에이전트나 대규모 리팩터링에 쓸 LLM을 새로 고르는 백엔드 개발자
Core Mechanics
- Argon은 CWE-Bench 공동 1위
- 취약점 수정(vulnerability remediation) 벤치마크 CWE-Bench에서 68%로 공동 1위라고 한다.
- 간접 프롬프트 인젝션(indirect prompt injection)에 가장 강한 Google 모델이라고 소개한다.
- Chrome 리팩터링을 몇 주로 단축
- 약 600만 줄 레거시 브라우저 기능 폴더를 Chromium 4,000만 줄 코드베이스에서 분리하는 작업에 썼다.
- 수백 개 파일에 걸친 아키텍처 리팩터링을 몇 달 걸릴 일에서 몇 주로 끝냈다고 한다.
- Gemma 4 E2B 추론이 2.85배 빨라졌다
- A100에서 vLLM 기준 처리량이 약 37,900에서 10만 8천 토큰/초 이상으로 올랐다.
- 토큰 일치율 100%, 품질 저하 0이며 며칠 만에 끝났다고 한다.
- ADK는 밤새 자율 작업으로 최적화
- 팀이 .agents/skills 규칙집과 한 문단짜리 목표를 줬다.
- 인메모리 세션 준비 시간 40% 단축, 콜드 임포트 21% 단축 결과가 google/adk-python에 반영됐다.
- xTB와 교육 랩 마이그레이션에도 적용
- xTB는 분자 구조 예측이 최대 2.3배, 컨포머 탐색이 1.8배 빨라졌다.
Community Reactions
- Argon은 추론 루프 버그가 있다는 평가
- 100개 코딩 환경에서 테스트한 사용자는 Fable 5와 5.1 사이 수준이라고 평가했다.
- 무한 추론 루프와 추론 블록 구분 실패가 관찰돼 실패율이 경쟁 모델보다 높다고 했다.
- 비용과 시간이 크게 든다는 경험
- 작은 버그 수정 11건 중 10건을 풀었고 중앙값 비용은 $0.52로 Sonnet $0.18, Sol $0.09보다 높았다.
- 실행 시간은 약 4분으로 32초(Sonnet), 약 1.5분(Sol)보다 길고, 출력 토큰도 약 24k 대 약 3k였다고 한다.
- 글쓰기와 비영어 맥락에서 좋았다는 후기
- 답변이 간결하고 논리적이며 문체가 뚜렷하다는 의견이 있었다.
- 스리랑카·타밀 문화 같은 비서구 주제에서 정확하다는 경험도 나왔다.
- 출시 방식에 대한 불만이 많았다
- Ultra 요금제 전용이라 Pro 사용자가 쓰지 못한다는 불만이 나왔다.
- 결제 후 Gemini 4 옵션이 사라졌다는 사례도 있었다.
How to Apply
- 지금 쓰는 에이전트 작업 1건을 Argon으로 재실행
- 오늘 기존 모델로 풀던 버그 수정 1~3건을 OpenRouter나 AI Studio에서 같은 프롬프트로 돌려라.
- 성공 여부, 소요 시간, 출력 토큰 수, 비용을 나란히 기록하라.
- 추론 토큰 상한과 타임아웃을 설정하기
- 댓글에서 무한 루프와 10분 타임아웃 사례가 나왔으니 호출에 max output token과 제한 시간을 걸어라.
- 타임아웃 시 다른 모델로 재시도하는 폴백을 추가하라.
- 규칙집 + 한 문단 목표로 야간 작업 시도
- 저장소에 .agents/skills 같은 규칙 파일을 두고, 깨지면 안 되는 조건을 한 문단 목표에 명시하라.
- 성능 최적화나 마이그레이션 작업을 야간에 돌리고 아침에 PR 단위로 검토하라.
Try It
# Claude·ChatGPT·Claude Code 어디든 붙여넣기 (원문 ADK 사례의 간이 버전)
당신은 이 저장소의 성능 엔지니어입니다. 아래 규칙집을 먼저 읽고 따르세요.
[규칙집]
{{.agents/skills 또는 코딩 규칙 내용}}
[목표]
{{기존 앱을 깨지 않으면서 프레임워크 오버헤드를 줄인다}}
작업 방식:
1. 먼저 프로파일링 방법과 측정 지표를 정하세요.
2. 병목 후보를 3개 찾아 근거를 적으세요.
3. 변경은 독립된 작은 PR 단위로 나누세요.
4. 각 변경마다 기존 테스트 통과 여부와 전후 수치를 보고하세요.
이어서 해 볼 것: 같은 프롬프트를 모델 두 개에 돌려 변경 수, 테스트 통과율, 비용을 비교해 보세요.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓