Grok 4.6 출시: 장시간 에이전트용, 입력 $2·출력 $6
Grok 4.6
TL;DR Highlight
Grok 4.6, AA Intelligence Index 61로 GPT-5.6 Sol과 동률
Who Should Read
코딩 에이전트에 쓸 모델을 가격과 성능으로 비교해 고르려는 백엔드 개발자
Core Mechanics
- 장시간 에이전트에 초점
- Grok 4.5를 기반으로 여러 단계에 걸친 복잡한 작업을 이어가도록 만든 모델이다.
- 조사, 분석, 코드베이스 작업, 앱 제작 같은 작업을 예로 든다.
- AA 지수 61, GPT-5.6 Sol과 동률
- Artificial Analysis Intelligence Index(벤치마크 9개 종합 점수)에서 Grok 4.6은 61이다.
- 비교 대상은 GPT-5.6 Sol Max 61, Fable 5 Max 62, Grok 4.5 High 56이다.
- 코딩 벤치마크는 엇갈린다
- DeepSWE v1.1은 Grok 4.6이 65.9%로 Grok 4.5의 54%보다 높지만 GPT-5.6 Sol Max 73%보다 낮다.
- Terminal-Bench v3.0은 26%로 Grok 4.5의 15.7%보다 높지만 GPT-5.6 Sol Max 34.6%보다 낮다.
- CursorBench v3.2는 69.9%로 GPT-5.6 Sol Max 67.2%보다 높고 Fable 5 Max 70.5%보다 낮다.
- 학습을 더 길게, 데이터를 더 다듬었다
- 보충 학습을 Grok 4.5보다 길게 돌렸고 모델이 만든 추론 데이터와 엔지니어링 데이터를 썼다.
- Grok 4.5로 SFT(정답 예시 학습) 궤적을 다시 만들고 모델 기반 검사로 나쁜 궤적을 걸러냈다.
- 긴 작업에서 스스로 검증한다
Community Reactions
How to Apply
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓