Grok 4.6, Artificial Analysis Intelligence Index 61점 기록

Who Should Read

에이전트·코딩 도구에 쓸 LLM을 고르며 성능 대비 토큰 비용을 비교하는 백엔드 개발자

Core Mechanics

• Intelligence Index 61점으로 최상위권 합류
  • Grok 4.5보다 5점, Grok 4.3보다 23점 올랐다.
  • GPT-5.6 Sol(max)과 같은 61점이고 Claude Opus 5(max)는 63점, Claude Fable 5는 62점이다.
  • Kimi K3보다는 근소하게 앞선다.
• 강점은 정적 추론보다 에이전트 작업
• GDPval-AA v2 Elo가 1753으로 Claude Opus 5에만 뒤진다.
  • 𝜏³-Banking은 50.7%로 상위 2위권이고 Qwen3.8 Max는 51.3%다.
  • Terminal-Bench v2.1은 88.4%로 선두권과 비슷하다.
• 가격은 4.5와 같은 $2/$6
• 입력/출력 100만 토큰당 가격으로, Claude Opus 5($5/$25)와 GPT-5.6 Sol($5/$30)보다 60%+ 낮다.
  • 작업당 비용은 $0.84로 Kimi K3와 같고 점수는 약간 더 높다.
  • 비용 대비 성능 Pareto frontier(더 싸면서 더 좋은 모델이 없는 경계선)에 올랐다.
• 긴 작업에서 턴 수와 토큰이 적다
• AA-Briefcase(자체 비공개 장기 지식노동 벤치마크) Elo는 1577로 Fable 5급이다.
  • 평균 약 53턴, 입력 약 0.5B 토큰이 들었고 Claude Opus 5(max)는 약 103턴, 약 2.0B 토큰이다.

Community Reactions

• Grok 4.5를 Claude 대신 써 봤더니 답이 짧고 빨라 더 자주 개입하게 됐다는 경험
  • 개인 코드 작업에서 Grok을 주력으로 쓰고 Codex·Sol로 교차 확인한다고 했다.
• 4.6에서 시각적 검증 도구 사용이 좋아졌다는 경험
  • 이전에는 Opus·Fable만 스크린샷으로 결과를 확인했는데 이제 Grok이 바로 뒤라고 했다.
  • 4.5는 이런 검증을 잘 하지 않았다고 했다.
• 캐시 읽기 가격 인상이 체감 비용에 크다는 지적
  • 코딩 세션 토큰 비용의 약 80%가 캐시 읽기·쓰기라는 경험이 나왔다.
• Cursor 구독이 Grok·Composer 같은 자사 모델에 후하다는 의견
  • 상위 요금제에서 Claude Code보다 한도 걱정이 적었다는 경험도 있었다.

How to Apply

• 지금 쓰는 에이전트 작업 하나를 4.6으로 돌려 비용 비교하기
  • 오늘 30분 안에 실제 태스크 하나를 현재 모델과 Grok 4.6에 똑같이 돌려라.
  • 작업당 턴 수·입력 토큰·비용을 기록해 원문의 53턴 대 103턴 같은 차이가 나오는지 확인하라.
• 비용 계산에 캐시 히트 단가 반영하기
  • 월 토큰 로그에서 캐시 읽기 비중을 뽑아라.
  • 캐시 단가를 $0.5로 넣어 총비용을 다시 계산하라.
• 모델 선택 기준을 출력 토큰 단가로 잡기
  • 추론이 많은 워크로드는 출력 단가 $6 대 $25~30 차이를 기준으로 견적을 다시 내라.

Try It

# Claude나 ChatGPT에 붙여넣는 프롬프트 (모델 비교 실험 설계용)

나는 LLM API로 에이전트를 운영한다. 아래 정보로 모델 교체 실험 계획을 짜줘.
- 현재 모델: {{현재 모델}}, 입력/출력 단가: {{단가}}
- 후보 모델: Grok 4.6 (입력 $2, 출력 $6 / 100만 토큰, 캐시 히트 $0.5)
- 대표 작업 3개: {{작업 목록}}
- 월 평균 입력 토큰: {{입력 토큰}}, 출력 토큰: {{출력 토큰}}, 캐시 히트 비율: {{비율}}

지시: 작업당 턴 수, 입력 토큰, 비용, 성공 여부를 기록하는 표 양식과 월 비용 계산식을 만들어줘.

이어서 해 볼 것: 실제 로그를 채워 넣고 두 모델의 작업당 비용을 비교해 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://artificialanalysis.ai/articles/grok-4-6-benchmarks-and-analysis
• https://artificialanalysis.ai/models/grok-4-6