Gemini 4 Carbon, Artificial Analysis Intelligence Index v5 1위

Who Should Read

LLM API 모델 교체나 비용 비교를 고민하는 백엔드·에이전트 개발자

Core Mechanics

• Intelligence Index v5 1위, 59점
  • 9개 평가 중 4개에서 1위다: HLE-Diamond, Terminal-Bench-Science, AA-Omniscience, AutomationBench-AA.
  • 코딩과 지식 업무에서는 1위가 아니다.
• 코딩 에이전트는 Opus 5.5 다음
  • Antigravity CLI 기준 Coding Agent Index 59점으로, Claude Code의 Claude Opus 5.5(max, 62)보다 3점 낮다.
  • Terminal-Bench 4.0 64%, FrontierCode v1.1 51%로 둘 다 2위다.
• Task당 비용은 Opus 5.5보다 낮다
  • 표준 가격 기준 Intelligence Index task당 $7.76으로, Claude Opus 5.5(max, $10.04)보다 약 23% 싸다.
  • 출력 토큰은 task당 123k로 Opus 5.5(173k)보다 29% 적고, GPT-6 Astra(max, $6.25)보다는 약 1.2배 비싸다.
• Argon과 같은 가격에 9점 높다
  • 표준 가격은 입력/출력 100만 토큰당 $4/$20으로 Gemini 4 Argon과 같다.
  • Task당 비용은 Argon($7.68)과 비슷한데 Intelligence Index는 9점 높다.
• AA-Omniscience v1.1 54점, 환각률 11%
  • Claude Opus 5.5(max, 48)보다 6점, Argon(46)보다 8점 높다.
  • 정확도는 Argon보다 10점 올라 58%이고, 환각률은 4%에서 11%로 올랐다.
  • 환각률 11%는 Argon 다음으로 낮고, Claude Opus 5.5(max)와 GPT-6 Astra(max)는 50%다.
• 아직 일부 사용자에게만 공개
  • 컨텍스트는 1M 토큰이고 텍스트·이미지·영상·음성을 입력받아 텍스트로 출력한다.
  • 출시 할인 50%는 종료일이 확정되지 않았고, 캐시 입력 토큰은 95% 할인($0.20/1M)이다.

Community Reactions

• 공개되지 않은 모델의 벤치마크라 못 믿겠다는 의견
  • 일반 공개 전이라 출시 후 받는 모델이 벤치마크한 것과 같은지 확인할 수 없다는 지적이 있었다.
  • 벤치마크는 평가 대상과 실제 출시 모델이 같은지 검증해야 한다는 주장이다.
• AA 지수의 신뢰성을 의심하는 의견
  • 지수 항목의 60%가 비공개라 재현할 수 없고, 연구소 대상 벤치마크 컨설팅도 이해충돌이라는 의견이 있었다.
  • v5 발표 이틀 뒤 새 모델이 1위를 한 점이 수상하다는 의견도 있었다.
• Argon을 써 봤더니 한계가 있었다는 경험
  • 필기체 고문서 필사에서 도메인 지식은 좋았지만, 2단 레이아웃을 말하지 않자 첫 단만 필사하고 끝냈다는 경험이 있었다.
  • 재시도 비용이 $20였고, 취약한 코드를 자주 쓴다는 경험과 한도가 매우 낮다는 경험도 있었다.
• Gemini의 강점은 비코딩 분야라는 의견
  • 과학 개념 설명이 가장 낫다는 의견이 있었다.
  • 에이전트 작업을 감독하며 맥락을 놓치지 않았다는 경험도 있었다.

How to Apply

• 우리 평가셋으로 직접 돌려 보기
  • 접근 권한이 생기면 실제 업무 프롬프트 20~30개로 현재 모델과 정확도·토큰 수·비용을 비교하라.
  • 공개 지수 점수는 참고만 하고 우리 데이터 결과로 결정하라.
• 환각률 민감 업무에 후보로 올리기
  • 사실 확인이 중요한 질의응답 기능에서 현재 모델과 환각률을 비교하라.
  • 원문 기준 Carbon은 Opus 5.5와 GPT-6 Astra(각 50%)보다 환각률(11%)이 낮다.
• 비용 계산에 캐시 할인 반영하기
  • 긴 시스템 프롬프트나 문서를 반복 전송하는 서비스는 캐시 입력 95% 할인을 넣어 월 비용을 다시 계산하라.
  • 출시 할인 50%는 끝나는 날이 없으니 표준 가격으로 계산하라.

Try It

# Claude나 ChatGPT에 붙여넣기 (원문 수치로 모델 도입 판단 틀 만들기)

나는 LLM API를 쓰는 서비스를 운영한다. 아래는 신규 모델 Gemini 4 Carbon의 공개 수치다.
- Intelligence Index v5: 59점
- Task당 비용 $7.76 (Claude Opus 5.5 $10.04)
- Task당 출력 토큰 123k (Opus 5.5 173k)
- AA-Omniscience 환각률 11% (Opus 5.5 50%)
- 가격 입력/출력 100만 토큰당 $4/$20, 캐시 입력 $0.20

우리 서비스 정보: 월 요청 {{월 요청 수}}건, 요청당 입력 {{입력 토큰}}토큰, 출력 {{출력 토큰}}토큰, 현재 모델 {{현재 모델}}

1) 월 비용을 현재 모델과 비교하는 표를 만들어 줘.
2) 우리 서비스에서 직접 검증해야 할 항목 5개를 알려 줘.

이어서 해 볼 것: 검증 항목마다 20개짜리 테스트 케이스 템플릿을 만들어 달라고 요청해 보자.

Terminology

관련 논문

• Mistral Large 4 가중치 공개: 코딩·사이버보안 특화 1T 모델

  Mistral이 1조 파라미터 Large 4 가중치를 공개해 오픈 코딩 벤치 선두를 주장했다

• Gemini 4 Carbon 발표: 사이버보안·장시간 에이전트 작업 특화 모델

  Google이 Gemini 4 Carbon을 공개했지만 아직 일부 보안 파트너에게만 열렸다

• Dayjob: Tax – 전문 세무 업무 50건으로 AI 에이전트 평가

  세무 실무 50건을 맡겼더니 최고 모델도 통과율 10.8%에 그쳤다

• Anthropic S-1: 상장 신청서 표지와 지배구조

  Anthropic이 Nasdaq 'ANT' 상장을 위해 S-1을 제출했다

• 10년 된 CNN이 최신 LLM보다 피부암 진단을 더 잘했다

  파인튜닝한 Inception v3가 피부 병변 200건에서 GPT-6 Astra·Claude Fable 5.1을 앞섰다

• 미국 미디어·영화·예술 일자리 20만 개 감소, AI 탓은 얼마나 될까

  미국 창작 산업 일자리가 4년간 20만 개 넘게 줄었지만 AI 책임 비중은 입증하기 어렵다

• AI 투자 효과, 빅테크 밖에서는 아직 안 보인다

  Mag 7은 1인당 매출·마진이 오르는데 S&P 493은 제자리

• LLM으로 대규모 formal verification이 가능해졌다

  Claude로 오픈소스 라이브러리 123개의 no-crash 증명을 만들고 버그도 찾았다

Related Resources

• https://artificialanalysis.ai/articles/gemini-4-carbon-new-number-1
• https://news.ycombinator.com/item?id=49901736