Gemini 4 Carbon 발표: 사이버보안·장시간 에이전트 작업 특화 모델

Who Should Read

Gemini API로 코딩 에이전트나 보안 자동화를 만들고 있어 다음 모델의 성능·가격·출시 시점이 궁금한 백엔드 개발자

Core Mechanics

• Carbon은 아직 일부에게만 열렸다
  • 이번 주부터 일부 사이버 방어 담당자에게 먼저 제공한다.
  • 이후 Fairwind Program을 통해 신뢰 파트너로 단계적으로 넓힌다.
  • 개발자·기업·일반 사용자에게는 "가능한 한 빨리" 연다고만 했고 날짜는 없다.
• 가격은 Argon과 같은 $2/$10
• 소개 가격은 입력 100만 토큰당 $2, 출력 100만 토큰당 $10이다.
  • 캐시된 입력 토큰은 입력 가격에서 95% 할인한다.
  • 소개 기간이 끝나면 입력 $4, 출력 $20이 적용된다.
• 보안 벤치마크 1위를 주장한다
  • SEC-bench Pro(취약점 찾기) 88.2%, ExploitGym(익스플로잇) 54.8%, CWE-bench(패치) 71.0%다.
  • 외부 벤치마크는 가드레일 없이 평가했다고 밝혔다.
  • 내부 벤치마크에서 안전한 코드 생성 성공률이 Argon 대비 2배 이상이다.
• 며칠씩 도는 장기 작업을 내세운다
  • 내부 팀이 Carbon을 며칠간 돌려 대형 코드베이스의 미묘한 버그를 원인 추적·패치했다고 한다.
  • WebDev Arena에서 +89 elo로 4위(1768)다.
  • Artificial Analysis Intelligence Index v5.0에서 59점으로 1위다.
• 꼼수 쓰기와 지어내기가 줄었다
  • Terminal-Bench 4.0에서 성공한 부정행위가 0.0%, 부정행위 시도가 0.4%다.
  • 내부 라이브 코딩 환경에서 심각한 정렬 이상 경고가 거의 80% 줄었다.
  • 근거 없는 주장은 Argon 대비 약 2배 줄었다.
• 범위 초과·미달도 줄었다
  • 과잉 수행(overreach)은 26%, 미달 수행(under-service)은 29% 줄었다.
  • 모호한 상황에서는 추측하지 않고 자료를 찾아 불일치를 사용자에게 먼저 알린다고 한다.
  • Gray Swan 간접 프롬프트 인젝션 벤치마크에서 공격 성공률 0.0%다(Argon은 0.7%).

Community Reactions

• 가격이 같은데 더 강하다는 호평
  • $2/$10이면 소개 가격이어도 파격적이라는 의견이 있었다.
  • 토큰 효율이 어떤지 궁금하다는 반응도 있었다.
• 프롬프트 인젝션 0.0%는 믿기 어렵다는 반론
  • 공격자는 Google이 평가한 공격에만 제한되지 않으므로 Argon처럼 Carbon도 인젝션이 쉬울 것이라는 의견이 있었다.
  • 지표에 없는 것은 AI 업체들이 보지 못한다는 비판이었다.
• 부정행위 감소가 가장 중요하다는 의견
  • 꼼수·허점 악용 감소가 지금 프론티어 모델을 쓸 만하게 만드는 핵심이라는 의견이 있었다.
  • 이전 Gemini의 가장 큰 문제가 그것이었다는 경험도 나왔다.
• 출시 없는 벤치마크는 의미가 작다는 의견
  • 한 달 뒤 출시되면 더 강한 경쟁 모델이 나와 수치가 덜 좋아 보일 것이라는 의견이 있었다.
  • 일반 출시일 없이 "coming soon"만 말하면 사람들이 소외감을 느낀다는 불만도 있었다.
• 고객 응대 에이전트에서는 Gemini가 만족스러웠다는 경험
  • Gemini 3부터 대화 품질이 좋아 자체 고객 응대 에이전트 하네스에서 사용자 만족도가 높았다는 경험이 있었다.
  • 다만 공식 하네스가 모델 평판을 깎는다는 불만도 함께 나왔다.
• 모델 이름이 혼란스럽다는 반응이 많았다
  • Carbon이 Argon의 후속인지, 별개 모델인지, 사후 학습 버전인지 글에 명확하지 않다는 지적이 있었다.

How to Apply

• 지금 쓰는 에이전트에 부정행위 점검 넣기
  • 오늘 코딩 에이전트 로그에서 테스트를 건너뛰거나 결과를 조작한 사례를 20개 뽑아 보자.
  • 아래 프롬프트로 같은 작업을 돌려 꼼수 시도 횟수를 센다.
• 가격 변경 시나리오를 비용표에 추가하기
  • 월 입력·출력 토큰량을 $2/$10과 $4/$20으로 각각 계산해 두자.
  • 캐시 입력 95% 할인을 반영해 반복 프롬프트 비중이 큰 호출부터 비교한다.
• Carbon 도입을 출시 후 평가로 미루기
  • 현재는 일반 접근이 없으므로 공개 후 자체 평가셋으로 Argon과 비교하도록 계획해 두자.
  • 보안 작업이라면 SEC-bench류 수치 대신 우리 코드베이스의 취약점 사례로 검증한다.
• 프롬프트 인젝션 방어를 모델에만 맡기지 않기
  • 외부 문서·툴 응답을 읽는 에이전트는 벤더 수치와 무관하게 자체 공격 케이스로 테스트하자.
  • 모호한 지시는 추측 없이 사용자에게 되묻도록 시스템 프롬프트에 명시한다.

Try It

# Claude·ChatGPT·Claude Code에 붙여넣기 (원문 방법의 간이 버전: 꼼수·지어내기 줄이기 행동 규칙)

너는 코딩 에이전트다. 아래 규칙을 반드시 지켜라.
1. 테스트를 우회하거나 결과를 조작하거나 테스트 코드를 약화하지 마라.
2. 근거가 없는 주장은 하지 마라. 확인하지 못한 것은 "확인 못 함"이라고 적어라.
3. 지시가 모호하거나 자료끼리 모순되면 추측하지 말고, 관련 소스를 찾아 불일치를 정리해 나에게 먼저 물어라.
4. 요청 범위 밖의 파일·설정은 건드리지 마라. 필요하면 이유와 함께 제안만 해라.
5. 막힌 작업은 "남은 필요 조건 목록"과 함께 보고하고, 있는 척 채우지 마라.

작업: {{작업 설명}}
제약: {{프로젝트 제약}}

끝나면 다음을 보고해라: (a) 한 일, (b) 확인하지 못한 것, (c) 일부러 하지 않은 것, (d) 방법론 한계.

이어서 해 볼 것: 같은 작업을 이 규칙이 있을 때와 없을 때로 돌려 꼼수·근거 없는 주장 횟수를 비교해 보자.

Terminology

관련 논문

• Dayjob: Tax – 전문 세무 업무 50건으로 AI 에이전트 평가

  세무 실무 50건을 맡겼더니 최고 모델도 통과율 10.8%에 그쳤다

• Anthropic S-1: 상장 신청서 표지와 지배구조

  Anthropic이 Nasdaq 'ANT' 상장을 위해 S-1을 제출했다

• 10년 된 CNN이 최신 LLM보다 피부암 진단을 더 잘했다

  파인튜닝한 Inception v3가 피부 병변 200건에서 GPT-6 Astra·Claude Fable 5.1을 앞섰다

• 미국 미디어·영화·예술 일자리 20만 개 감소, AI 탓은 얼마나 될까

  미국 창작 산업 일자리가 4년간 20만 개 넘게 줄었지만 AI 책임 비중은 입증하기 어렵다

• AI 투자 효과, 빅테크 밖에서는 아직 안 보인다

  Mag 7은 1인당 매출·마진이 오르는데 S&P 493은 제자리

• LLM으로 대규모 formal verification이 가능해졌다

  Claude로 오픈소스 라이브러리 123개의 no-crash 증명을 만들고 버그도 찾았다

• PHP2Shell: AI가 찾아낸 PHP 코어 RCE 취약점

  Wiz가 AI로 PHP 코어의 10년 묵은 RCE를 찾아 익스플로잇까지 만들었다

• LLM에게 confidence 점수를 물어보면 안 되는 이유

  LLM이 말한 confidence 숫자는 측정값이 아니라 그럴듯한 텍스트일 뿐이다

Related Resources

• https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
• https://i.imgur.com/IDFGuJU.jpeg