Gemini 4 Argon: temperature·top_p·top_k 지원 중단, 무시됨

Who Should Read

Gemini API로 샘플링 파라미터를 조절해 온 백엔드 개발자

Core Mechanics

• 샘플링 파라미터는 무시된다
  • temperature, top_p, top_k는 요청에 넣어도 무시된다.
  • 마이그레이션 체크리스트는 요청에서 이 세 파라미터를 제거하라고 안내한다.
• thinking_level로 깊이를 조절한다
  • low, medium(기본), high 세 단계가 있다.
  • 품질·지연·토큰 사용량을 정하는 주된 조절 수단이다.
• 출력 한도가 커졌다
  • 입력·thinking·출력이 1,048,576 토큰 창 하나를 공유한다.
  • 백그라운드 실행(background execution)을 쓰면 한 응답이 64K를 넘어 최대 1M 토큰까지 간다.
• max_output_tokens를 넉넉히 잡아야 한다
  • 원문에 따르면 Gemini 4 Argon은 이전 모델보다 한도의 더 많은 부분을 thinking에 쓸 수 있다.
  • 기존 한도가 32K 미만이면 최소 32,768로 올리라고 권한다.
• 명시적 캐싱은 안 된다
  • cachedContents / caches.create는 지원되지 않는다.
  • 4,096 토큰 이상 프롬프트에는 암묵적 캐싱이 기본 적용되고, 캐시 적중 시 입력 토큰이 95% 할인된다.

Community Reactions

• 결정론은 프롬프트로 맞추라는 안내에 의문이 나온다
  • 시스템 지시문에 규칙을 넣으라는 문서 안내가 top_k·top_p보다 나은지 보장이 없다는 의견이 있었다.
  • 사실상 Agent.md를 작게 만드는 것과 같다는 반응도 있었다.
• 다양성이 필요한 작업에서는 불편하다는 경험
  • 서브 에이전트 여러 개로 리서치할 때 가설 다양성이 중요한데 결과가 같아지면 하나만 돌린 것과 같다는 의견이 있었다.
  • 최신 OpenAI 모델도 같아져서 프롬프트에 무작위 변이를 넣어 보완 중이라는 경험이 있었다.
• 추론 모델이라 노출하지 않는다는 해석
  • 추론 모델이 특정 설정으로 학습돼서 샘플링을 노출하지 않고 reasoning effort로 대체했다는 의견이 있었다.
  • RL 학습 때 쓴 생성 파라미터 때문에 모델이 파라미터 변경에 취약해졌을 것 같다는 추측도 있었다.
• 다른 제공자도 같은 추세라는 정보
  • sonnet-5도 temperature를 제거했다는 댓글이 있었다.
  • 이 파라미터들이 최근 몇 세대 모델에서는 거의 쓸모없었고 성능만 떨어뜨렸다는 의견도 있었다.

How to Apply

• 요청 코드에서 샘플링 파라미터 지우기
  • 오늘 코드베이스에서 temperature, top_p, top_k를 검색해 gemini-4-argon 호출에서 제거하라.
  • 이후 세대에서는 이 파라미터가 HTTP 400 오류를 낸다는 안내가 있으니 미리 정리하라.
• thinking_level 세 단계로 평가 돌리기
  • 기존 평가셋을 low, medium, high로 각각 돌려라.
  • 품질 기준을 넘는 가장 낮은 단계를 선택하라.
• max_output_tokens 올리고 타임아웃 늘리기
  • 32K 미만이면 32,768 이상으로 올려라.
  • 어려운 프롬프트는 수 분 걸리니 background 실행을 쓰거나 HTTP 타임아웃을 15분 이상으로 잡아라.
• 명시적 캐시 호출 제거하기
  • cached_content를 만들거나 참조하는 호출을 요청에서 빼라.
  • 4,096 토큰 이상 프롬프트는 암묵적 캐싱 할인을 받으니 공통 프리픽스를 앞쪽에 두어라.

Try It

# Gemini API 호출 코드에 붙여넣어 돌려보는 파이썬 (pip install google-genai, GEMINI_API_KEY 설정)

from google import genai
client = genai.Client()

for level in ["low", "medium", "high"]:
    interaction = client.interactions.create(
        model="gemini-4-argon",
        input="{{질문}}",
        generation_config={"thinking_level": level, "max_output_tokens": 32768},
    )
    print(level, interaction.usage)
    print(interaction.output_text[:300])

# 이어서 해 볼 것: {{질문}}에 실제 평가 질문을 넣고 단계별 품질과 토큰 사용량을 비교해 보세요.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://ai.google.dev/gemini-api/docs/latest-model
• https://rlhfbook.com/c/09-rejection-sampling#related-best-of
• https://gist.github.com/Hellisotherpeople/71ba712f9f899adcb0