Gemini 4 Argon for Robotics: 로봇 제어부터 시뮬레이션 트윈까지 프롬프트 모음

Who Should Read

멀티모달 LLM으로 로봇 제어나 MuJoCo 시뮬레이션 자동화를 시도해 보려는 로보틱스 입문 개발자

Core Mechanics

• ERQA 87%로 frontier 모델 1위
  • Argon은 3D 환경의 물리·공간 문제를 푸는 Embodied Reasoning(ERQA) 벤치마크에서 순수 추론으로 87%를 기록했다.
  • 원문은 이를 다른 모든 frontier 모델보다 높다고 주장한다.
• 로봇 제어를 프롬프트로 한다
  • Spot 사족보행 로봇이 MuJoCo 디지털 트윈에서 먼저 연습한 뒤 실제 쓰레기통 페달을 밟았다.
  • 단순 로봇 팔은 카메라 이미지와 obs.json을 보고 curl 명령으로 동작 함수를 호출하며 여러 턴에 걸쳐 머그컵을 세웠다.
• Code-as-Policies 방식 제어
  • 프롬프트에 robot.grasp, robot.place, robot.goto 같은 동작 함수(primitive)와 좌표 규칙을 적어 준다.
  • 매 턴 wrist_cam.png로 결과를 확인하고 grasp_failed면 look_at으로 다시 관찰하게 한다.
• Real2Sim: 영상과 스케치에서 시뮬 환경 생성
  • 로봇 텔레오퍼레이션 영상에서 MuJoCo 장면을 만들고 카메라·접촉력 일치를 반복 검증시켰다.
  • 사람 1인칭 영상은 76-DoF 휴머노이드로, 손그림 스케치는 mujoco_warp 장면으로 변환했다.
• 영상 라벨링과 value function
  • 136초 ALOHA 2 종이접기 영상을 목표 1개, 하위 작업 6개, 원자 동작 17개의 4단계 라벨로 나눴다.

Community Reactions

• Argon이 장애물을 더 잘 피했다는 경험
  • Unitree 휴머노이드에 비전 LLM을 연동한 입문자가 Opus와 Astra는 탁자·침대에 부딪혔다고 했다.
  • Argon 4는 벽과 물체를 조심하며 천천히 탁자로 걸어가 물체를 설명했고, 몇 시간 만에 만든 것이라 놀랐다는 경험이다. LIDAR는 아직 쓰지 않았다고 한다.
• Argon은 로봇을 직접 조종하는 게 아니라는 의견
  • 눈 치우는 로봇을 만드는 댓글 작성자는 이런 모델이 로봇을 직접 운용하기보다 작은 모델로 증류할 데이터를 만드는 데 쓰일 것이라고 봤다.
  • 사전 정의 동작을 LLM이 호출하는 방식은 Stanford Homebody에서도 봤다는 추가 정보도 있다.
• 온디바이스 구동은 아직 멀다는 반론
  • 모델 효율과 하드웨어 성능이 지금 속도로 늘어도 배터리로 도는 Argon급 로봇까지는 약 10년이 걸릴 것이라는 의견이다.
  • 저렴한 가정용 로봇은 5-7년 뒤로 봤다.
• 성능이 기대에 못 미친다는 평가
  • Google의 자원에 비해 인상적이지 않고 Figure 3만 못하다는 의견이다.
  • Unitree 로봇은 파쿠르를 하는데 이 데모는 로봇이 매달려 있다는 비판도 있었다.

How to Apply

• 오늘 Odd Ball 프롬프트를 LLM에 붙여넣기
  • 코딩 가능한 LLM에 원문 12-ball 프롬프트 1을 넣어 MuJoCo 환경 생성을 시켜 보자.
  • 환경 스크립트가 도는지와 보상 로직이 맞는지부터 확인하라.
• 동작 함수 목록과 좌표 규칙을 프롬프트에 박기
  • LLM이 로봇이나 에이전트를 제어하게 할 때 호출 가능한 primitive와 좌표계 설명을 시스템 프롬프트에 명시하라.
  • 매 턴 관측 이미지와 상태 JSON을 함께 주고 실패 상태 처리 규칙도 적어라.
• 시뮬 규칙에 반칙 금지 조항 넣기
  • 시뮬 자동 생성 프롬프트에 허용하지 않을 행동을 열거하라.
  • 원문은 외부 힘 적용, weld, 충돌 해제, 로그 복사를 금지했다.
• 로봇 영상에 힌드사이트 라벨 JSON 요청하기
  • 수집한 시연 영상에 목표, 하위 작업, 원자 동작, 품질 가중치 4단계 JSON 스키마로 라벨링을 요청하라.
  • 실패 구간 가중치를 낮춰 학습 데이터 품질을 걸러라.

Try It

# Gemini 등 영상 입력이 되는 멀티모달 LLM에 영상 첨부 후 붙여넣기 (원문 프롬프트의 간이 버전)

[Attached: {{로봇 시연 영상.mp4}}]
Produce a time-aligned multi-granularity hindsight annotation JSON with four levels:
1. G1_episode_instruction: Concise imperative sentence describing the overall manipulation goal.
2. G2_subtasks: Contiguous semantic subtask phases specifying which arm(s) anchor vs. fold/rotate the object.
3. G3_atomic_primitives: Fine-grained contact-level primitives (3-15s) aligned with grasp closure, release, or retry attempts.
4. quality_control_and_reweighting: Hold task_progress_pct flat during non-progressing slip/retry loops and downweight them (0.15x-0.25x) for Behavior Cloning.

이어서 해 볼 것: 같은 영상으로 결과 JSON의 타임스탬프가 실제 장면과 맞는지 직접 확인해 보세요.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://developers.googleblog.com/gemini-4-argon-for-robotics/
• https://tml.stanford.edu/homebody/
• https://www.mathsisfun.com/pool_balls_solution.html