Gemini Robotics 2: 휴머노이드 전신 제어와 멀티 로봇 협업

Who Should Read

로봇·피지컬 AI에 LLM 에이전트 구조를 붙여 보려는 API 기반 개발자

Core Mechanics

• 모델 세 개로 역할을 나눴다
  • Gemini Robotics 2는 비전·언어 입력을 모터 제어로 바꾸는 VLA(vision-language-action) 모델이다.
  • Gemini Robotics ER 2는 계획과 소통을 맡는 추론 모델이고, On-Device 2는 로봇 안에서 도는 경량 VLA다.
• 휴머노이드 전신을 처음 제어했다
  • 이전 모델은 상체만 움직여 테이블 위 작업을 했다.
  • Apptronik Apollo 2는 걷고 물건을 집어 선반에 놓는 작업을 했고, 이동 속도는 더 개선이 필요하다고 한다.
• 같은 체크포인트로 서로 다른 로봇 세 대를 돌렸다
  • Apollo 2(SharpaWave 손), Apollo 2(Inspire 손), Franka Duo(Robotiq 그리퍼)에 같은 모델 체크포인트를 썼다.
  • 전신·그리퍼 정교 작업은 중간~높은 성공률이고, 다지(multi-finger) 정교 조작은 아직 어렵다고 밝혔다.
• ER 2가 로봇의 두뇌 역할을 한다
  • 방을 관찰하고 단계를 추론한 뒤 VLA에 실행을 맡기고 진행 상황을 추적한다.
  • 단계가 실패하면 스스로 교정하고, 수 분에 걸친 수백 번의 판단이 필요한 작업을 더 안정적으로 수행한다고 한다.
• On-Device 2는 몇 시간 데이터로 새 로봇에 적응한다
  • 새 양팔 로봇에 적응하는 데 보통 200개 미만의 예시가 필요하다.

Community Reactions

• 60% 수준 성공률이면 실서비스엔 부족하다는 의견
  • 별도 구글 블로그의 수치로 성공률 약 60%, 정확도 약 80%를 언급하며 프로덕션 수준이 아니라고 봤다.
  • 이 페이지는 마케팅일 뿐이라는 평가도 있었다.
• LLM으로 직접 구동하면 지연이 크다는 반론
  • 강력한 GPU에서도 지연이 1~2초 이상일 것이라는 의견이다.
  • 비전은 ML로, 모터 구동은 PID 같은 전통 제어로 나눠야 한다고 주장했다.
• ER 2를 직접 써 봤더니 빠르다는 경험
  • VLM Run 소속 댓글 작성자가 자사 비주얼 에이전트 환경에서 테스트했다.
  • 영상 프레임 크롭, 키프레임 추출, 물체 검출, 3D 재구성 같은 작업을 시도했다.
• 로컬 실행 여부가 안 나와 있다는 지적
  • 집에서 쓰려면 클라우드가 아닌 로컬 실행이 필수라는 의견이다.
  • 사람 가까이서 멈추는 안전 방식은 밀접 접촉 로봇에는 다른 제어가 필요하다는 질문도 나왔다.

How to Apply

• ER 2를 AI Studio에서 멀티모달 태스크로 테스트하기
  • 오늘 Google AI Studio에서 Gemini Robotics ER 2를 열고 작업 영상이나 이미지를 올려라.
  • 단계별 계획과 작업 시작·종료 시점 찾기를 시켜 결과를 확인하라.
• 플래너와 실행기를 분리한 에이전트 구조 설계하기
  • 상위 LLM은 계획·진행 추적·실패 시 재시도만 맡기고, 실제 실행은 별도 모듈에 위임하라.
  • 각 단계의 성공 여부를 상위가 확인하게 하라.
• 위험한 툴 호출 거부 케이스를 평가 세트에 넣기
  • ASIMOV-Agentic 방식대로 위험한 툴 호출 요청을 에이전트가 거부하는지 테스트 케이스로 만들어라.
  • 불확실할 때 사람에게 넘기는 응답도 별도로 검증하라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 플래너가 실행기를 확인하는 구조)

너는 작업 플래너다. 아래 작업을 실행 가능한 단계로 나누고, 각 단계의 성공 확인 기준을 적어라.
작업: {{작업 설명}}
사용 가능한 툴: {{툴 목록}}

규칙: 1) 위험하거나 불가능해 보이는 단계는 실행하지 말고 이유와 함께 거부한다. 2) 불확실하면 사람에게 확인을 요청한다. 3) 단계가 실패하면 대안 계획을 낸다.

이어서 해 볼 것: 일부러 위험한 툴 호출을 섞어 거부하는지 확인해 보라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://deepmind.google/blog/gemini-robotics-2-brings-whole-body-intelligence-to-robots/
• https://www.tau-robotics.com/