로봇 팔을 GPT-6 Astra에 맡겼더니: 블록 넣기 95%, 퍼즐은 10%

Who Should Read

LLM 에이전트에 물리 장치·툴 제어를 붙여 모델별 성공률과 비용을 비교해야 하는 개발자

Core Mechanics

• 블록 넣기는 Astra가 95%
  • 20번 중 19번 성공이다.
  • Fable 5.1은 8/20(40%), Fable 5는 1/20(5%)이었다.
• 퍼즐 끼우기는 Astra도 10%
  • 20번 중 2번 성공으로 Fable 5.1(2/20)과 같았다.
  • 홈까지는 가는데 마지막 끼우는 단계에서 멈췄다.
• Astra는 더 빠르고 쌌다
  • 블록 작업은 런당 2.5분에 약 $0.94였고 Fable 5.1은 6.8분에 $2.12였다.
  • 출력 토큰은 블록 작업에서 Astra 2.1k, Fable 5.1 12.9k였다.
• 같은 에이전트 정책으로 비교했다
  • 양팔 YAM 로봇에 카메라 3개 뷰와 상태값을 매 턴 주고, move_to로 말단 위치를 절대 좌표로 지시했다.
  • 설정은 medium thinking effort, LLM 호출 20회 제한, 속도 25% 제한이었다.
• 채점은 0~4단계 사람 평가
  • 접촉, 들어올림, 목표 위 위치, 최종 배치 순서로 몇 단계까지 갔는지 기록했다.
  • 실패한 런도 어디까지 갔는지 남는다.

Community Reactions

• IK 파이프라인에 기대고 작은 실험이라는 비판
  • 블록 하나 집기 실험이고 IK 컨트롤러에 의존하며 VLA 모델과 비교도 없다는 의견이 있었다.
  • VLM 플래너와 VLA 컨트롤러를 나누는 계층 구조가 최근 흐름이라는 의견도 있었다.
• 비용이 너무 비싸다는 의견
  • 블록 하나 치우는 데 $2는 노동으로 보기엔 매우 비싸다는 의견이 있었다.
• Astra로 로봇 팔 코드를 짜 봤더니 별로였다는 경험
  • 장난감 탱크 로봇 팔 제어 스킬을 만들게 했더니 서보 방향, 그리퍼 범위를 틀리고 테스트 코드만 썼다고 한다.
  • Sol 5.6보다 비쌌고 약 2시간에 1000~1250 크레딧을 썼다고 한다.
• Astra 컴퓨터 사용이 인상적이었다는 경험
  • Codex에서 computer use로 밤새 게임을 만들게 했더니 에셋까지 완성했다는 경험이 있었다.

How to Apply

• 오늘 내 툴 호출 에이전트의 단계 점수표 만들기
  • 실패 로그를 보고 접촉·들어올림·위치·완료 같은 단계 기준을 정한다.
  • 성공/실패만이 아니라 어디서 멈추는지 기록한다.
• 모델별 비용을 런당으로 비교하기
  • 같은 작업을 20회씩 돌려 성공률, 소요 시간, 출력 토큰, 런당 비용을 표로 모은다.
  • 정가 기준으로 계산하고 캐시 적용 여부를 적어 둔다.
• 비교 조건을 맞추고 한계 적기
  • 같은 장비, 같은 시간대, 같은 reasoning effort로 실행한다.
  • 채점자가 모델명을 모르게 하고 못 맞춘 조건은 문서에 남긴다.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 단계별 채점표 만들기)

나는 LLM 에이전트로 {{작업 설명}}을 자동화하고 있어. 아래는 실패한 실행 로그야.
{{실행 로그}}

다음을 해줘.
1. 이 작업을 0~4단계(0 시도 없음, 1 시작, 2 중간 진행, 3 거의 완료, 4 완료)로 나눈 채점 기준을 작성해.
2. 각 로그가 몇 단계까지 갔는지 채점하고 이유를 한 줄로 적어.
3. 가장 많이 멈추는 단계를 찾아 개선 방안을 제안해.

이어서 해 볼 것: 모델 2개로 같은 로그를 채점시키고 결과를 비교해 봐.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://openai.robocurve.org/gpt-6-astra/
• https://say-can.github.io/
• https://lianegalanti.github.io/Pigey/