OpenAI GPT-6 Astra, ARC-AGI-3에서 최고 99.9% 기록

TL;DR Highlight

하네스를 Provider Adapter로 바꾸자 Astra 점수가 62.7%에서 99.9%로 올랐다

Who Should Read

에이전트 루프에서 컨텍스트 관리 방식과 추론 effort 설정을 정해야 하는 LLM 백엔드 개발자

Core Mechanics

하네스 바꾸니 62.7%가 99.9%
- Standard 하네스에서 Astra(max)는 ARC-AGI-3 Semi-Private 62.7%, 비용 $26K였다.
- Provider Adapter 하네스에서는 Astra(high)가 99.9%, $19K였다.
두 하네스는 컨텍스트 처리가 다르다
- Standard는 모델이 고른 메모만 환경 내내 들고 간다.
- Provider Adapter는 비공개 추론 상태(opaque reasoning state)를 요청 사이에 보존하고, 긴 대화는 압축(compaction)한다.
Provider Adapter는 더 빠르고 토큰도 적게 썼다
- 두 하네스가 모두 푼 167개 게임-추론 조합에서 총 경과 시간이 약 3.66배 빨랐다.
- 총 토큰은 49% 적게 썼다.
Astra 메모가 코드처럼 압축돼 있었다
- 물체 위치, 규칙, 미완성 계획을 대수식 약어로 적었다(예: extend8 to3; retract10 to2).
- 완전한 프로그래밍 언어가 아니라 즉석에서 만든 속기 표기라고 설명한다.
사람 중앙값보다 적은 행동으로 풀었다
- Provider Adapter에서 Astra(max)는 96.0% 레벨에서 사람 기준선보다 적은 행동을 썼다.
- 레벨당 평균 행동 수는 51.7% 적었다.

Community Reactions

벤치마크 포화를 두고 목표점이 계속 옮겨질 거라는 의견
- 99.9%면 AGI라고 보는 댓글에 대해, 이제 사람이 더 싸다는 쪽으로 기준이 옮겨질 거라는 예측이 달렸다.
- 검증 가능한 것은 모델이 다 풀게 될 거라는 의견도 있었다.
Erdos 문제에선 아직 긴 꼬리가 남았다는 의견
- Epoch AI 자료를 인용해 68문제 중 Astra가 한 번이라도 푼 건 5개라고 했다.
- 그 5개를 얻는 데 컴퓨터 비용이 $220,000 넘게 들었다고 한다.
하네스 사전 학습 가능성을 의심하는 질문
- OpenAI가 사전에 ARC-AGI-3 테스트를 돌려볼 수 있었다면 특화 하네스나 강화학습을 썼을 수 있지 않느냐는 질문이 나왔다.
추론 없는 모드도 성능이 좋았다는 지적
- none 설정이 Standard 35.2%, Provider Adapter 96.7%인 점을 짚은 댓글이 있었다.
- 비용 면에서는 퍼즐당 약 $360이라 사람 최저임금보다 비싸다는 계산도 나왔다.

How to Apply

에이전트 루프의 메모 전달 방식 점검하기
- 오늘 30분 동안 지금 쓰는 에이전트가 이전 턴 정보를 어떻게 넘기는지 확인하라.
- 모델이 고른 메모만 넘기는 방식과 전체 히스토리를 넘기는 방식으로 같은 작업을 한 번씩 돌려 결과를 비교하라.
긴 대화에 요약 압축 단계 넣기
- 컨텍스트가 길어지는 작업에서 일정 턴마다 이전 내용을 압축해 이어 붙이게 구성하라.
- 압축 전후의 토큰 수와 성공률을 로그로 남겨라.
effort 단계별 총비용 측정하기
- 같은 작업 세트를 low부터 max까지 돌려 호출 수와 총 토큰 비용을 기록하라.
- 단가가 아니라 작업 완료당 총비용으로 비교하라.
점수 비교 시 하네스 조건 함께 기록하기
- 모델 비교 보고서에 Standard·Provider 방식 같은 컨텍스트 조건을 명시하라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT 대화창에 붙여넣기 (논문 방법의 간이 버전: 모델이 고른 압축 메모만 다음 턴으로 전달)

너는 규칙을 모르는 턴제 환경을 탐색하는 에이전트다. 매 턴 행동을 고른 뒤, 다음 턴에 가져갈 메모를 아래 형식으로 짧은 속기로 적어라.
STATE: 현재 상태를 기호와 좌표로 압축
RULES: 지금까지 확인한 규칙
PLAN: 순서가 있는 다음 행동 목록

환경 설명: {{환경 설명}}
지난 턴 메모: {{이전 메모}}
이번 관찰: {{관찰}}

이어서 해 볼 것: 같은 작업을 전체 대화 기록 방식으로도 돌려 행동 수와 토큰을 비교해 보라.

Terminology

하네스(harness)모델을 환경에 연결해 입출력과 메모리를 관리하는 실행 틀이다. 시험장의 규칙과 도구 세트라고 보면 된다.

Compaction긴 대화를 줄여서 이어 가는 기법이다. 회의록을 요약해 다음 회의에 넘기는 것과 비슷하다.

Action efficiency환경을 푸는 데 필요했던 행동 수다. 비용이 아니라 얼마나 적은 시도로 풀었는지를 본다.

ARC-AGI-3규칙이 주어지지 않은 턴제 환경에서 탐색, 모델링, 목표 설정, 계획을 보는 벤치마크다.