OpenGCUA: 코드 실행 중심의 범용 컴퓨터 사용 에이전트 오픈 스택
OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use
TL;DR Highlight
GUI 클릭 대신 코드 실행을 붙였더니 OSWorld-v2 점수 평균 19.6점↑, 스텝 53%↓
Who Should Read
브라우저·데스크톱 자동화 에이전트를 만들며 스크린샷+클릭 방식의 느린 속도와 높은 비용에 고민인 에이전트 개발자
Core Mechanics
- 클릭 목록 대신 프로그램을 쓰게 했다
- 모델이 한 번 호출에 if·for·assert가 든 파이썬 코드를 낸다.
- 중간 결과로 다음 동작을 정하니 모델 호출 없이 반복·검증이 된다.
- GUI+CLI 접근만으론 부족했다
- 같은 GUI·셸 권한에서도 코드 실행이 배치 GUI+CLI보다 평균 점수를 6.1점 올렸다.
- 스텝은 14.8% 줄었다.
- 스크린샷은 모델이 필요할 때만 요청한다
- 하네스(에이전트 실행 틀)가 매 스텝 찍던 규칙을 screenshot() 호출로 바꿨다.
- 불필요한 이미지가 빠져 캐시 적중률이 올랐다.
- todo 원장과 intent로 상태를 남긴다
- 모델이 todo에 changed_unverified, claimed_verified 같은 상태를 기록한다.
- intent는 사용자 이해용이라 점수는 오히려 약간 내려갔다.
- 실기기에서는 모델 차이가 크다
- 같은 하네스에서 Qwen3.8-Max가 GPT-6 Astra보다 추론 토큰을 19.4배 썼다.
- 워크북 과제에서 Qwen은 행 범위를 고정해 125칸 중 40칸을 비워뒀다.
Evidence
- 8개 모델 모두 점수가 올랐다
- OSWorld-v2 오프라인 82개 과제에서 GUI+batch 대비 평균 부분점수 +19.6점(45.3→64.9)이다.
- GPT-6 Astra 67.1→75.7, GLM-5.3-Flash 29.6→64.9이다.
- 스텝은 평균 53.0% 줄었다
- GUI+batch 대비이며 GPT-6 Astra는 102.1→33.5로 67.2% 감소했다.
- 출력 토큰은 평균 27.2% 감소했고 GPT-6 Astra는 거의 같았다.
- 온디맨드 스크린샷으로 캐시 적중 상승
- 코드 실행 기준 대비 Qwen3.8-Max 75.6→86.1%, DeepSeek-V4.1-Flash 61.9→76.3%다.
- 점수는 두 모델 모두 올랐다.
- 실기기 macOS 4과제 비교
- GPT-6 Astra는 4/4 완료, 평균 출력 12.9K 토큰이다.
- Qwen3.8-Max는 3/4 완료, 73.4K 토큰이며 추론 토큰은 2.6K 대 50.2K다.
How to Apply
- 에이전트 시스템 프롬프트에 코드 실행 규칙 넣기
- 오늘 쓰는 에이전트에 한 스텝에 파이썬 코드 한 블록만 내게 하고 bash()와 assert 예시를 붙여라.
- 스크린샷은 모델이 요청할 때만 첨부하도록 바꿔라.
- 검증 단계를 코드로 강제하기
- 파일 생성·폼 입력 같은 작업 뒤에 assert로 파일 수·내용을 확인하는 코드를 쓰게 하라.
- 개수 같은 완료 기준을 출력하게 해 누락을 잡아라.
- todo 원장으로 미검증 상태 분리하기
- 긴 작업에서 changed_unverified와 claimed_verified를 나눠 기록하게 하라.
- 완료 선언 전에 미검증 항목이 남았는지 확인하게 하라.
- 모델 선택 시 비용·시간 곡선 측정하기
- 같은 하네스로 후보 모델의 과제당 비용과 단계 수를 재라.
- 예산별로 최고 점수 모델이 달라지는지 비교하라.
Try It
# Claude나 ChatGPT 시스템 프롬프트/첫 메시지에 붙여넣기 (논문 방법의 간이 버전: 코드 실행 + 검증)
너는 {{환경: 예) 리눅스 데스크톱}}에서 작업하는 에이전트다. 매 스텝마다 짧은 <intent> 한 문장을 쓰고, 이어서 파이썬 코드 블록 <code>...</code> 하나만 낸다.
- 클릭 목록 대신 for/if/assert를 쓴 하나의 프로그램으로 여러 동작을 묶어라.
- 파일·셸로 가능한 일은 GUI보다 bash()를 우선하라.
- 스크린샷은 코드 출력만으로 판단할 수 없을 때만 screenshot()으로 요청하라.
- 완료 전에 결과를 assert로 검증하고, 개수는 print로 출력하라.
- 진행 상태는 todo.update(id, kind, content, status)로 pending/changed_unverified/claimed_verified로 기록하라.
작업: {{작업 설명}}
이어서 해 볼 것: 같은 작업을 이 프롬프트 없이 한 번 더 돌려 스텝 수와 토큰을 비교해 보라.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
Original Abstract (Expand)
Computer use has reached a turning point: the focus is expanding from GUI-only interaction to systems that complete tasks on users' computers through visual and programmatic interfaces. We define a generalist computer-use agent (GCUA) as a system in which the model chooses how to observe, act, and organize its work across visual and programmatic interfaces. Yet frontier implementations, such as GPT-6 Astra's computer-use system, remain largely closed, limiting systematic study of their design. We introduce Open Generalist CUA (OpenGCUA), an ongoing project to develop and open the full stack for GCUAs with the community. This report presents the first release of OpenGCUA. Code execution is a key feature of our agent design: it lets intermediate results determine subsequent operations and enables models to apply their existing programming capabilities directly to computer interaction. We also propose harness-to-model decision transfer, moving selected observations and task-state decisions from fixed harness rules to the model. On OSWorld-v2, our full configuration improves task scores across all eight evaluated models, including GPT-6 Astra and Claude Opus 5, raising mean partial score by +19.6 points and reducing reported steps per task by an average of 53.0% relative to batched GUI-only execution. We release our implementation and prompts, evaluation trajectories from all eight models, and preliminary versions of a real-device harness and a cross-device SDK. The harness addresses real-device challenges not fully captured by benchmarks, while the SDK provides a common programming interface across computers, mobiles and browsers. Across four real macOS tasks under our real-device harness, selected Qwen3.8-Max runs use 19.4 times as many reported reasoning tokens as GPT-6 Astra, highlighting substantial differences between models in real-device execution efficiency.