CUAWright: 디지털 에이전트를 위한 최소 통합 인터페이스 | AI Paper Digest

TL;DR Highlight

GUI 대신 bash 터미널만 줬더니 OSWorld 2.0 점수↑, 비용 37.5%↓

Who Should Read

브라우저·데스크톱 자동화 에이전트를 스크린샷 클릭 방식으로 만들다 비용과 실패율에 지친 개발자

Core Mechanics

액션을 bash 하나로 통일했다
- 브라우저는 디버깅 프로토콜(CDP)에 코드를 짜서 조작한다.
- GUI가 정말 막힐 때만 xdotool/pyautogui로 마우스·키보드를 쓴다.
스크린샷은 기본이 아니라 필요할 때만
- 기본 관찰값은 터미널 출력이다.
- 화면이 필요하면 캡처 CLI와 이미지 로딩 CLI를 두 단계로 호출한다.
파일 시스템이 메모리이자 도구 창고다
- 추출값·진행 상황·실패 기록을 파일로 저장하고 컨텍스트가 압축돼도 다시 읽는다.
- 에이전트가 직접 스크립트를 짜서 이후 단계에서 재사용한다.
에이전트가 스스로 도구를 만들어 썼다
- OSWorld 2에서 GPT-5.6 Sol은 84.8%(89개) 작업에서 저장된 코드·실행 파일을 만들었다.
- 만든 실행 파일 776개 중 24.7%(192개)가 재사용됐다.
멀티에이전트는 득이 크지 않았다
- 플래너·검증 에이전트를 붙여도 단일 에이전트와 비슷했다.
- 중앙값 턴 수는 GPT-5.6 Sol 101→151, GPT-5.5 73→137로 늘었다.

Evidence

OSWorld 2.0 비용·점수
- GPT-5.5 xhigh: 공식 47.5% 대비 CUAWright 63.2%(+15.7p), 작업당 $16.1→$10.1.
- GPT-5.6 Sol max: 공식 62.7% 대비 67.9%(+5.2p), 작업당 $13.9→$4.4.
웹 벤치마크 성공률
- Online-Mind2Web: GPT-5.4 GUI 83.4% 대비 CUAWright 88.1%(+4.7).
- Odysseys: GPT-5.4 GUI 33.5% 대비 77.5%(+44.0), 평균 76.1 스텝.
파일 시스템 제거 실험
- OSWorld 2.0에서 GPT-5.6 Sol 부분 점수가 67.9%→55.5%(-12.4p)로 떨어졌다.
- 본문 텍스트에는 -12.1 pts로도 적혀 있다.
WeaveBench·CAD
- WeaveBench PassRate: 같은 GPT-5.5로 Codex CLI 35.1% 대비 53.5%.
- BenchCAD with tool 평균 IoU: 공식 GPT-5.5 55.8% 대비 79.0%.
- CADGenBench 전체 점수: Codex+MCP 도구 45.7% 대비 49.4%.

How to Apply

에이전트에 파일 쓰기 규칙 한 줄 넣기
- 지금 쓰는 브라우저·데스크톱 에이전트 시스템 프롬프트에 작업 폴더 메모 파일 사용 규칙을 추가하라.
- 반복 작업은 스크립트로 저장해 재사용하라고 지시하고 성공률을 비교하라.
스크린샷을 기본 관찰에서 빼기
- 관찰값을 터미널 출력이나 접근성 트리 텍스트로 바꿔라.
- 필요할 때만 캡처 후 이미지 로드 명령을 호출하도록 도구를 둘로 나눠라.
브라우저 조작을 CDP 코드로 바꾸기
- 좌표 클릭 에이전트가 자주 실패하는 폼·목록 작업을 골라라.
- 접근성 이름으로 요소를 찾아 클릭하는 CLI 스크립트를 에이전트가 쓰게 하라.
샌드박스와 롤백부터 깔기
- 에이전트가 파일·설정을 직접 바꾸기 전에 컨테이너나 VM 안에서만 실행하라.
- 변경 전 스냅샷을 만들어 실패 시 되돌릴 수 있게 하라.

Try It

복사해서 바로 해보기

# Claude Code나 ChatGPT에 붙여넣는 프롬프트 (논문 방법의 간이 버전)

너는 터미널로만 작업하는 에이전트다. 작업: {{작업 설명}}
규칙:
1. 모든 행동은 bash 명령으로 한다. 스크린샷은 정말 필요할 때만 쓴다.
2. ./workspace/notes.md에 추출한 값, 진행 상황, 실패 기록을 계속 갱신한다.
3. 같은 작업을 두 번 이상 하게 되면 ./workspace/tools/ 아래에 인자를 받는 스크립트로 만들어 재사용한다.
4. 끝내기 전에 결과를 직접 다시 읽어 확인한다.

먼저 작업 환경을 점검하고, 계획 없이 바로 명령부터 실행해라.

이어서 해 볼 것: 같은 작업을 GUI 방식 프롬프트와 비교해 스텝 수와 토큰 비용을 재 보라.

Terminology

harness모델을 감싸 도구·환경·관찰 방식을 정해 주는 실행 틀이다. 자동차의 차체와 계기판 같은 역할이다.

CDPChrome DevTools Protocol의 약자로 코드로 브라우저를 조작하는 디버깅 프로토콜이다. 사람 손 대신 리모컨으로 브라우저를 다루는 셈이다.

접근성 트리화면 요소의 이름과 역할을 구조화한 텍스트 표현이다. 스크린샷 대신 읽는 화면 목차다.

OSWorld 2.0실제 데스크톱 앱 작업을 시키고 부분 점수와 완전 성공률로 채점하는 벤치마크다.

부분 점수(partial reward)작업 일부만 맞아도 점수를 주는 방식이다. 전부 맞아야 하는 strict와 짝이다.

관련 논문

Original Abstract (Expand)

The prevailing approach to computer-use agents couples a model with a domain-specific harness: a browser or desktop environment equipped with human engineered tools that are fixed before task execution. As models' coding capabilities improve, the GUI native and static harness prevents them from direct programmatic operation on system state, as well as flexible construction of tools. To this end, we introduce CUAWright, a minimal terminal harness of roughly 3K lines of code that uses bash commands as its sole action interface, and a file system as its evolvable space for dynamically creating tools and managing the context. We conduct comprehensive experiments across a wide range of digital tasks, and demonstrate that by giving the agent a minimal, programmable interface, it achieves substantially stronger results compared to their GUI or hybrid CLI interface across a wide range of tasks. On OSWorld 2.0, CUAWright delivers a 33.2% relative improvement in partial reward while reducing estimated cost by 37.5% compared with the published GPT-5.5 baseline. On Online-Mind2Web and the long horizon Odysseys benchmark, CUAWright substantially outperforms GUI native harness by 4.7% and 44.0% in success rate, respectively. Furthermore, we found the gains extend to CAD applications that require accurate visual understanding and CLI interaction: on CADGenBench and BenchCAD, our unified harness yields 8.1%-41.6% relative improvements over other CLI based harnesses with GPT-5.5. Together, these results suggest digital environments are far more programmable than their GUI interfaces imply, and a minimal terminal-focused harness is the key for better performance and efficiency.