Gemini 2.5 Computer Use 모델 출시 - UI를 직접 조작하는 AI 에이전트 | AI Paper Digest

TL;DR Highlight

Google이 Gemini 2.5 Pro 기반 마우스/키보드 직접 조작 모델을 API로 공개하여 웹·모바일 벤치마크에서 경쟁 모델을 능가하고 더 낮은 레이턴시를 실현했다.

Who Should Read

웹 브라우저 자동화나 RPA(반복 업무 자동화)를 구축하려는 개발자, 또는 기존 UI 기반 워크플로우를 AI 에이전트로 대체하고 싶은 팀.

Core Mechanics

Gemini 2.5 Computer Use는 Gemini 2.5 Pro의 시각 이해·추론 능력 위에 UI 조작 기능을 얹은 특화 모델이다. 화면 스크린샷을 보고 마우스 클릭, 키보드 입력 등을 직접 수행하는 에이전트를 만들 수 있다.
웹 및 모바일 제어 벤치마크 여러 개에서 경쟁 모델(Anthropic Computer Use 등)을 성능으로 앞섰고, 레이턴시도 더 낮다고 발표했다.
기존 AI는 API나 구조화된 데이터로 소프트웨어와 상호작용했는데, 이 모델은 사람처럼 화면을 '보고' UI를 조작하는 방식이라 API가 없는 레거시 시스템도 자동화할 수 있다.
Google AI Studio와 Vertex AI에서 Gemini API를 통해 프리뷰로 바로 사용할 수 있다. 별도 SDK 설치 없이 API 호출만으로 에이전트 구축이 가능하다.
구조화된 데이터 대신 화면 버퍼(스크린샷)를 입력으로 받아 처리하는 접근이라, 이론적으로는 사람이 할 수 있는 모든 컴퓨터 작업을 위임할 수 있는 방향으로 가고 있다.
다만 아직 한계가 명확하다. Google Sheets에서 셀을 잘못 클릭해 데이터를 덮어쓰는 등 정밀한 UI 조작에서 실수가 잦고, Wordle 같은 게임에서도 색상 피드백을 해석하지 못하는 사례가 보고됐다.
Gemini 2.5 Pro 자체가 tool calling(함수 호출) 품질에 문제가 있다는 지적이 있어서, Computer Use 모델도 복잡한 도구 연동 시나리오에서는 주의가 필요하다.

Evidence

Chrome DevTools MCP를 Gemini CLI와 함께 사용해 브라우저 자동화에 성공한 경험이 공유됐다. Computer Use 모델이 나오면 더 잘 동작할 것이라는 기대가 있었다.
실제로 Browserbase 데모로 웹사이트 로그인, 스크롤, 게시물 답글 작성까지 자동으로 수행하는 걸 보고 '소름끼친다'는 반응이 나왔다. 다만 작업 중간에 대화로 개입할 수 없는 점이 아쉽다는 의견도 있었다.
CAPTCHA에서 반복적으로 막히는 문제가 보고됐고, Google Sheets에서는 새 열을 채우려다 기존 열을 덮어쓰는 버그가 여러 번 발생했다는 경험담이 있었다. 정밀 조작은 아직 불안정하다.
엔터프라이즈 환경에서는 거버넌스 없이 프로덕션 투입이 불가능하다는 의견이 있었다. Claude Code의 hooks나 Google ADK의 callbacks 같은 제어 메커니즘이 필수인데, UI 기반 에이전트는 이런 거버넌스 적용이 API 기반보다 훨씬 어렵다는 지적.
스크린샷 기반이 아니라 OS 접근성(accessibility) API 데이터를 활용하는 게 더 효율적이라는 반론도 있었다. 스크린샷은 최후의 수단이어야 한다는 의견.

How to Apply

API가 없는 레거시 웹 앱의 반복 작업(데이터 입력, 보고서 다운로드 등)을 자동화하고 싶다면, Google AI Studio에서 Gemini 2.5 Computer Use API를 연동해 프로토타입을 만들어볼 수 있다. Browserbase 같은 클라우드 브라우저 서비스와 결합하면 서버 사이드에서 돌릴 수 있다.
기존에 Selenium/Playwright로 구축한 브라우저 자동화가 UI 변경마다 깨지는 문제가 있다면, Computer Use 모델로 대체하는 걸 검토해볼 만하다. CSS 셀렉터 대신 시각적으로 요소를 인식하므로 UI 변경에 더 강건하다.
프로덕션 적용 시에는 반드시 human-in-the-loop 또는 거버넌스 레이어를 추가해야 한다. 특히 결제, 메일 발송 등 되돌리기 어려운 액션 전에는 확인 단계를 넣는 아키텍처가 필수다.
정밀한 스프레드시트 작업이나 색상 기반 피드백이 필요한 시나리오는 아직 신뢰도가 낮으니, 이런 경우는 구조화된 API 호출 방식과 병행하는 하이브리드 접근이 현실적이다.

Terminology

Computer UseAI가 사람처럼 모니터 화면을 '보고' 마우스와 키보드를 조작해서 컴퓨터를 사용하는 기능. 스크린샷을 입력받아 다음 클릭/타이핑 위치를 결정한다.

VLMVision Language Model의 약자. 이미지와 텍스트를 동시에 이해하는 AI 모델로, 화면 스크린샷을 보고 어떤 버튼을 눌러야 하는지 판단할 때 쓰인다.

RPARobotic Process Automation의 약자. 사람이 반복적으로 하는 컴퓨터 작업을 소프트웨어 로봇이 대신하는 것. 기존 RPA는 UI 좌표나 셀렉터 기반이라 깨지기 쉬웠다.

Accessibility APIOS가 시각 장애인용 스크린 리더 등에 제공하는 UI 구조 데이터. 화면의 버튼, 텍스트 등을 프로그래밍적으로 읽을 수 있어서 스크린샷보다 정확할 수 있다.

Human-in-the-loopAI가 자동으로 처리하되 중요한 결정 지점에서는 사람이 확인하고 승인하는 방식. 실수를 방지하는 안전장치.

Gemini 2.5 Computer Use 모델 출시 - UI를 직접 조작하는 AI 에이전트