Claude가 이제 당신의 컴퓨터를 직접 조작할 수 있습니다 (Computer Use 기능 출시)
Claude can now use your computer
TL;DR Highlight
Anthropic이 Claude에 컴퓨터 직접 제어 기능을 추가하여 앱 열기, 브라우저 탐색, 스프레드시트 작성 등 실제 데스크톱 작업을 자동으로 처리하도록 만들었습니다.
Who Should Read
반복적인 컴퓨터 작업을 자동화하고 싶은 개발자나 직장인. 특히 Claude Pro/Max 플랜을 사용 중이고 macOS 환경에서 작업하는 사람.
Core Mechanics
- 현재 Research Preview 단계로, Claude Cowork와 Claude Code에서 컴퓨터 직접 제어 기능을 활성화할 수 있습니다. 정식 출시가 아닌 조기 공개라 완벽하지 않을 수 있고 복잡한 작업은 재시도가 필요할 수 있습니다.
- Claude는 우선 Slack, Calendar 등 이미 연결된 앱 통합을 먼저 활용하고, 해당 커넥터가 없는 도구가 필요할 경우에만 사용자 허가를 받아 화면에서 직접 앱을 조작합니다. 즉, 모든 걸 마음대로 제어하는 게 아니라 권한 기반으로 동작합니다.
- 모바일에서 작업을 지시하고 자리를 비우면 데스크탑에서 작업이 완료되는 'Dispatch' 방식으로 활용할 수 있습니다. 스마트폰으로 지시만 내리고 돌아오면 결과물이 준비되어 있는 시나리오가 가능합니다.
- 매일 아침 이메일 스캔, 매주 금요일 보고서 생성 같은 반복 작업을 한 번만 지시하면 Claude가 알아서 스케줄에 따라 처리합니다. 대화 컨텍스트가 유지되므로 매번 다시 설명할 필요가 없습니다.
- 현재 Pro 및 Max 플랜, macOS 전용으로만 제공됩니다. 데스크탑 앱을 업데이트하고 모바일 앱과 페어링해야 사용할 수 있습니다.
Evidence
- Anthropic이 직접 'It won't always work perfectly, and complex tasks could need a second try'라고 명시했습니다. 즉 공식적으로 불완전함을 인정하고 사용자 피드백을 통해 개선하려는 목적으로 조기 공개한 것입니다.
- 현재 지원 범위는 앱 열기, 브라우저 탐색, 스프레드시트 작성 등 일반적인 데스크탑 작업 전반입니다. 구체적인 성공률이나 벤치마크 수치는 공개되지 않았습니다.
- 모바일에서 작업을 Dispatch하고 컴퓨터로 돌아오면 완료된 작업을 확인하는 시나리오가 소개되었으며, 이는 Claude Cowork 기능과 연동됩니다.
How to Apply
- 반복 보고서 자동화: '매주 금요일 오후 5시에 이번 주 Slack 메시지 요약해서 Google Sheets에 정리해줘'처럼 한 번 지시해두면 매주 자동으로 처리됩니다. Pro/Max 플랜 + macOS + 데스크탑 앱 최신 버전 필요.
- 외출 중 작업 위임: 스마트폰 Claude 앱에서 '회의 전 자료 조사해서 PPT 초안 만들어줘'라고 Dispatch하고 자리를 비우면, 돌아왔을 때 데스크탑에 결과물이 준비된 상태를 기대할 수 있습니다. (Research Preview라 복잡한 작업은 재확인 필요)
- 커넥터 없는 레거시 앱 자동화: Slack, Calendar처럼 공식 연동이 없는 사내 툴이나 레거시 앱도 화면 직접 제어로 처리 가능합니다. 단, 실행 전 사용자 허가 절차가 있으므로 완전 무인 자동화보다는 반자동화 시나리오에 적합합니다.
Terminology
관련 논문
프로덕션 AI 에이전트를 GPT-5.6으로 마이그레이션: 2.2배 빠르고 27% 저렴
마케팅 웹사이트를 자동 생성하는 프로덕션 AI 에이전트를 Claude Opus 4.8에서 GPT-5.6 Sol로 전환한 실전 경험담으로, 단순 모델 교체가 아니라 eval 하네스, 툴 스키마, 캐싱, 추론 리플레이까지 손봐야 했던 과정을 구체적인 수치와 함께 정리했다.
xAI Grok Build CLI가 xAI 서버로 전송하는 데이터: 네트워크 레벨 분석
xAI의 공식 코딩 CLI 도구 Grok Build가 사용자 동의 없이 전체 Git 저장소와 .env 시크릿 파일을 xAI 서버로 업로드한다는 사실이 네트워크 트래픽 분석으로 밝혀졌다.
중요할 때 기억하라: Long-Horizon 에이전트를 위한 Proactive Memory Agent
LLM 에이전트가 긴 작업 중 중요한 정보를 잊어버리는 문제를 별도의 메모리 에이전트가 '적절한 타이밍에' 끼어들어 해결하는 방법
WebSwarm: 깊고 넓은 웹 검색을 위한 재귀적 Multi-Agent Orchestration
복잡한 웹 검색을 재귀적으로 분해하고 각 노드에 적합한 검색 모드를 동적으로 할당하는 멀티에이전트 프레임워크
웹 앱을 리버스 엔지니어링해서 AI Agent 도구로 자동 변환하기
로그인된 웹 앱의 API 호출을 브라우저에서 감시해 자동으로 MCP 도구로 변환하는 에이전트를 만들었다. 소스 코드나 공식 API 문서 없이도 Jira, Spotify 같은 서비스에 AI 어시스턴트를 붙일 수 있다.
FableCut – AI 에이전트가 조작할 수 있는 브라우저 기반 비디오 에디터 (zero deps)
타임라인 전체를 JSON 파일 하나로 표현하고 MCP/REST로 AI 에이전트가 직접 편집할 수 있는 브라우저 비디오 에디터로, Claude 같은 AI가 프롬프트 하나로 영상을 자동 컷편집하고 결과를 실시간으로 UI에 반영해준다.