AgentHandover: 내 작업 방식을 자동으로 학습해 Claude에 전달하는 MCP 기반 로컬 앱

Who Should Read

Claude Code나 AI 코딩 에이전트를 매일 쓰는데 세션마다 같은 작업 방식을 설명하는 게 귀찮은 개발자. 특히 PR 리뷰, 클라이언트 온보딩 등 반복 워크플로우가 많은 프리랜서나 스타트업 개발자.

Core Mechanics

• Mac 메뉴바 앱으로 동작하며, 화면을 관찰해 작업 패턴을 자동으로 'Skill' 파일로 변환한 뒤 MCP(Model Context Protocol)를 통해 Claude나 다른 에이전트에 전달함.
• 두 가지 캡처 모드 제공: 직접 녹화하는 'Focus Record'(한 번 해보고 몇 가지 질문에 답하면 Skill 생성)와, 백그라운드에서 며칠간 조용히 관찰하는 'Passive Discovery'.
• Passive Discovery는 activity classifier로 작업과 노이즈를 구분하고, 세션이 끊겨도 관련 작업을 cross-session linking으로 연결해 3회 이상 관찰 후 패턴을 Skill로 합성함.
• 11단계 로컬 파이프라인으로 처리: 화면 캡처 → 로컬 VLM(Qwen 2.5 via Ollama)으로 프레임 주석 → semantic embedding으로 유사 워크플로우 그룹핑 → 행동 합성까지 전부 내 기기에서 실행.
• Skill 파일은 단순 프롬프트가 아니라 전략, 단계, 가드레일, 글쓰기 톤까지 담긴 구조화된 플레이북이며, 실행 성공/실패에 따라 confidence score가 업데이트되며 자가 개선됨.
• 스크린샷은 처리 후 삭제, PII(개인정보)와 API 키 자동 마스킹, 로컬 암호화 저장, 텔레메트리 없음 — 데이터가 기기 밖으로 나가지 않음.

Evidence

• 11단계 로컬 파이프라인으로 동작하며, Qwen 2.5(Ollama 기반 로컬 VLM)가 매 프레임마다 현재 앱, 현재 행동, 다음 행동 예측을 주석으로 달아 정확도를 높임.
• Passive Discovery가 사용자 본인도 인식하지 못했던 워크플로우(Monday 지표 루틴, GitHub 이슈 트리아지 패턴 등)를 자동 발굴한 사례가 실제 사용에서 확인됨.
• 각 Skill은 3회 이상 관찰 후 생성되는 lifecycle gate를 통과해야 에이전트가 사용 가능하며, 실행마다 confidence score가 갱신됨.

How to Apply

• PR 리뷰 프로세스처럼 절차가 명확한 작업은 Focus Record로 한 번 녹화하면 즉시 Skill이 생성되고, 이후 Claude Code가 MCP로 해당 Skill을 자동으로 참조해 같은 방식으로 진행함.
• 작업 패턴이 있는지 모르는 루틴(이슈 트리아지, 주간 리포트 등)은 Passive Discovery를 백그라운드에서 며칠 켜두면 자동으로 패턴을 찾아 Skill로 만들어줌.
• 생성된 Skill 파일은 Claude Code 외에도 OpenClaw, Codex 등 MCP를 지원하는 다른 에이전트 툴에도 바로 연결 가능하므로, 에이전트를 바꿔도 동일한 컨텍스트를 재활용할 수 있음.

Code Example

# 1. 레포 클론 및 설치
git clone https://github.com/sandroandric/AgentHandover
cd AgentHandover

# 2. Ollama로 로컬 VLM 준비
ollama pull qwen2.5

# 3. Claude Code에서 MCP 서버로 연결 (claude_desktop_config.json 예시)
{
  "mcpServers": {
    "agenthandover": {
      "command": "agenthandover-mcp",
      "args": []
    }
  }
}

# 4. Focus Record로 Skill 생성 예시 흐름
# - 메뉴바 앱 실행 → Record 클릭
# - "PR 리뷰" 작업을 실제로 수행
# - 완료 후 몇 가지 질문에 답변
# → skills/pr_review.skill.json 자동 생성

# 5. Claude Code 세션에서 자동으로 Skill 참조
# Claude가 MCP를 통해 pr_review Skill을 로드하고
# 해당 전략/단계/가드레일을 자동 적용함

Terminology

관련 논문

• AI 코딩 루프에 Formal Verification Gate 적용하기

  AI가 생성한 코드에서 보안 불변식(invariant)을 지키게 하려면 프롬프트 지시보다 타입 시스템 같은 구조적 제약이 훨씬 효과적이라는 주장과 구현 방법을 소개한다.

• AI로 Rust 코드 100K 라인 작성하며 얻은 교훈 (2025)

  Azure RSL(분산 합의 라이브러리)을 Rust로 재구현하면서 AI 코딩 에이전트를 활용해 4주 만에 100K 라인을 작성한 경험담으로, Code Contracts와 Spec-Driven Development를 AI와 조합하는 실전 워크플로우를 공유한다.

• 프로덕션 LLM Agent를 위한 Runtime Architecture Pattern 선택 및 조합 방법론

  LLM agent가 왜 터지는지 이름 붙이고, 어떤 아키텍처 패턴을 언제 써야 하는지 5단계로 정리한 실전 가이드

• Forge – Guardrails로 8B 모델 성능을 53%에서 99%로 끌어올리기

  작은 로컬 LLM(8B)에 guardrails(구조적 안전망)를 씌워 멀티스텝 에이전트 작업 성공률을 53%에서 99%까지 올린 Python 프레임워크 Forge 공개. 모델 자체는 건드리지 않고 실행 환경을 강화하는 접근법이라 주목받고 있음.

• Mini Shai-Hulud 재등장: npm 패키지 314개 동시 감염 사건 분석

  2026년 5월 19일, npm 계정 하나가 탈취되어 22분 만에 637개 악성 버전이 배포됐고, echarts-for-react·size-sensor 등 월 수백만 다운로드 패키지들이 감염되어 AWS 자격증명·SSH 키·AI 코딩 에이전트까지 탈취하는 정교한 공급망 공격이 발생했다.

• Code as Agent Harness: Executable, Verifiable, Stateful Agent 시스템을 향해

  LLM 에이전트에서 코드를 단순 출력물이 아닌 추론·행동·환경 모델링의 실행 인프라로 재정의한 102페이지짜리 서베이

Related Resources

• AgentHandover GitHub 레포