FableCut – AI 에이전트가 조작할 수 있는 브라우저 기반 비디오 에디터 (zero deps)

Who Should Read

AI 에이전트를 활용한 미디어 자동화 파이프라인을 구축하려는 개발자, 또는 Claude Code 같은 LLM 도구로 비디오 편집 워크플로우를 자동화하고 싶은 풀스택 개발자.

Core Mechanics

• FableCut은 npm 의존성이 전혀 없고(zero dependencies) 단 하나의 `node server.js` 명령으로 실행되는 브라우저 기반 비선형 비디오 에디터다. Premiere 스타일의 타임라인 UI를 제공하면서도 외부 라이브러리 없이 동작한다.
• 이 프로젝트의 핵심 아이디어는 '프로젝트 파일이 곧 인터페이스'라는 것이다. 타임라인 전체(미디어, 클립, 트랙, 이펙트, 키프레임, 트랜지션)가 `project.json` 하나로 표현되기 때문에 JSON을 쓸 수 있는 어떤 프로세스든 비디오를 편집할 수 있다.
• AI 에이전트 연동은 MCP(Model Context Protocol)와 REST API 두 가지 방식을 모두 지원한다. Claude Code, Claude Desktop 등 MCP를 지원하는 AI 도구가 직접 타임라인을 조작할 수 있다.
• 에이전트가 JSON을 수정하면 브라우저 UI가 SSE(Server-Sent Events, 서버에서 클라이언트로 실시간 이벤트를 밀어주는 기술)를 통해 약 150ms 이내에 라이브 리로드된다. 사람과 AI 에이전트가 동시에 같은 타임라인을 작업할 수 있다.
• 실제 데모에서는 'edit a reel from these assets'라는 프롬프트 하나를 주었을 때 Claude Code가 약 6분간 컷 계획을 세우고 타임라인 전체를 JSON으로 작성해 24.5초짜리 릴 영상을 자동 완성했다. 데모 영상 자체도 FableCut으로 편집됐다.
• 편집 기능으로는 4개 비디오 트랙 + 3개 오디오 트랙, 드래그/트림/스플릿/스냅, 멀티셀렉트(rubber-band 선택), 실제 디코딩된 오디오 웨이브폼, 비트·큐 마커, 어스펙트 프리셋(16:9, 9:16, 4:5, 1:1), 12개 원클릭 필터 프리셋(시네마틱, teal-orange, 누아르, 빈티지, 사이버펑크 등)을 제공한다.
• 기존의 'AI 비디오' 도구들은 편집 결과를 API 뒤로 숨기는 방식이지만, FableCut은 반대로 편집 상태를 완전히 열어두는 구조다. 이로 인해 모듈형 템플릿, 외부 자동화 스크립트 연동 등 다양한 확장이 가능하다.

Evidence

• JSON + SSE 조합으로 에이전트 상호작용을 구현한 방식이 인상적이라는 반응이 많았다. '비디오 에디터에 굳이 별도 API가 필요 없고 JSON과 SSE만으로 에이전트 연동이 된다는 심플하고 효과적인 해법에 놀랐다'는 댓글이 특히 공감을 많이 받았다.
• 컴퓨터 유즈(AI가 화면을 직접 조작하는 방식)로 일반 편집 툴을 구동해본 경험자가 'JSON 프로젝트 파일을 직접 편집하는 방식이 컴퓨터 유즈보다 훨씬 최적화된 접근이고 모듈형 템플릿 같은 것도 쉽게 붙일 수 있어 가능성이 크다'고 평가했다.
• 비전(Vision) 분석과 파형(Waveform) 분석 기능이 없다는 점을 아쉬워하는 의견도 있었다. '모델에게 영상과 오디오를 '보고 듣게' 하는 기능이 있었으면 더 스마트한 자동 편집이 됐을 것 같다, V2에서 기대한다'는 반응이었다.
• 클라이언트 사이드 렌더링을 위해 Mediabunny 통합을 고려해보라는 제안과, Remotion(React 기반 비디오 렌더링 라이브러리) 통합 가능성을 묻는 댓글도 있었다. 또한 ffmpeg를 Claude Code에 직접 연결하면 별도 에디터 없이도 유사한 결과를 낼 수 있다는 대안 의견도 나왔다.
• TikTok 스타일 쇼츠 제작에 활용 가능한지 YouTube Shorts 링크를 첨부하며 묻는 댓글이 있었고, 비디오 편집 경험이 없는 사람이 학습 도구로 활용할 수 있겠다는 긍정적 반응도 있었다.

How to Apply

• Claude Code나 Claude Desktop에서 자동 쇼츠/릴 제작 파이프라인을 만들고 싶다면, FableCut을 로컬에서 실행하고 MCP 서버로 연결한 뒤 '이 에셋들로 릴 하나 편집해줘' 같은 프롬프트를 주면 Claude가 타임라인 JSON을 직접 작성하고 결과를 브라우저에서 실시간 확인할 수 있다.
• 반복적인 템플릿 기반 영상(예: 제품 소개, 이벤트 요약)을 대량 생성해야 한다면, project.json 구조를 템플릿화하고 외부 스크립트나 REST API 호출로 클립 데이터를 교체하는 방식으로 자동화 파이프라인을 구성할 수 있다. npm 의존성이 없어 서버 환경 세팅 부담이 거의 없다.
• 기존 AI 에이전트 워크플로우에 비디오 편집 기능을 추가하고 싶다면, FableCut의 REST API 엔드포인트를 에이전트의 도구(tool)로 등록해 에이전트가 타임라인을 읽고 수정할 수 있게 만들면 된다. SSE 기반 실시간 업데이트 덕분에 편집 진행 상황을 UI로 모니터링하면서 작업할 수 있다.

Terminology

관련 논문

• 노이즈 가득한 실행 로그에서 근본 원인 찾기: Agent 최적화를 위한 구조적 Trajectory 분석과 인과 추출

  Agent 실패 로그를 인과 그래프로 분석해 진짜 근본 원인만 골라내고, 해당 모듈 프롬프트만 정밀하게 수정하는 자동 최적화 프레임워크

• Microsoft, AI 에이전트를 위한 시각화 언어 Flint 공개

  Microsoft가 LLM/AI 에이전트가 차트를 쉽게 생성할 수 있도록 설계된 고수준 시각화 DSL(도메인 특화 언어) Flint를 오픈소스로 공개했다. 에이전트가 복잡한 시각적 세부사항 대신 의미론적 명세만 다루면 되도록 추상화 계층을 제공하는 게 핵심이다.

• 크게 생각하고, 작게 검색하라: Hierarchical Search Agent에서 모델 용량은 어디에 집중해야 하는가?

  멀티에이전트 검색 시스템에서 큰 모델은 질문 분해에, 작은 모델은 실제 검색 실행에 쓰는 게 정답이다.

• GeoSQL: Claude/Codex를 지리공간 데이터 분석 에이전트로 만들어주는 Skill

  PostGIS, BigQuery, Snowflake 등에서 지리공간 데이터를 다룰 때 Claude/Codex/GitHub Copilot에 설치해서 SQL 생성과 지도 렌더링까지 자동화해주는 오픈소스 Skill이다.

• GitLost: GitHub AI 에이전트를 속여 비공개 저장소 내용을 유출시킨 방법

  Noma Security 연구팀이 GitHub의 새 AI 에이전트 워크플로우에서 Prompt Injection 취약점을 발견했고, 인증 없이 공개 이슈 하나만으로 조직 내 private 저장소 내용을 외부에 노출시키는 데 성공했다.

• AI가 Cloudflare의 암호화 라이브러리 CIRCL에서 실제 버그 7개를 찾아낸 이야기

  zkSecurity 팀이 AI 감사 파이프라인을 Cloudflare의 오픈소스 암호화 라이브러리 CIRCL에 돌려서 실제로 존재하는 버그 7개를 발견했고, 그 중에는 속성 기반 암호화의 접근 제어를 완전히 우회할 수 있는 Critical 버그도 포함되어 있다. AI가 암호화 코드 감사에서 실질적인 성과를 낼 수 있음을 보여준 사례라 주목할 만하다.

Related Resources

• FableCut GitHub 저장소
• FableCut v1.3.0 릴리즈 (데모 영상 포함)
• Screenkite (유사 AI 비디오 에디터)