AgentRun: 실행할수록 똑똑해지는 오픈소스 매니지드 에이전트 플랫폼
Show HN: AgentRun – open-source, Self-improving Managed Agents
TL;DR Highlight
에이전트가 매 실행 후 노트·스킬을 저장해 코드 리뷰 비용을 18센트로 낮췄다
Who Should Read
같은 작업을 반복하는 에이전트의 토큰 비용과 중단 복구 때문에 고민인 백엔드 개발자
Core Mechanics
- 실행마다 배운 걸 저장한다
- "learning": true를 켜면 run 마지막 턴에 에이전트가 남길 노트·스킬·워크플로를 제안한다.
- 코드가 검사하고 grader가 채점해 통과한 것만 에이전트의 git 폴더 main에 커밋한다.
- 다음 run은 거기서 시작한다.
- 코드 리뷰 비용 18센트
- Greptile이 3월에 리뷰당 1달러를 받기 시작했고, 월 청구서가 $180에서 $6,451로 올랐다고 한다.
- 저렴한 모델로 자체 리뷰어를 만들어 자기 PR로 튜닝하자 리뷰당 18센트가 됐다.
- 본 적 없는 PR 30개에서 Greptile 대비 실제 버그를 1.6배 더 잡았다고 한다.
- Opus가 배운 걸 싼 모델에 넘겼다
- 가맹점 분류를 Opus가 알아내게 한 뒤 그 결과를 저렴한 모델에 넘겼다.
- 같은 작업이 가맹점당 $0.89에서 $0.12로 내려갔다.
- 에이전트일 필요 없는 건 워크플로로
- 도구 호출, 모델 단계, 타입이 있는 빠른 판단(예/아니오, 점수, 신뢰도 포함)을 JSON 워크플로로 쓴다.
- 애매한 케이스만 에이전트에게 넘긴다.
- 학습된 스킬이 3번 쓰이면 워크플로 초안을 만들게 하고, 모델·도구 없이 dry-run으로 검증한다.
- 중간에 죽어도 이어서 실행
- 모든 run이 하나의 저장소(SQLite 또는 Postgres)에 있어서 서버를 껐다 켜도 이어진다.
- 끝난 단계는 다시 실행하지 않고, 쓰기 도중 끊긴 호출은 재시도 없이 interrupted로 표시한다.
- 통제 장치가 기본 제공된다
- 도구별로 허용·확인 요청·거부를 정하고, run마다 비용 상한을 둘 수 있다.
- 상한에 닿으면 실패하지 않고 멈추며, 가격을 모르는 비용은 $0이 아니라 unknown으로 표시한다.
- harness는 pi, Claude Code, Codex, OpenCode를 지원한다.
Community Reactions
- 구독 사용 여부를 묻는 질문
- Claude Code harness를 쓰는지 우회하는지, 구독 요금제와 관련해 궁금해하는 댓글이 있었다.
- 자기 학습 방식 설명 요청
- self-improving이 어떻게 동작하는지 설명해 달라는 댓글이 있었다.
- 로컬 오케스트레이터가 더 낫다는 의견
- 팀이 구독을 쓴다면 PR 리뷰는 로컬 오케스트레이터로 처리하는 게 비용도 싸고 품질도 높다는 의견이 있었다.
- 그 사례로 codealong를 만들었다고 소개했다.
- 비슷한 에이전트를 만든 경험
- 런타임에 다른 에이전트를 찾고 Modal에서 돌리며, 모든 행동을 검사하는 안전 계층을 둔 자체 에이전트를 만들었다는 경험이 있었다.
- Mission Control 화면이 마음에 든다는 반응도 있었다.
How to Apply
- 오늘 npx로 KYB 템플릿 돌려보기
- Node 24.22.3 이상에서 npx @parcha/agentrun을 실행하고 Settings에서 OPENROUTER_API_KEY를 추가하라.
- Templates에서 KYB due diligence를 적용해 회사명과 웹사이트로 run을 시작하라.
- 끝나면 Learning tab에서 에이전트가 무엇을 남겼는지 확인하라.
- 반복 작업 에이전트에 learning 켜기
- 같은 작업을 수십 번 도는 에이전트 정의에 "learning": true를 넣어라.
- 몇 번 돌린 뒤 Learning tab에서 노트와 스킬을 보고 불필요한 건 retire하라.
- run에 비용 상한 걸기
- runs start에 --max-cost-usd 1을 붙여 실행하라.
- 상한에 닿아 멈추면 필요한 최소 금액을 보고 이어갈지 정하라.
- 고정 절차는 워크플로로 옮기기
- 매번 같은 순서로 도는 에이전트 작업을 JSON 워크플로로 써라.
- npx @parcha/agentrun workflows validate로 검증한 뒤 애매한 케이스만 에이전트로 넘기게 하라.
Try It
# 터미널에 붙여넣기 (서버가 켜진 상태에서 두 번째 터미널, Node 24.22.3+)
cat > agent.json <<'EOF'
{"definition": {"id": "notes", "version": 1, "name": "Notes", "instructions": "Do what you are asked, and write what you make to a file.", "skills": [], "tools": ["write", "ask_person"]}}
EOF
npx @parcha/agentrun agents create --body @agent.json
npx @parcha/agentrun runs start notes --max-cost-usd 1 --wait --body '{"input": {"content": "Ask me which region to cover, then write region.md about it."}}' > out.json
run=$(node -p 'require("./out.json").run_id')
npx @parcha/agentrun runs message "$run" --content "Europe"
npx @parcha/agentrun runs wait "$run" > out.json
npx @parcha/agentrun runs read-file "$run" region.md
# 이어서: 에이전트 정의에 "learning": true를 넣고 여러 번 돌려 Learning tab을 확인해 보기Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
Claude Code 팀이 에이전트 작업을 검증하는 방법
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
LLM 추론에서 대화 히스토리가 몰래 치르는 비용
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다