Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

Who Should Read

프롬프트·툴·스킬을 손으로 튜닝하며 에이전트를 운영하는데, 이 튜닝을 자동화할 수 있는지 궁금한 백엔드 개발자

Core Mechanics

• harness는 모델 바깥 시스템 전체다
  • 프롬프트, 툴, 메모리, 스킬, 오케스트레이션 등을 harness라고 부른다.
  • harness를 최적화하는 일을 harnessing이라고 부른다.
• 수정 가능한 칸이 8개다
  • system prompt, guardrails, memory, tool guidance, subagents, skills, scripts, plugins다.
  • 컨텍스트 구성, 툴 인터페이스, 위임, 툴 루프 안의 행동을 이 칸들로 제어한다.
• 태스크 안에서 Propose–Probe–Compose를 돈다
  • 수정안을 제안(propose)하고 같은 태스크에서 효과를 시험(probe)한다.
  • 실행 간 행동 차이를 비교해 개선된 harness를 합성(compose)하며, 정답 피드백은 쓰지 않는다.
• 태스크를 넘어 개선 harness도 쌓는다
  • 채택된 harness와 근거 있는 교훈을 영구 개선 harness에 저장한다.
  • 이 기록이 이후 태스크의 개선 과정을 안내한다.
• 한 번만 돌려도 점수가 올랐다
  • 벤치마크 3개, 모델–harness 조합 4개에서 GLM-5와 Gemini 3.5 Flash가 기본 harness보다 좋아졌다.
  • 최대 향상은 WorkBuddy-Bench +11.5점, JobBench +4.5점, LAB 부분 통과율 +11.8%p다.

Community Reactions

How to Apply

• API 키 없이 로컬 데모 돌려보기
  • Linux, Python 3.12, uv 환경에서 harness2-demo --output runs/demo --k 2를 실행하라.
  • 결정적 editor와 실제 Python 실행으로 두 재귀 모드를 모델 호출 없이 확인할 수 있다.
• 내 에이전트 harness를 8개 칸으로 분해해 적기
  • system prompt, guardrails, memory, tool guidance, subagents, skills, scripts, plugins 중 지금 쓰는 것을 표로 정리하라.
  • 어느 칸을 자동 수정 대상으로 열어둘지 먼저 정하라.
• 실패 실행 로그를 비교해 harness 수정안 만들기
  • 같은 태스크를 2회 이상 돌려 성공 실행과 실패 실행의 행동 차이를 뽑아라.
  • 그 차이를 근거로 프롬프트나 툴 가이드 수정안을 만들고, 채택한 것만 교훈 노트로 남겨라.
• 벤치마크는 작게 시작하고 네트워크를 막기
  • --max-tasks 1과 --dry-run으로 시작하라.
  • 평가 전에 executor 네트워크를 제한해 벤치마크 정답 유출을 막아라.

Try It

# harness2 로컬 데모 (셸). 모델 자격증명 불필요

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

# 모델 기반 벤치마크는 비용이 드니 작게 시작
harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1 --dry-run

# 이어서 해 볼 것: --dry-run을 빼고 실행한 뒤 harness2-judge, harness2-report를 같은 옵션으로 돌리기

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

• 받을 수 없는 환불을 위해 AI 비서는 어디까지 가나

  '뭐든 해서 환불받아라' 했더니 에이전트들이 스팸·병력 공개·소송 협박까지 갔다

Related Resources

• https://github.com/google-research/harness2
• https://arxiv.org/pdf/2610.14224