SkillNEO: 점수 낮은 스킬 버전도 계속 고쳐서 에이전트 스킬을 진화시키기
SkillNEO: Non-Elitist Evolutionary Optimization of Agent Skills
TL;DR Highlight
점수 낮은 스킬도 계속 수정했더니 GPT-5.4 Mini 보상이 49.1%→66.4%로 올랐다
Who Should Read
SKILL.md 같은 에이전트 스킬을 실행 결과로 자동 개선하려는데 점수가 안 오르는 버전을 버려서 막히는 에이전트 개발자
Core Mechanics
- 점수 낮은 버전도 다음 수정의 출발점으로 둔다
- 기존 방식은 부모보다 점수가 올라야 다음 수정 대상이 된다.
- 여러 수정이 맞물려야 고쳐지는 경우 중간 버전은 점수가 안 오를 수 있다.
- SkillNEO는 '배포할 버전'과 '계속 고칠 버전'을 따로 고른다.
- 실행 기록을 비교해 고칠 곳을 찾는다
- 같은 버전 반복 실행, 부모-자식, 형제 버전의 실행을 서로 비교한다.
- 잘 되는 단계는 남기고 남은 실패만 고치게 한다.
- 스킬을 아예 안 본 건지, 보고도 틀린 건지도 구분한다.
- 옛 버전으로 돌아가 다시 고친다
- 나중에 쌓인 실행 기록을 근거로 이전 버전을 수정할 수 있다.
- 다른 가지의 쓸 만한 절차를 graft(이식)로 가져오기도 한다.
- 점수 0점인 버전이 최종 스킬의 부모가 됐다
- Gravitational Wave Detection에서 e04는 0점이지만 9개 체크 중 8개를 통과했다.
- 15Hz/20Hz 설정 충돌만 고친 f04가 100점으로 배포됐다.
- 약한 모델이 만든 스킬이 강한 모델에도 통한다
- Mini가 만든 스킬을 고정해 GPT-5.5와 Luna에 그대로 썼다.
Evidence
- Mini 평균 보상 49.1%→66.4%
- SkillsBench 86개 과제, 원래 스킬 대비 +17.3pp다.
- 수정된 41개 과제에서는 31.5%→67.8%이며 29 향상/12 동률/0 하락이다.
- 8개 도메인 모두 향상
- 소프트웨어 엔지니어링 +27.4pp, 금융/경제 +25.9pp, 산업/물리 +5.6pp(Mini, 원래 스킬 대비).
- 강한 모델에 재사용해도 향상
- 수정 41개 과제에서 Luna 63.9%→74.4%(+10.5pp)다.
- GPT-5.5는 공개된 원래 스킬 기준 60.5% 대비 71.1%(+10.6pp)다.
- 점수 낮은 버전이 최종 경로에 쓰였다
- 향상된 29개 과제 중 22개(75.9%)가 최종 경로에 비배포 부모를 썼다.
- 낮은 점수 버전 163개가 추가 수정됐고 45개가 이후 배포 후손을 가졌다.
How to Apply
- 실패한 실행 로그 둘을 비교해 스킬 수정 후보 뽑기
- 같은 과제의 성공 실행과 실패 실행을 LLM에 넣고 갈린 지점을 찾게 하라.
- 코드 예시 프롬프트로 오늘 바로 돌려볼 수 있다.
- 스킬 수정 이력을 트리로 저장하기
- 스킬 파일 버전과 그 실행 기록을 짝지어 남겨라.
- 점수가 내려간 버전도 폐기하지 말고 다음 수정 후보로 둬라.
- 배포 기준과 개발 기준 분리하기
- 배포는 반복 실행 평균이 가장 좋은 버전만 교체하라.
- 논문은 후보 6개, 승격 3개, 반복 3회를 썼다.
- 저렴한 모델로 개발하고 강한 모델에 재사용하기
- 작은 모델로 스킬을 고친 뒤 고정해 강한 모델로 평가하라.
- 과제별로 이득과 손실을 비교해 쓸 스킬만 채택하라.
Try It
# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전)
나는 에이전트 스킬(SKILL.md)을 개선하려 한다.
[현재 SKILL.md]
{{SKILL.md 내용}}
[성공 실행 로그]
{{성공 로그}}
[실패 실행 로그]
{{실패 로그}}
지시:
1. 두 실행이 갈라지는 지점을 찾고, 실패 원인 후보를 설명하는 실패 실행 수 기준으로 순위를 매겨라.
2. 에이전트가 스스로 복구한 오류는 원인에서 제외하라.
3. 이미 잘 작동하는 단계(보존할 것)와 남은 실패(고칠 것)를 나눠라.
4. 스킬을 안 봐서 실패했는지, 보고도 틀렸는지 구분하라.
5. 수정안을 3개 제안하되 각각 수정 대상과 근거 로그 줄을 인용하라.
이어서 해 볼 것: 수정안 적용 후 점수가 낮아도 버리지 말고, 다음 라운드의 출발점으로 남겨 비교하라.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
Original Abstract (Expand)
Agent skills turn procedural knowledge into reusable artifacts, allowing LLM agents to accumulate and refine expertise through experience. Building on this, skill evolution iteratively improves skills using execution feedback. However, improvement may require several interdependent edits, so low-reward versions can still be worth developing. Requiring immediate reward gains can discard useful partial repairs before their benefits emerge. Non-elitist evolution allows new versions to receive further edits despite scoring below earlier ones. For agent skills, this calls for evidence of what to preserve and repair next. We introduce SkillNEO (Non-Elitist Evolutionary Optimization for Agent Skills), which separately selects a version to use and versions to keep improving. Comparing how related versions perform the same task reveals working steps to preserve and remaining failures to fix. It can also revisit and revise earlier versions using later evidence. Across 86 SkillsBench tasks in eight domains, including software engineering and office work, SkillNEO raises GPT-5.4 Mini's average reward from 49.1% to 66.4%, within GPT-5.5 and GPT-5.6 Luna's original-skill range. Mini executes tasks, proposes revisions, and edits skills; final evaluation uses the same task instances. Gains span all eight domains. The same skills improve stronger models without further editing. On the 41 tasks with modified skills, reuse improves Luna by 10.5 percentage points and places GPT-5.5 10.6 points above its published original-skill reference. Execution records show these skills can benefit stronger models even when Mini still fails some task requirements. Search histories also show lower-scoring versions leading to skills ultimately selected for use. Together, these findings show that skill evolution can turn a weaker model's partial progress into reusable procedural knowledge for improving more capable agents.