쪼개서 넘겨라: LLM 에이전트의 태스크 간 스킬 전이
Break It Down, Pass It On: Cross-Task Skill Transfer in LLM Agents
TL;DR Highlight
스킬을 태스크 전체 대신 서브태스크별로 뽑았더니 에이전트 성공률이 올랐다
Who Should Read
에이전트가 과거 경험을 메모리로 쌓아 재사용하게 만들었는데 오히려 성능이 떨어져 고민인 백엔드 개발자
Core Mechanics
- 태스크 통째로 뽑은 스킬은 오히려 해롭다
- 태스크 전체 궤적에서 뽑은 스킬은 11개 모델 평균 성공률을 메모리 없음(22.1%) 대비 텍스트 20.9%, 코드 18.0%로 낮췄다.
- 원래 태스크의 키워드가 스킬에 박혀서 다른 태스크에선 엉뚱한 맥락이 된다.
- 서브태스크 단위로 뽑으면 이득이다
- 같은 유도 프롬프트로 서브태스크마다 스킬 하나씩 뽑으면 평균 성공률이 텍스트 26.7%, 코드 25.3%였다.
- 로그인, 장바구니 필터처럼 여러 태스크가 공유하는 절차가 재사용된다.
- 스킬은 코드보다 텍스트가 낫다
- 텍스트 스킬이 코드 스킬보다 태스크 단위에선 2.9점, 서브태스크 단위에선 1.4점 높았다.
- 코드 스킬은 통째 함수를 한 번 호출하고 끝내는 식으로 에이전트를 망치기도 했다.
- 스킬 유용도 점수로 메모리를 진단할 수 있다
- 스킬이 실제 태스크와 얼마나 가까운지(specificity)와 여러 태스크에 고르게 맞는지(abstractness)를 곱한 값이다.
- 스킬 설명과 태스크 설명만 있으면 계산되어 돌려보지 않고도 메모리 품질을 가늠할 수 있다.
- 서브태스크 방식은 비용도 크게 안 든다
- 토큰은 태스크 단위보다 모델별로 1.2~2.2배 더 쓴다.
- 그래도 같은 비용 예산에서 중간 예산부터는 서브태스크 에이전트가 더 많이 푼다.
Evidence
- 서브태스크 스킬만 평균을 올렸다
- 11개 모델 평균 성공률은 메모리 없는 태스크 에이전트 22.1%, 태스크+텍스트 20.9%, 태스크+코드 18.0%였다.
- 서브태스크 에이전트는 메모리 없음 24.8%, +텍스트 26.7%, +코드 25.3%였다.
- 같은 에이전트에 스킬만 바꿔도 결과가 뒤집혔다
- 태스크 에이전트에 서브태스크 스킬을 주면 자기 스킬보다 평균 9.9점, AppWorld에서 최대 17.2점 높았다.
- AppWorld에선 메모리 없는 기준선보다 12.4점 위로 올라갔다.
- 유용도와 성공률이 거의 단조 증가했다
- 유용도 구간별 성공률은 태스크 에이전트 14.0%에서 24.5%, 서브태스크 에이전트 22.8%에서 31.0%로 올랐다.
- 10개 구간 스피어만 상관은 각각 0.98, 0.95였다.
- 유용도 높은 절반만 넣어도 성공률이 높았다
- 같은 스킬 라이브러리를 중앙값에서 반으로 나눠 돌린 6개 경우 모두 고유용도 쪽이 높았다.
- AppWorld 태스크 레벨은 고유용도 15.4% 대비 저유용도 10.2%였다.
- 코드 스킬이 최악으로 무너진 사례도 있었다
- GPT-OSS-120B의 AppWorld 성공률이 메모리 없음 27.3%에서 태스크 코드 스킬 시 1.0%로 떨어졌다.
- 해당 태스크의 69%가 두 스텝 안에 끝났고 메모리 없을 땐 0.2%였다.
How to Apply
- 지금 쓰는 스킬 메모리를 서브태스크 단위로 쪼개기
- 태스크 끝에 한 덩어리로 요약해 저장하는 부분을 찾아라.
- 플래너가 서브태스크로 나누고, 서브태스크가 끝날 때마다 스킬을 하나씩 뽑게 바꿔라.
- 스킬 설명에는 로그인, 장바구니 필터처럼 일반화된 절차 이름만 써라.
- 스킬은 우선 텍스트 노트로 저장하기
- 스킬 설명과 태스크 설명으로 유용도 점수 계산하기
- 검색된 스킬을 힌트로만 주입하기
Try It
# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 서브태스크 단위 텍스트 스킬 추출)
아래는 에이전트가 방금 끝낸 서브태스크의 실행 로그다.
{{서브태스크 로그}}
이 로그에서 재사용 가능한 경험 노트를 하나만 써라.
- description: 일반화된 절차 이름 (예: "Place an order on Amazon"). 특정 이름, 상품, ID는 넣지 마라.
- 첫 bullet은 "Procedure: step1 → step2 → ..." 형식으로 방금 한 절차만 요약해라.
- 나머지 bullet에는 놀랍거나 자명하지 않은 것만 적어라 (파라미터 이름 불일치, 예상 밖의 반환 키, 제약).
- 이미 있는 메모리와 겹치면 새로 쓰지 말고 새 사실만 추가해라.
- 별 내용이 없으면 description="" 로 비워라.
현재 스킬 메모리:
{{기존 스킬 목록}}
이어서 해 볼 것: 같은 태스크를 서브태스크 대신 전체 로그로 요약시켜 보고, 두 노트가 다른 태스크에 얼마나 재사용될 수 있는지 비교해 보라.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
Related Resources
Original Abstract (Expand)
Large language model (LLM) agents can induce skills from completed tasks and reuse them later to grow more capable with experience. In practice, induced skills may transfer unreliably and can even harm the agent that retrieves them. When agent-induced skills transfer reliably across tasks remains an open question. We conduct a comprehensive and controlled study of how the way skills are induced shapes their transfer across tasks. Specifically, we compare task-level with subtask-level skill induction and text with code skill formats, the two axes along which existing methods differ. Task-level skills mostly reduce the agent's performance below its no-memory baseline while subtask-level skills raise it above on average, and text skills transfer better than code skills. To further understand our findings, we examine two complementary properties of the induced skills: specificity, which measures how closely a skill matches real tasks, and abstractness, which measures how evenly its relevance spreads across tasks. Neither property alone predicts task success, but their combined effect does, which we propose as a skill utility score. The score correlates consistently with task success when skills are transferred, and subtask-level and text skills score higher. Computing skill utility only needs the skills and task descriptions, so our score serves as a lightweight diagnostic of a skill memory for practitioners.