Agent Lightning v1.0.1: 코딩 에이전트가 다른 에이전트를 최적화하는 Skill

Who Should Read

직접 만든 AI 에이전트의 정확도·비용·지연을 손으로 튜닝하느라 시간을 쓰는 백엔드 개발자

Core Mechanics

• 첫 공식 Skill 릴리스
  • v1.0.1이 Agent Lightning Skill의 첫 공식 릴리스다.
  • 이 Skill은 코딩 에이전트가 다른 AI 에이전트를 최적화하도록 돕는다.
• 입력은 에이전트와 벤치마크
  • 수정 가능한 에이전트와 벤치마크를 준다.
  • Skill이 체계적인 개선 과정을 안내한다.
• 개선 대상이 넓다
  • 프롬프트, 도구, 워크플로, 모델, 추론 설정이 대상이다.
  • 정확도·비용·지연·신뢰성의 균형을 맞춘다.
• 측정하며 반복한다
  • 개선은 측정 기반 반복(measured iteration)으로 진행된다.
• Claude Code·Codex·Copilot용 설치
  • gh skill install 명령으로 설치한다.
  • --agent 옵션에 쓸 에이전트를 지정한다.
• 인프라 정비도 포함

Community Reactions

• README가 이상하다는 의견
  • 3,500줄짜리 경량 에이전트 RL 프레임워크라는 소개와 '단순함이 제1원칙'이라는 문구가 이상하다는 반응이 있었다.
  • 대기업 프로젝트치고 소개 방식이 아쉽다는 의견이다.
• 프로젝트 정체가 헷갈린다는 반응
  • 에이전트 작업 기반으로 LLM을 추가 학습·파인튜닝하는 툴킷으로 이해했다는 댓글이 있었다.
  • 이번 릴리스의 Skill과는 결이 다르다는 점이 혼란을 줬다.
• 효과를 궁금해하는 질문
  • 얼마나 좋은지 묻는 댓글이 있었다.
  • 원문에 성능 수치는 없다.

How to Apply

• Skill 설치해 보기
  • 오늘 쓰는 코딩 에이전트에 맞춰 gh skill install 명령을 실행하라.
  • 사내 에이전트 레포를 열고 Skill을 호출하라.
• 벤치마크부터 만들기
  • 에이전트가 풀 대표 질문과 정답 기준을 20~50개 정리하라.
  • 이 세트를 Skill의 개선 기준으로 넘겨라.
• 목표 지표 우선순위 정하기
  • 정확도·비용·지연·신뢰성 중 무엇을 우선할지 명시하라.
  • 변경 후 지표 변화를 기록해 채택 여부를 정하라.

Try It

# 터미널에서 실행 (원문 설치 명령, <agent>는 claude-code 등 사용 중인 에이전트 이름으로 교체)

gh skill install microsoft/agent-lightning agent-lightning --agent <agent>

# 설치 후 코딩 에이전트에 붙여넣을 지시
# 아래 {{에이전트 경로}}와 {{벤치마크 경로}}를 바꿔 넣으세요
Agent Lightning Skill을 사용해 {{에이전트 경로}}의 에이전트를 {{벤치마크 경로}} 기준으로 개선해줘. 프롬프트, 도구, 워크플로, 모델, 추론 설정을 바꿔 가며 정확도, 비용, 지연, 신뢰성을 측정하고 변경마다 결과를 표로 정리해줘.

# 이어서 해 볼 것: 개선 전후 점수를 비교해 보세요.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://github.com/microsoft/agent-lightning/releases/tag/v1.0.1