ML 리서치 에이전트는 왜 벤치마크에 과적합하지 않나: 압축이 답

Who Should Read

에이전트로 프롬프트나 파이프라인을 반복 튜닝하면서 검증셋 과적합이 걱정되는 LLM 앱 개발자

Core Mechanics

• 검증셋을 계속 써도 과적합이 안 생긴다
  • 교과서는 같은 holdout(학습에 안 쓴 평가 데이터)을 반복해서 보면 과적합한다고 말한다.
  • 그런데 오래 재사용된 벤치마크에 새 테스트셋을 만들어 보면 개선폭이 대부분 그대로 옮겨 간다.
• 에이전트는 리셋할 수 있어서 실험이 된다
  • 사람 연구 커뮤니티는 기억을 지우고 다시 돌릴 수 없다.
  • LLM 연구 에이전트는 기억을 지우고 보는 정보를 통제해 재실험할 수 있다.
• 설명은 Occam's razor(단순한 가설이 더 잘 일반화한다)의 수학적 버전이다
  • 가설을 훈련 데이터를 외우는 것보다 훨씬 적은 비트로 설명할 수 있으면 훈련 성능이 새 데이터에서도 유지된다.
  • 짧은 설명에는 데이터를 몰래 외워 둘 공간이 없다.
• 압축 테스트로 과적합을 진단한다
  • explorer가 검증셋으로 수백 라운드 최적화하면, compressor가 그 기록을 짧은 프롬프트로 압축한다.
  • reproducer는 그 프롬프트와 학습 데이터만으로 처음부터 구현하고, 성능이 같으면 전략이 압축 가능했다는 증명이 된다.
• 8개 데이터셋에서 32토큰이면 대부분 재현됐다
  • 데이터셋은 표 데이터·이미지 분류·언어 모델링·diffusion·reward modeling에 걸친다.
  • 언어 모델링 전략 하나는 16토큰까지 줄여도 held-out 성능 손실이 없었다.

Community Reactions

• 벤치마크 결과와 체감이 다르다는 반론
  • 최신 모델은 벤치마크로는 AGI급이지만 환각과 컨텍스트 열화 같은 문제가 여전하다며 이것이 과적합 사례라는 의견이 있었다.
• 압축=지능 담론에 대한 비판
  • Solomonoff induction처럼 무거운 작업을 매핑 속에 숨기면 압축이 공허해질 수 있다는 의견이 있었다.
• Occam's razor 해석에 대한 지적
  • 단순한 쪽이 더 맞을 확률이 높다는 게 아니라 단순하니까 선호해야 한다는 뜻이라는 의견이 있었다.
• 블로그 형식과 글쓰기 방식에 대한 불만
  • 논문 링크가 본문에 없어 다른 사용자가 arXiv 링크를 찾아 올렸다.
  • Claude로 쓴 글 같으니 공개해야 한다는 의견이 있었다.

How to Apply

• 프롬프트 최적화 결과를 압축해 재현해 보기
  • 오늘 튜닝으로 얻은 프롬프트나 파이프라인 설정을 32토큰 안쪽 요약으로 줄여라.
  • 새 대화에서 그 요약과 학습용 데이터만 주고 재구현시킨 뒤 검증 점수를 비교하라.
• 에이전트 튜닝 루프에 holdout 따로 두기
  • 반복 개선에 쓰는 검증셋과 마지막에 한 번만 보는 테스트셋을 분리하라.
  • 검증 점수는 오르는데 테스트가 안 오르면 압축 테스트로 과적합을 의심하라.
• 에이전트 피드백을 단순화해 보기
  • 평가 점수 전체 대신 최고 기록을 넘었는지 여부만 돌려주도록 루프를 바꿔라.
  • 성능이 유지되면 검증셋 정보가 덜 새는 구조로 확정하라.

Try It

# Claude 또는 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 압축-재현 테스트)

아래는 내가 반복 튜닝해 얻은 최종 전략이다.
{{최종 프롬프트 또는 파이프라인 설명}}

지시 1: 이 전략을 32토큰 이내의 전문가용 약어 메모로 압축해라. 압축 결과만 출력해라.

(새 대화를 열어서) 아래 메모와 과제 설명만 보고 전략을 처음부터 구현해라.
메모: {{압축 결과}}
과제: {{과제 설명}}

이어서 해 볼 것: 재구현 결과를 검증셋에서 평가하고 원래 점수와 비교한다. 16토큰, 8토큰으로 줄여 어디서 성능이 깨지는지 본다.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://www.amazon.science/blog/why-dont-machine-learning-research-agents-overfit
• https://arxiv.org/abs/2606.11045