LLM 기반 발견(Discovery)은 초기화가 성패를 가른다
Initialization Improves LLM-Driven Discovery
TL;DR Highlight
병렬로 먼저 후보를 모아 시작점으로 삼았더니 SOTA 하니스 점수가 2~21% 올랐다
Who Should Read
LLM으로 알고리즘·프롬프트를 반복 개선하는 루프(OpenEvolve류)를 돌리는데 결과가 들쭉날쭉해 고민인 개발자
Core Mechanics
- 순차 개선이 항상 이기진 않는다
- 순차 하니스(과거 결과를 프롬프트에 계속 넣어 개선하는 루프)는 병렬 호출을 일부만 이긴다.
- 5개 과제마다 1등 하니스가 달랐다.
- 순차 루프는 모드 붕괴가 온다
- 후보 다양성이 궤적이 진행될수록 줄어든다.
- 병렬 방식이 후보가 더 다양했다.
- 다양성 장치는 효과가 들쭉날쭉했다
- 유사도 임계값·LLM 판정·중복 제거를 붙이면 다양성은 늘었다.
- 하지만 점수는 기본 Modular가 보통 가장 높았고 오히려 떨어지는 경우도 있었다.
- 초반 점수가 최종 점수를 예측한다
- 처음 15개 발견의 중앙값 점수와 궤적 최고 점수가 상관을 보였다.
- 과제마다 강도는 달랐다.
- 병렬로 먼저 모으고 순차로 넘어가면 이긴다
- 예산 일부를 병렬 탐색에 써서 좋은 초기 집단을 만든 뒤 순차 루프를 시작한다.
- 총 토큰 예산을 같게 맞춰도 순차 단독·병렬 단독보다 나았다.
Evidence
- SOTA 하니스 초기화로 2~21% 향상
- ShinkaEvolve·OpenEvolve·optimize anything에 최고 시드 1개로 초기화하면 모든 (과제, LLM) 조합에서 점수가 2%~21% 올랐다.
- 초기화하지 않은 같은 하니스와 같은 총 예산으로 비교했다.
- 수렴 예측 적중은 13개 중 9개
- 수렴 분석으로 예측한 초기화 예산이 가장 좋은 예산과 9/13 설정에서 일치했다.
- SOTA가 Modular를 못 이긴 사례
- TSP(Gemini 3.5 Flash)에서 Modular 평균 -1719, SOTA 평균 -1772였다.
- Prompt Optim.(Llama 3.1 8B)에서도 Modular 0.53, SOTA 0.47이었다.
- 다양성 개입이 점수를 낮춘 사례
- Circle Packing(GPT-OSS 120B)에서 Modular 2.44, 유사도 0.95 개입 2.19, 중복 제거 2.04였다.
- 초기 집단은 s=0.98이 무난했다
- 유사도 임계값 0.98로 거의 중복만 걸러낸 초기 집단이 보통 순수 greedy(s=1)보다 나았다.
- 더 다양하게(s<0.98) 구성하면 평균 성능이 떨어졌다.
How to Apply
- 지금 루프 앞에 병렬 샘플링 단계 넣기
- 오늘 쓰는 개선 루프의 시작 시드를 단일 값 대신 같은 프롬프트로 병렬 호출한 결과 중 상위 후보로 바꿔라.
- 점수 순으로 정렬하고 거의 같은 것만 제거해 15개를 뽑아라.
- 수렴 기준으로 전환 시점 정하기
- 병렬 호출을 배치로 돌리면서 최고 점수가 일정 비율 예산 동안 δ 이상 오르지 않으면 순차 루프로 넘어가라.
- δ와 N은 과제 점수 크기에 맞춰 직접 정하라(논문은 최고 점수보다 한두 자리 작게 잡음).
- 다양성 장치는 A/B로 검증하고 쓰기
- 초기화 예산 비율은 10~90% 구간을 스윕하기
- 소규모 과제에서 초기화 비율을 10·25·50·75·90%로 바꿔 최고 점수를 비교하라.
- 총 토큰 예산은 항상 같게 고정하라.
Try It
# 논문 방법의 간이 버전: Claude/ChatGPT에 붙여넣기 (병렬 초기화 후 순차 개선)
너는 최적화 에이전트다. 목표: {{과제 설명}}
점수 기준: {{평가 지표}} (높을수록 좋음)
1단계: 서로 독립적으로 해결안 8개를 만들어라. 각 해결안 아래에 예상 점수를 적어라.
2단계: 거의 같은 해결안은 제거하고 점수 상위 3개를 골라라.
3단계: 그 3개를 과거 예시로 보고, 이전과 다른 새 해결안을 만들어 점수를 최대화하라. 이 단계를 3번 반복하라.
마지막에 최고 해결안만 출력하라.
이어서 해 볼 것: 1단계 없이 시드 1개로 시작한 결과와 비교해 보자.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
Related Resources
Original Abstract (Expand)
Large Language Models (LLMs) have been used for novel discovery of algorithms, theorems, drugs, and other tasks through the use of harnesses that prompt an LLM to iteratively optimize an objective. In this work, we study the relationship between the population of previous iterates and eventual discovery success. We generalize past work on harness design to develop a suite of 12 harnesses called 'Modular' and characterize their performance across 5 diverse discovery tasks, finding that discovery success is brittle and sensitive to harness design. We uncover mode collapse, characterized by a dramatic drop in the diversity of iterates, as a common failure mode. We find that popular state-of-the-art harnesses and diversity-inducing harness interventions, which aim to prolong this collapse, yield inconsistent gains. Our results instead uncover that the performance of early discoveries is predictive of eventual success. We therefore propose a universally applicable intervention that performs an initial stage of parallel exploration in order to initialize subsequent iterative optimization. Our method provides consistent gains across many harnesses and target applications, confirming the importance of initialization in LLM-driven discovery.