LLM이 고전 하이퍼파라미터 최적화(HPO)를 이길 수 있을까? autoresearch 연구

Can LLMs Beat Classical Hyperparameter Optimization Algorithms?

Jun 9, 2026•galsapir•View Original

TL;DR Highlight

LLM 단독보다 CMA-ES와 LLM을 섞은 Centaur가 가장 좋았다

Who Should Read

LLM 에이전트로 모델 학습 설정을 자동 튜닝해 보려는 ML 서비스 백엔드 개발자

Core Mechanics

고전 HPO가 LLM 에이전트를 이겼다
- 탐색 공간을 고정하면 CMA-ES와 TPE가 LLM 기반 에이전트를 꾸준히 앞섰다.
- 이 설정에서는 탐색 다양성보다 메모리 부족(OOM) 실패를 피하는 게 더 중요했다.
코드 직접 수정은 격차만 좁혔다
- LLM이 소스 코드를 직접 고치게 하면 고전 방식과의 격차가 줄었다.
- Claude Opus 4.6, Gemini 3.1 Pro Preview 같은 최신 모델로도 격차는 안 닫혔다.
LLM은 시도 간 상태 추적에 약했다
- LLM은 여러 번 시도하는 동안 최적화 상태를 기억하고 이어 가는 데 어려움을 겪었다.
- 반대로 고전 방식에는 LLM이 가진 도메인 지식이 없다.
Centaur는 CMA-ES 내부 상태를 LLM에 보여준다
- CMA-ES(공분산 행렬 적응 진화 전략)의 평균 벡터, 스텝 크기, 공분산 행렬을 LLM과 공유한다.
- 실험에서 Centaur가 가장 좋은 결과를 냈다.
0.8B 모델로도 충분했다
- Centaur에서는 0.8B LLM만으로 모든 고전 방식과 순수 LLM 방식을 넘어섰다.
- 제약 없는 코드 수정 방식은 고전 방식과 맞서려면 더 큰 모델이 필요했다.
결론은 대체가 아니라 보완이다
- 저자들은 LLM이 고전 최적화기의 대체재가 아니라 보완재로 가장 효과적이라고 본다.

Community Reactions

TPE가 LLM 없이도 비슷하다는 의견
- TPE가 Karpathy의 autoresearch를 압도하고 논문 방법과도 막상막하라, LLM의 추가 가치는 미미하다는 의견이 있었다.
- 더 비싼 방법이 입증되기 전에는 싼 방법을 택하겠다는 입장이었다.
실험 설계에 결함이 있다는 반론
- Centaur는 LLM을 r=0.3 비율로만 호출하는데, r을 튜닝한 비용이 예산에 안 잡혀 비교가 불공정하다는 지적이 있었다.
- Figure 11에서 0.1~0.5 구간 차이가 노이즈일 수 있고 r=0.8이 나쁘게 나온 점도 LLM 기여를 의심하게 한다는 주장이었다.
특정 조건에선 LLM이 이긴다는 경험
- 평가 비용이 매우 비싼 경우나 HPC 코드 파라미터 자동 튜닝에서는 최신 LLM이 고전 최적화기를 이기기도 했다는 경험이 있었다.
- 오픈 웨이트 모델은 어떤 용도에선 잘하고 어떤 용도에선 크게 실패했다고 한다.
구현이 쉬울 것이라는 의견과 저자 후속 결과
- 코딩 에이전트와 pycma의 ask-and-tell 인터페이스로 Centaur를 구현하기 쉬울 것이라는 의견이 있었다.
- 저자는 더 많은 모델과 시드로 확장한 라이브 트래커에서도 Centaur가 여전히 이긴다고 밝혔다.

How to Apply

CMA-ES 상태를 프롬프트에 넣어 보기
- 지금 쓰는 튜닝 루프의 최근 시도 결과와 최적화기 상태(평균, 스텝 크기)를 LLM에 보여주고 다음 후보를 물어보자.
- 아래 프롬프트를 붙여넣어 결과가 기존 제안과 어떻게 다른지 비교하자.
LLM 호출 비율을 설정값으로 빼기
고전 HPO를 기본 베이스라인으로 두기
OOM 방지 규칙을 탐색 공간에 넣기

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: CMA-ES 상태를 LLM에 공유)

너는 하이퍼파라미터 튜닝 보조자다. 아래는 CMA-ES의 현재 상태와 최근 시도 결과다.

[탐색 공간]
{{파라미터 이름, 범위, 메모리 제약}}

[CMA-ES 상태]
- 평균 벡터: {{mean}}
- 스텝 크기: {{sigma}}
- 공분산 행렬: {{cov}}

[최근 시도와 점수]
{{trial 목록: 파라미터, 점수, OOM 여부}}

요청:
1. 최적화기 상태와 시도 기록을 보고 다음에 시도할 후보 3개를 제안해라.
2. 각 후보가 왜 유망한지 한 줄로 설명해라.
3. 메모리 부족이 날 만한 후보는 제외해라.
출력은 JSON 배열로만 해라.

Terminology

HPO하이퍼파라미터 최적화. 학습률이나 배치 크기 같은 설정값을 자동으로 찾는 일로, 요리 레시피의 불 세기와 시간을 자동으로 맞추는 것과 비슷하다.

CMA-ES진화 전략 기반의 최적화 알고리즘. 후보를 여러 개 뿌려 잘 나온 쪽으로 탐색 분포의 중심과 모양을 조금씩 옮겨 간다.

TPE좋았던 시도와 나빴던 시도의 분포를 따로 모델링해 다음 후보를 고르는 최적화 방법. 합격자와 불합격자 특징을 비교해 다음 지원자를 뽑는 것과 비슷하다.

autoresearchLLM 에이전트가 학습 코드를 직접 편집해 하이퍼파라미터를 최적화하게 하는 저장소. 이 논문은 이를 테스트베드로 썼다.

Centaur논문이 제안한 하이브리드 방식. CMA-ES의 내부 상태를 LLM과 공유해 둘의 장점을 합친다.

Related Resources

LLM이 고전 하이퍼파라미터 최적화(HPO)를 이길 수 있을까? autoresearch 연구

Can LLMs Beat Classical Hyperparameter Optimization Algorithms?

Jun 9, 2026•galsapir•View Original

TL;DR Highlight

LLM 단독보다 CMA-ES와 LLM을 섞은 Centaur가 가장 좋았다

Who Should Read

LLM 에이전트로 모델 학습 설정을 자동 튜닝해 보려는 ML 서비스 백엔드 개발자

Core Mechanics

고전 HPO가 LLM 에이전트를 이겼다
- 탐색 공간을 고정하면 CMA-ES와 TPE가 LLM 기반 에이전트를 꾸준히 앞섰다.
- 이 설정에서는 탐색 다양성보다 메모리 부족(OOM) 실패를 피하는 게 더 중요했다.
코드 직접 수정은 격차만 좁혔다
- LLM이 소스 코드를 직접 고치게 하면 고전 방식과의 격차가 줄었다.
- Claude Opus 4.6, Gemini 3.1 Pro Preview 같은 최신 모델로도 격차는 안 닫혔다.
LLM은 시도 간 상태 추적에 약했다
- LLM은 여러 번 시도하는 동안 최적화 상태를 기억하고 이어 가는 데 어려움을 겪었다.
- 반대로 고전 방식에는 LLM이 가진 도메인 지식이 없다.
Centaur는 CMA-ES 내부 상태를 LLM에 보여준다
- CMA-ES(공분산 행렬 적응 진화 전략)의 평균 벡터, 스텝 크기, 공분산 행렬을 LLM과 공유한다.
- 실험에서 Centaur가 가장 좋은 결과를 냈다.
0.8B 모델로도 충분했다
- Centaur에서는 0.8B LLM만으로 모든 고전 방식과 순수 LLM 방식을 넘어섰다.
- 제약 없는 코드 수정 방식은 고전 방식과 맞서려면 더 큰 모델이 필요했다.
결론은 대체가 아니라 보완이다
- 저자들은 LLM이 고전 최적화기의 대체재가 아니라 보완재로 가장 효과적이라고 본다.

Community Reactions

TPE가 LLM 없이도 비슷하다는 의견
- TPE가 Karpathy의 autoresearch를 압도하고 논문 방법과도 막상막하라, LLM의 추가 가치는 미미하다는 의견이 있었다.
- 더 비싼 방법이 입증되기 전에는 싼 방법을 택하겠다는 입장이었다.
실험 설계에 결함이 있다는 반론
- Centaur는 LLM을 r=0.3 비율로만 호출하는데, r을 튜닝한 비용이 예산에 안 잡혀 비교가 불공정하다는 지적이 있었다.
- Figure 11에서 0.1~0.5 구간 차이가 노이즈일 수 있고 r=0.8이 나쁘게 나온 점도 LLM 기여를 의심하게 한다는 주장이었다.
특정 조건에선 LLM이 이긴다는 경험
- 평가 비용이 매우 비싼 경우나 HPC 코드 파라미터 자동 튜닝에서는 최신 LLM이 고전 최적화기를 이기기도 했다는 경험이 있었다.
- 오픈 웨이트 모델은 어떤 용도에선 잘하고 어떤 용도에선 크게 실패했다고 한다.
구현이 쉬울 것이라는 의견과 저자 후속 결과
- 코딩 에이전트와 pycma의 ask-and-tell 인터페이스로 Centaur를 구현하기 쉬울 것이라는 의견이 있었다.
- 저자는 더 많은 모델과 시드로 확장한 라이브 트래커에서도 Centaur가 여전히 이긴다고 밝혔다.

How to Apply

CMA-ES 상태를 프롬프트에 넣어 보기
- 지금 쓰는 튜닝 루프의 최근 시도 결과와 최적화기 상태(평균, 스텝 크기)를 LLM에 보여주고 다음 후보를 물어보자.
- 아래 프롬프트를 붙여넣어 결과가 기존 제안과 어떻게 다른지 비교하자.
LLM 호출 비율을 설정값으로 빼기
고전 HPO를 기본 베이스라인으로 두기
OOM 방지 규칙을 탐색 공간에 넣기

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: CMA-ES 상태를 LLM에 공유)

너는 하이퍼파라미터 튜닝 보조자다. 아래는 CMA-ES의 현재 상태와 최근 시도 결과다.

[탐색 공간]
{{파라미터 이름, 범위, 메모리 제약}}

[CMA-ES 상태]
- 평균 벡터: {{mean}}
- 스텝 크기: {{sigma}}
- 공분산 행렬: {{cov}}

[최근 시도와 점수]
{{trial 목록: 파라미터, 점수, OOM 여부}}

요청:
1. 최적화기 상태와 시도 기록을 보고 다음에 시도할 후보 3개를 제안해라.
2. 각 후보가 왜 유망한지 한 줄로 설명해라.
3. 메모리 부족이 날 만한 후보는 제외해라.
출력은 JSON 배열로만 해라.

Terminology

CMA-ES진화 전략 기반의 최적화 알고리즘. 후보를 여러 개 뿌려 잘 나온 쪽으로 탐색 분포의 중심과 모양을 조금씩 옮겨 간다.

autoresearchLLM 에이전트가 학습 코드를 직접 편집해 하이퍼파라미터를 최적화하게 하는 저장소. 이 논문은 이를 테스트베드로 썼다.

Centaur논문이 제안한 하이브리드 방식. CMA-ES의 내부 상태를 LLM과 공유해 둘의 장점을 합친다.

LLM이 고전 하이퍼파라미터 최적화(HPO)를 이길 수 있을까? autoresearch 연구

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

LLM이 고전 하이퍼파라미터 최적화(HPO)를 이길 수 있을까? autoresearch 연구

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources