Self-Refinement 파이프라인의 비대칭 모델 크기 배분

Who Should Read

생성→비평→수정 루프를 쓰는 에이전트의 추론 비용을 줄이려는 LLM 애플리케이션 개발자

Core Mechanics

• generator와 refiner는 클수록 좋다
  • 5개 벤치마크 모두에서 두 단계의 모델 크기를 키우면 파이프라인 성능이 올랐다.
  • 성능 변동폭은 critic보다 훨씬 컸다.
• critic 크기는 거의 상관없다
  • critic(초안의 문제를 짚어주는 단계)은 모든 벤치마크와 두 모델 계열에서 크기에 따른 변동이 가장 작았다.
  • 32B critic은 오류를 더 많이 찾아내지만 최종 성능 개선은 작았다.
• 그래도 critic은 빼면 안 된다
  • 가장 작은 Qwen3-0.6B critic도 critic 없이 refiner만 한 번 더 돌린 경우보다 낫다.
  • 추가 호출 한 번의 효과가 아니라 비평 내용 자체가 도움이 됐다.
• 작은 refiner는 초안을 망친다
  • Qwen3-32B 설정에서 refiner 파이프라인 30개 중 12개가 초안보다 나빴다.
  • 0.6B refiner는 맞는 부분까지 건드리거나 틀린 비평을 그대로 따랐다.
• 큰 refiner는 필요한 곳만 고친다
  • 32B refiner는 맞는 내용을 보존하고 필요한 수정만 했다.
  • 잘못된 비평은 무시하기도 했다.

Evidence

• refiner 변동이 critic보다 크다
  • Qwen3 PIE에서 표준편차는 refiner 20.60, critic 1.63이다.
  • Meeting Planning은 refiner 11.20 대 critic 3.10, CNN/DailyMail은 8.99 대 3.10이다.
• 0.6B critic의 이득
  • critic 없는 기준 대비 Meeting Planning 평균 +9.67(generator sweep), +10.34(refiner sweep)다.
  • PIE는 +9.03/+11.06, ZebraLogic은 +7.97/+7.86이다.
• 작은 refiner의 열화
  • Qwen3-32B 12/30, Qwen3-14B 9/30, Qwen3-8B 8/30, Gemma3-27B 8/20 파이프라인이 초안보다 나빴다.
  • P(32B,32B,0.6B)의 열화 50건 중 41건은 비오도 비평(사람 점수 3~5)인데도 발생했다.
• critic 품질 비교
  • ZebraLogic에서 non-misleading 비평 비율은 32B critic 70%, 0.6B critic 64%다.
  • 각 벤치마크에서 50개씩 사람이 채점했다.

How to Apply

• refiner만 큰 모델로 두고 critic은 줄이기
  • 지금 쓰는 critique 단계 모델을 가장 작은 모델로 바꿔 같은 입력 20~50개로 최종 점수를 비교해라.
  • 차이가 작으면 critic 비용을 그대로 절감해라.
• refiner 앞에 작은 모델 쓰지 않기
  • 수정 단계에 작은 모델을 쓰고 있다면 generator와 같거나 더 큰 모델로 바꿔라.
  • 수정 전후 결과를 비교해 초안보다 나빠지는 비율을 측정해라.
• refiner 프롬프트에 최소 수정 규칙 넣기
  • 비평에서 지적된 부분만 고치고 나머지는 그대로 두라고 지시해라.
  • 비평이 틀려 보이면 따르지 말라는 문장도 추가해라.
• critic 생략 A/B 테스트 돌리기
  • 같은 refiner로 비평 있음/없음 두 파이프라인을 돌려라.
  • 비평 있는 쪽이 이기는지 확인하고 이기면 작은 critic을 유지해라.

Try It

# Claude/ChatGPT에 붙여넣기. 논문 방법의 간이 버전: refiner 프롬프트(최소 수정 규칙)

당신은 refiner입니다. 아래 입력, 초안, 비평을 받아 수정본을 만드세요.
규칙: 비평에서 지적된 오류만 고치고, 맞는 부분은 한 글자도 바꾸지 마세요. 비평이 틀려 보이면 따르지 말고 이유를 한 줄로 쓰세요.

[입력]
{{문제}}

[초안]
{{초안}}

[비평]
{{비평}}

수정본과, 바꾼 부분 목록을 출력하세요.

이어서 해 볼 것: 같은 초안을 작은 모델과 큰 모델 refiner에 각각 넣고 초안이 망가지는지 비교해 보세요.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터