LLM은 예시보다 규칙 설명에서 더 잘 배운다 (In-Context Learning 비교)

TL;DR Highlight

예시 대신 규칙을 글로 설명했더니 정답률이 평균 17%p 올랐다

Who Should Read

few-shot 예시를 길게 붙여 쓰는데 성능이 들쭉날쭉해서 프롬프트 구조를 다시 짜려는 LLM 앱 개발자

Core Mechanics

규칙 설명이 예시보다 낫다
- 오픈웨이트 모델(7B~32B)에서 규칙만 준 쪽이 예시만 준 쪽보다 정확도가 높았다.
- 5개 과제(게임·산술·언어 추론)를 같은 문제로 비교했다.
규칙 위에 예시를 얹어도 안 는다
- 규칙과 예시를 같이 준 조합이 규칙만 준 것보다 통계적으로 유의하게 좋아지지 않았다.
- 모든 과제에서 같은 경향이었다.
예시를 많이 넣는다고 오르지 않는다
- 예시 수를 늘려도 규칙 대비 이득이 없거나 오히려 떨어지는 조합이 많았다.
- instruct 모델은 예시가 많아지면 패턴 분석을 길게 반복하다 응답이 잘렸다.
규칙이 잘 먹히는 과제가 따로 있다
- 연산 규칙을 순서대로 적용하는 Operator Function과 같음/다름을 따지는 Set Game에서 규칙 이득이 가장 컸다.
- 어휘 의미 지식에 기대는 Lexical Category Inference에서는 규칙 이득이 작거나 유의하지 않았다.
instruction tuning은 규칙 학습만 키운다
- instruct 모델은 규칙 기반 정확도가 크게 올랐지만 예시 기반 정확도는 변화가 없었다.
- base 모델에서도 예시가 규칙보다 유리하진 않았다.

Evidence

규칙 vs 예시 +0.171
- 혼합효과모형(LMM) 기준 규칙이 예시보다 정확도 0.171 높다(p<.001).
- 과제별로는 Operator Function +0.401, Set Game +0.319, Noun Class Agreement +0.208이다.
규칙에 예시를 더해도 +0.012
- 조합(combined)이 규칙만 준 것보다 정확도 0.012 높을 뿐 유의하지 않았다.
- 과제별 차이도 -0.044~+0.064 범위였다.
instruction tuning 효과
- base 대비 instruct는 규칙에서 +0.213, 조합에서 +0.178(모두 p<.001)이다.
- 예시에서는 -0.024로 유의하지 않았다.
난이도와 모델 크기
- easy 대비 medium은 -0.073, hard는 -0.150으로 떨어졌고 세 조건의 하락 기울기는 거의 평행했다.
- 큰 모델(14~32B)은 작은 모델(7~12B)보다 +0.063~0.064 높았다.

How to Apply

오늘 few-shot 프롬프트를 규칙문으로 바꿔 비교하기
- 현재 예시 위주 프롬프트 하나를 골라 입력 형식, 출력 형식, 판단 기준을 번호 규칙으로 쓴다.
- 같은 테스트 20~50건으로 기존 프롬프트와 정확도를 비교한다.
규칙문에 출력 형식과 경계 조건 명시하기
- 예시로 암묵 전달하던 라벨 종류, 출력 형식, 예외 케이스를 규칙에 한 줄씩 적는다.
- 논문 규칙 프롬프트도 허용 답 형식을 명시했다.
규칙이 잘 쓰이는 과제와 아닌 과제 구분하기
- 계산·논리 조건·단계 적용 과제는 규칙 설명을 우선한다.
- 의미 지식이나 문체·분포 감각이 필요한 과제는 규칙 이득이 작을 수 있으니 직접 A/B 테스트한다.
예시 수를 늘리기 전에 규칙 대비 효과 측정하기
- 규칙만, 규칙+예시 두 버전을 같은 평가셋으로 돌려 차이가 없으면 예시를 뺀다.
- 토큰 비용도 같이 줄어든다.

Try It

복사해서 바로 해보기

# Claude/ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 규칙 vs 예시 비교)

아래 두 프롬프트로 같은 입력 {{테스트 입력}}을 각각 처리하고 결과를 표로 비교해 줘.

[프롬프트 A: 규칙만]
작업: {{작업 설명}}
규칙:
1. {{규칙 1}}
2. {{규칙 2}}
3. {{예외/경계 조건}}
출력 형식: {{허용되는 답 형식}}
입력: {{테스트 입력}}

[프롬프트 B: 예시만]
{{입력1}} → {{출력1}}
{{입력2}} → {{출력2}}
{{입력3}} → {{출력3}}
{{테스트 입력}} →

이어서 해 볼 것: A에 B의 예시를 덧붙인 C 버전도 돌려서 A와 차이가 있는지 확인해 보자.

Terminology

In-context learning모델 가중치를 바꾸지 않고 프롬프트에 든 설명이나 예시만 보고 새 작업을 해내는 능력이다. 실행 중에 메모를 읽고 바로 따라 하는 것과 비슷하다.

Instruction tuning모델이 지시를 따르도록 추가로 학습시킨 것이다. 신입에게 업무 매뉴얼 읽는 법을 가르치는 것과 같다.

Base model지시 따르기 학습을 하지 않은 사전학습 모델이다.

Minimum coverage 예시모든 출력 라벨과 핵심 요소를 빠짐없이 한 번씩 다루도록 고른 최소한의 예시 묶음이다.

LMM (선형 혼합효과모형)모델 계열처럼 묶음별 편차를 감안하면서 조건별 정확도 차이를 추정하는 통계 방법이다.

Related Resources

Original Abstract (Expand)

Large language models (LLMs) exhibit in-context learning capabilities, where they can learn new tasks from prompt contexts without weight updates. We compare the learning efficacies of two prominent modes of in-context learning: (1) learning from descriptions of rules (instruction following); and (2) learning from examples of input-output demonstrations (few-shot prompting). Through five learning tasks that cover diverse domains (games, arithmetic, linguistic inferences), we compare two modes of learning (rules vs. examples) specifying the same underlying task. We furthermore explore model and task properties that modulate the learning efficacies. We find that models generally learn more reliably from rules than from examples alone, and additional examples on top of rules or simply scaling up the number of examples do not lead to consistent and significant gains. Instruction tuning amplifies the benefit of rule-based learning while keeping example-based learning capacities intact. Surprisingly, we find no privileged effect of example-based learning in base models, and rules still lead to gains in algebraic task domains. Overall, the comparative efficacy of rules over examples is larger when the task recruits algebraic abstractions and computations, and smaller when the task requires distributional sensitivity and/or recruits parametric knowledge.