Constraint-First Reasoning: 풀기 전에 답의 제약부터 뽑는 학습 불필요 프롬프트 프로토콜

Who Should Read

LLM이 수학·계산 문제에서 mod 처리나 정수 형식 같은 답 형식을 자꾸 빼먹어 고민인 개발자

Core Mechanics

• 답 형식 실수가 진짜 원인이었다
  • 고쳐진 오류의 80%는 올바른 값을 구하고도 답 형식을 어긴 경우였다.
  • mod 1000 빠뜨림 30%, 정수가 아닌 답 20%, p+q 인코딩 실수 17%였다.
• 2단계: 제약 먼저, 풀이는 그다음
  • 1단계는 풀지 않고 제약(정수 여부, 나머지, 범위, 답 형식)만 JSON으로 뽑는다.
  • 2단계는 그 JSON을 보며 풀고, 큰 단계마다 제약 위반 여부를 확인한다.
• 정규식 라우터로 필요한 문제에만 적용
  • 'remainder', 'how many', 'relatively prime' 같은 단서가 있을 때만 2단계를 돌린다.
  • 라우터는 모델 토큰을 쓰지 않고, 단서가 없으면 일반 CoT(단계별 추론)로 푼다.
• 모델이 약하면 오히려 해롭다
  • 1.5B 모델은 제약 유효율이 73.9%로 낮아 이득이 +2.9%p에 그쳤다.
  • 이 모델은 AIME에서 CFR 때문에 틀리게 된 문제가 6개 나왔다.
• 공짜는 아니고 토큰이 늘어난다
  • 라우팅해도 DeepSeek-V4-Pro의 직접 CoT 대비 토큰이 1.58~2.08배다.
  • 증명 문제나 열린 답 문제에서의 효과는 확인되지 않았다.

Evidence

• AIME/CMIMC 평균 정답률 상승폭
  • DeepSeek-V4-Pro는 70.8%에서 79.2%로 +8.5%p, 직접 CoT 대비다.
  • Qwen3.5-9B는 56.1%에서 63.3%로 +7.2%p였다.
  • Qwen3.5-35B-A3B는 +3.0%p, JustRL-1.5B는 +2.9%p였다.
• 같은 조건 프롬프트 기법과의 비교
  • DeepSeek-V4-Pro의 AIME24는 Routed-CFR 95.8%, Plan-and-Solve 90.0%, Self-Refine 89.2%, 직접 CoT 90.8%였다.
  • AIME25는 Routed-CFR 91.7%, 직접 CoT 80.8%였다.
• 라우팅 효과와 비용
  • BRUMO25 토큰 배수는 라우팅 1.58배, 상시 적용 1.71배였다.
  • CMIMC25 정확도는 라우팅 36.9%, 상시 적용 34.2%, 직접 CoT 28.1%였다.
• OlympiadBench와 통계 검정
  • OlympiadBench는 Routed-CFR 91.14%, 직접 CoT 90.66%로 +0.48%p, 라우팅률 61.87%였다.
  • DeepSeek-V4-Pro의 AIME24~26 합산 이득은 +8.3%p, Holm 보정 p=0.00034였다.

How to Apply

• 수학·계산 프롬프트에 제약 먼저 뽑기 붙이기
  • 오늘 쓰는 계산·수치 문제 프롬프트 하나를 골라 아래 코드의 두 단계로 나눠 돌려라.
  • 직접 풀게 한 결과와 답 형식 오류 건수를 비교하라.
• 정규식 라우터로 적용 대상 거르기
  • 'remainder', 'how many', 'divisible by', 'coprime' 같은 단서가 있는 질문에만 2단계를 돌려라.
  • 나머지는 한 번에 풀게 해서 토큰 비용을 아껴라.
• 1단계 JSON 파싱 실패 대비 넣기
  • JSON 파싱에 실패하면 정규식으로 필드를 복구하라.
  • 2개 미만만 복구되면 제약 없이 일반 CoT로 폴백하라.
• 작은 모델은 제약 유효성부터 확인하기
  • 소형 모델에 쓰기 전에 뽑힌 제약 20~30개를 직접 읽고 틀린 제약 비율을 세어라.
  • 유효율이 낮으면 적용하지 마라.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 CFR 1단계 프롬프트의 간이 버전, 두 번에 나눠 실행)

[1단계] 당신은 수학 제약 분석가입니다. 문제를 풀지 말고, 최종 답이 만족해야 할 제약만 추출하세요. 틀린 답이나 틀린 답 형식을 걸러낼 수 있는 제약만 포함하세요. 제약끼리 교차 검토해 가능한 범위를 좁히세요. 유형: domain(정수·양수·범위), modular(나머지·약수), parity, bound, structure, format(p+q 같은 인코딩). JSON으로 반환: {problem_summary, raw_constraints[], propagated_constraints[], likely_answer_range, answer_format, critical_constraints[]}
문제: {{문제}}

[2단계] (1단계 JSON을 받은 뒤 이어서) 아래 문제를 푸세요. 최종 답은 위 제약을 만족해야 합니다. 큰 단계마다 제약과 일치하는지 확인하고, 위반하면 멈추고 다시 검토하세요. 최종 답 전에 모든 제약을 확인하세요.
문제: {{문제}}
제약: {{1단계 JSON}}

# 이어서 해 볼 것: 같은 문제를 제약 없이 한 번에 풀게 해서 답 형식 오류가 줄었는지 비교해 보세요.

Terminology

관련 논문

• AI는 도구다, 잘 쓰려면 기술이 필요하다

  Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박

• 딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합

  GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781

• GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기

  OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다

• Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상

  응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다

• Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다

  옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다

• 프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM

  Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로

• 언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트

  "Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다