같은 문제, 다른 문장: 문제를 다시 쓰면 LLM이 언제 더 잘 푸는가
Same Task, Different Statement: When and How Reformulation Helps LLM Problem Solving
TL;DR Highlight
문제 문장을 유형에 맞게 다시 쓰면 정답률이 올라가지만, 무작정 다시 쓰면 오히려 떨어진다
Who Should Read
수학·논리·코드 문제를 LLM에 풀게 하는데 정답률이 들쭉날쭉해 프롬프트 전처리를 고민하는 백엔드 개발자
Core Mechanics
- 같은 문제도 문장에 따라 결과가 갈린다
- 뜻·제약·정답은 그대로 두고 문장만 다시 써도 정확도가 크게 달라졌다.
- 논문은 일부 실패가 능력 부족이 아니라 문제 표현의 문제일 수 있다고 본다.
- 다시 쓰기는 세 가지 종류가 있다
- Decomposition(분해)은 숨은 하위 목표를 드러내 명시한다.
- Typed Reformulation(유형 재구성)은 계산·검증·최적화 같은 다른 풀이 틀로 바꿔 쓴다.
- Concept Reduction(개념 축소)은 서사를 걷어내고 구조나 기호 형태로 바꾼다.
- 유형별로 맞는 다시 쓰기가 따로 있다
- 분해는 Search와 Classification에 도움이 됐다.
- 개념 축소는 Explanation과 Causality에 강했다.
- 유형 재구성은 Optimization, Design, Verification에 도움이 됐다.
- 안 맞는 다시 쓰기는 해가 된다
- Search와 Classification에 유형 재구성을 쓰면 정확도가 크게 떨어졌다.
- 의존 구조가 깨져서 모델이 풀 길을 잃는 것으로 논문은 설명한다.
- 무조건 다시 쓰기는 손해, 골라 쓰면 이득
- 유형별 규칙으로 골라서 쓴 Active는 다시 쓴 문제에서만 보면 정확도가 올랐다.
- GPT-4o가 알아서 고르게 한 Blind는 같은 비율에서 오히려 떨어졌다.
- 다시 쓰기 비율은 낮게 두는 게 맞았다
- Active는 테스트 문제의 18.7%만 다시 썼고 나머지는 원문을 유지했다.
- 이미 짧고 명확한 문제나 확신이 낮은 경우는 원문으로 되돌렸다.
Evidence
- 최선의 다시 쓰기를 사후에 고르면 평균 +27.6%p
- Train Set에서 8개 모델 평균 정확도가 원문 56.0%에서 83.6%로 올랐다.
- 모델별 원문 43.7~63.6%가 80.0~86.4%가 됐다. 정답을 보고 고른 상한선이다.
- 추가 시도나 자유 패러프레이즈는 효과가 훨씬 작았다
- GPT-4o-mini 기준 원문 43.7%, pass@3 50.3%, pass@6 54.8%, 자유 패러프레이즈 oracle 60.3%였다.
- 저장된 C/D/TR 다시 쓰기 상한은 76.0%였다.
- 유형별 이득과 손해
- Train Set 8개 모델 풀링 기준 Classification은 분해로 +16.7%, 유형 재구성으로 -23.6%였다.
- Explanation은 개념 축소로 +33.7%, Causality는 +23.2%였다.
- Held-out Test Set에서 Active가 Blind를 앞섬
- 다시 쓴 문제만 보면 Active +11.0%, Blind -5.6%, Random +0.8%였다.
- 전체 정확도는 Orig 61.7%, Blind 60.0%, Random 61.4%, Active 63.8%였다.
- 원래 맞힌 문제를 틀리게 만든 비율은 Active 1.3%, Blind 13.0%였다.
How to Apply
- 실패 문제 20개를 세 가지로 다시 써서 비교하기
- 오늘 정답률이 낮은 프롬프트에서 틀린 문제를 20개 골라라.
- 각 문제를 분해·유형 재구성·개념 축소로 다시 써서 같은 CoT 프롬프트로 다시 돌려라.
- 어느 방식이 어느 유형에서 맞는지 표로 정리해라.
- 문제 유형별 재작성 라우팅 규칙 만들기
- 서비스 문제를 Search·Classification, Explanation·Causality, Optimization·Design·Verification으로 분류해라.
- 각 유형에 논문이 권장한 다시 쓰기 방식을 대응시켜라.
- 그 외 유형은 원문을 유지해라.
- 재작성 후 검증 필터와 원문 폴백 넣기
- 다시 쓴 문장이 의미·제약·답 형식·정답 누출 기준을 지키는지 LLM 판정으로 확인해라.
- 통과하지 못하거나 확신이 낮으면 원문을 그대로 사용해라.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전)
너는 문제 문장 재작성기다. 아래 문제의 뜻, 조건, 목표, 답 형식은 절대 바꾸지 말고, 정답이나 중간 풀이 결과도 넣지 마라.
문제 유형을 먼저 판정하고 다음 규칙으로 하나만 골라 다시 써라.
- Search/Classification: 하위 목표를 순서대로 나열하는 Decomposition (풀이 답은 쓰지 않음)
- Explanation/Causality: 불필요한 서사를 지우고 핵심 개체와 관계를 드러내는 Concept Reduction
- Optimization/Design/Verification: 목표를 더 맞는 풀이 틀로 바꾸는 Typed Reformulation
- 이미 짧고 명확하거나 확신이 낮으면: 원문을 그대로 반환
문제:
{{문제}}
출력 형식: 유형, 선택한 방식, 다시 쓴 문제.
이어서 해 볼 것: 다시 쓴 문제와 원문을 같은 CoT 프롬프트로 각각 풀게 하고 정답률을 비교해 보세요.Terminology
관련 논문
명세를 얼마나 명시하느냐가 LLM 생성 코드의 실패를 좌우한다
제약·불변식·엣지케이스를 명시했더니 숨은 테스트 실패가 47.2% 줄었다
STE80 Humanizer: AI 말투 지우고 ASD-STE100 80% 수준으로 다시 쓰는 에이전트 스킬
AI 티 26가지를 지우고 짧은 문장으로 다시 쓰는 스킬이 나왔다
LLM 소설의 캐릭터 이름 쏠림: 측정과 반복 완화 (Speculative Naming)
이름 후보를 여러 개 뽑아 빈도로 걸러내자 Elara류 이름 쏠림이 95% 줄었다
LLM Voice: 초안을 LLM에 맡기면 안 되는 이유
Martin Fowler: LLM이 쓴 초안은 사람이 고쳐도 특유의 어색함이 남는다
사실 회상엔 Instruction 튜닝이 세금: Base 모델이 Instruct 모델을 이긴다
Base 모델에 few-shot 이어쓰기와 다중 샘플링을 썼더니 chat 대비 F1 0.568→0.684
AI는 도구다, 잘 쓰려면 기술이 필요하다
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Original Abstract (Expand)
When people face a hard problem, they often restate it in a clearer way before solving it. We study whether the same habit helps large language models by rewriting the statement of a problem. A legal rewrite must keep the meaning, the constraints, and the correct answer unchanged. We test three kinds of rewrites. Decomposition makes hidden subgoals explicit. Typed Reformulation casts the task into a more suitable solving frame. Concept Reduction removes surface detail and exposes the task structure. We evaluate them on eight math, logic, and code benchmarks with eight models, all under the same chain-of-thought solving prompt. The effect is large but depends on the problem type. An oracle that picks the best rewrite after the fact raises accuracy by +27.6% on average. Yet no single rewrite helps every problem, and a mismatched rewrite can hurt. Still, the effect follows clear patterns. Each kind of rewrite fits certain problem types. A simple fixed rule learned from one set of problems transfers part of the gain to new problems. It gains +11.0% on the problems it chooses to rewrite, while blind rewriting loses 5.6% on a similar share of problems. Rewriting is therefore not a universal way to solve problems. The question is when and how to rewrite.