Back-and-Forth를 줄여라: Structured Prompting 비교 연구

Who Should Read

ChatGPT, Claude, Grok 등 LLM을 업무에 쓰면서 프롬프트 품질을 개선하고 싶은 개발자. 특히 코드 생성이나 문서 요약 같은 반복 작업을 LLM으로 자동화하려는 사람.

Core Mechanics

• 세 가지 프롬프트 전략을 비교했다: 그냥 쓰는 Raw 프롬프트, 체크리스트로 개선한 Checklist 프롬프트, 모델이 먼저 질문을 던지는 Clarifying 프롬프트.
• 체크리스트 프롬프트는 '역할/규칙', '맥락', '출력 형식' 세 가지를 명시하도록 원래 프롬프트를 재작성하는 방식 — 예: '파이썬으로 팰린드롬 판별 코드 짜줘. 공백/대소문자 무시. 결과 출력해줘. 실행 가능한 코드만.'
• 코딩 태스크에서 효과가 가장 컸다. Raw 평균 4.67점에서 Checklist 7.83점으로 뛰었는데, 모호한 'Generate code for user input' 같은 프롬프트가 구체적 제약 조건을 받으면 훨씬 정확해지기 때문.
• Clarifying 프롬프트는 Raw보다 낫지만 Checklist보다는 못하고, 평균 1.96턴이 필요해서 상호작용 비용이 더 든다.
• Claude는 Clarifying 프롬프트에서 약간 더 높은 점수를 냈지만, Grok은 Clarifying 프롬프트에서 오히려 원래 질문에서 벗어나는 경향을 보였다. 모델마다 반응이 다를 수 있다.
• Checklist 프롬프트는 입력 토큰이 늘어나는 대신 출력이 더 집중되어 총 토큰 수는 오히려 줄어든다.

Evidence

• Checklist 평균 점수 7.50/8, Raw 5.67/8, Clarifying 6.67/8 — Checklist가 Raw 대비 32% 높은 점수.
• 평균 토큰 사용량: Raw 962.25, Checklist 683.42, Clarifying 936.50 — Checklist가 Raw보다 토큰을 약 29% 절약.
• 평균 턴 수: Raw 1.00, Checklist 1.00, Clarifying 1.96 — Clarifying은 사실상 매번 추가 왕복이 발생.
• 코딩 태스크 점수: Raw 4.67, Checklist 7.83, Clarifying 5.50 — Checklist가 Raw 대비 +3.16점으로 가장 큰 개선폭.

How to Apply

• 지금 쓰는 프롬프트를 '역할/규칙 → 맥락 → 출력 형식' 세 파트로 재작성해 보자. 예: 코드 생성 요청이라면 언어, 제약 조건, 출력 형태를 모두 명시하면 된다.
• 반복적으로 쓰는 프롬프트 템플릿이 있다면 Checklist 형태로 고정해두는 게 낫다. 모델에게 되묻기 전략보다 처음부터 잘 쓴 프롬프트가 토큰도 적게 들고 품질도 더 안정적이다.
• 모델이 스스로 질문을 먼저 던지게 하는 Clarifying 방식은 사용자가 맥락을 전혀 모를 때 유용하지만, 자동화 파이프라인에서는 왕복이 생기므로 피하는 게 좋다.

Code Example

# Checklist 프롬프트 템플릿 예시

## Raw 버전 (나쁜 예)
prompt = "Generate code for user input."

## Checklist 개선 버전 (좋은 예)
prompt = """
Write Python code that prompts the user for a string.
Check whether the string is a palindrome.
Ignore spaces and letter case when checking.
Print a clear result for the user.
Write clean, runnable code only.
"""

# Checklist 3요소를 항상 확인:
# 1. Roles/Rules: 모델 역할 또는 제약 (예: "Python만 사용", "100단어 이내")
# 2. Context: 출력 대상과 목적 (예: "CS 비전공 학생을 위해", "1학년 대학원생 수준으로")
# 3. Answer Format: 출력 구조 (예: "bullet 없이 한 단락", "day-by-day itinerary")

def build_checklist_prompt(task, role_rules, context, answer_format):
    return f"""{role_rules}

Context: {context}

Task: {task}

Answer format: {answer_format}"""

example = build_checklist_prompt(
    task="Summarize the following abstract",
    role_rules="You are a technical writer summarizing for non-experts.",
    context="The reader is a smart CS student with no ML background.",
    answer_format="One short paragraph, under 100 words, no bullet points."
)
print(example)

Terminology

관련 논문

• Training-Free Cultural Alignment: Persona 불일치를 활용한 LLM 문화적 정렬

  재학습 없이 각 나라의 도덕적 가치관에 맞게 LLM 출력을 조정하는 추론 시점 기법 DISCA 제안

• Claude Code에서 HTML을 출력 포맷으로 쓰는 이유: Markdown보다 나은 점들

  Claude Code 팀이 Markdown 대신 HTML을 LLM 출력 포맷으로 선호하기 시작한 이유와 그 실용적 장점을 정리한 글로, AI와 함께 문서/스펙/대시보드를 만드는 워크플로우에 직접적인 영향을 준다.

• 언제 투표하고 언제 다시 쓸까: Disagreement 기반 Test-Time Scaling 전략 라우팅

  모델 출력이 얼마나 일치하는지 보고 쉬운 문제엔 majority voting, 어려운 문제엔 문제 rewriting을 자동으로 선택해 정확도 3~7% 올리고 샘플링 비용도 줄이는 학습 불필요 프레임워크.

• Less Is More: Android 앱에 On-Device Small Language Model 통합할 때 실제로 겪는 엔지니어링 문제들

  Wordle 게임에 온디바이스 SLM(Gemma 4 E2B, Qwen3 0.6B)을 5일간 붙여보면서 발견한 5가지 실패 유형과 8가지 실용 해결책 정리

• 확장 가능한 Synthetic Data 생성을 위한 Dynamic Context Evolution

  VTS + Semantic Memory + Adaptive Prompt 3가지 메커니즘으로 구성된 프레임워크는 LLM 대량 synthetic data 생성 시 배치 간 중복·반복 현상을 완전히 제거한다.

• Karpathy 워크플로우에서 영감받아 사전 컴파일된 Wiki로 세션당 토큰 90%+ 절감

  사전에 정리된 코드베이스 Wiki를 활용하면 Claude 세션당 토큰 사용량을 90% 이상 줄인다.