LLM Voice: 초안을 LLM에 맡기면 안 되는 이유
LLM Voice
TL;DR Highlight
Martin Fowler: LLM이 쓴 초안은 사람이 고쳐도 특유의 어색함이 남는다
Who Should Read
README·블로그·PR 설명을 LLM으로 써 온 개발자
Core Mechanics
- LLM Voice는 사람이 느끼는 반응이다
- 읽다 보면 글이 LLM 출력 같다는 느낌이 쌓이고 읽을 마음이 줄어든다.
- 탐지 도구는 이미 그 반응이 나온 뒤라 의미가 없다고 본다.
- 초안을 LLM에 맡기지 말라
- 사람이 편집해도 LLM Voice를 빼기 매우 어렵다고 말한다.
- 문장 다듬기 제안을 받는 것도 위험하다고 본다.
- 구조 잡기는 개요까지만
- 아웃라인 용도는 괜찮을 수 있다고 한다.
- 본문 문장은 저자가 직접 채우라고 한다.
- 글쓰기는 생각하는 도구다
- 글로 써 봐야 생각이 정리된다고 말한다.
- 글쓰기를 맡기면 사고와 이해도 함께 맡기게 된다고 본다.
- 예외도 인정한다
- 파킨슨병이 있는 Jim Highsmith는 LLM이 글쓰기에 필수라고 한다.
- 번역과 형식적인 편지, 아무도 안 읽을 보고서는 LLM을 써도 합리적일 수 있다고 한다.
- 사이트 정책은 사용 공개다
- AI로 글을 쓰면 어떻게 썼는지 보통 감사의 글에 밝히라고 한다.
- Fowler는 AI를 검색 도구로만 쓰고 정보는 원출처로 검증한다.
Community Reactions
- AI 찬성파도 읽기 힘들어졌다는 경험
- 비슷한 문장과 장황함 때문에 글을 읽다 중간에 그만두게 된다는 댓글이 있었다.
- 2023년 이전 글만 찾게 됐다는 경험도 있었다.
- 모델·설정이 프롬프트보다 더 영향을 줬다는 경험
- AI 논픽션 책 제품을 만드는 사람이 테스트해 봤다고 한다.
- Sonnet 5 high effort가 가장 약한 문장을 썼고 더 느리고 비쌌으며 일부 챕터는 문장 중간에 토큰이 끊겼다고 한다.
- LLM은 비평가로만 쓰라는 의견
- 단어 제안은 받지 말고 객관적 비평만 요청하라는 댓글이 있었다.
- 제안이 좋아 보일수록 내 문체가 오염되기 쉽다는 주장이었다.
- 코드는 되고 글은 안 되냐는 반론
- LLM 코드는 받아들이면서 LLM 산문은 거부하는 이중성이 이상하다는 댓글이 있었다.
- 언어 장벽이 있는 사람에게 AI가 도움이 되며 일괄 비난은 특권적이라는 의견도 있었다.
How to Apply
- 내 최근 글 3개에서 LLM 흔적 점검하기
- 오늘 README나 PR 설명 3개를 소리 내어 읽어 어색한 문장을 표시하라.
- 표시한 문장을 직접 다시 써라.
- LLM 프롬프트를 비평 전용으로 바꾸기
- 글 검토 때 단어와 문장 제안은 금지하고 문제점만 지적하게 하라.
- 지적을 보고 수정은 직접 하라.
- AI 글쓰기 사용 공개 규칙 만들기
- 팀 문서와 블로그에 AI를 어디에 썼는지 한 줄로 적게 하라.
- 개요, 번역, 검색 중 무엇을 썼는지 구분해 적어라.
Try It
# Claude 또는 ChatGPT에 그대로 붙여넣기 (원문 댓글의 비평 전용 활용 간이 버전)
아래 글을 평가해 줘. 단어나 문장 대안은 절대 제안하지 마.
{{글}}
다음만 알려 줘:
1. 논리가 약하거나 빠진 부분
2. 반복되거나 불필요한 부분
3. 독자가 이해하기 어려울 부분
이어서 해 볼 것: 지적을 보고 직접 고쳐 쓴 뒤 다시 붙여넣어 비교하라.Terminology
관련 논문
사실 회상엔 Instruction 튜닝이 세금: Base 모델이 Instruct 모델을 이긴다
Base 모델에 few-shot 이어쓰기와 다중 샘플링을 썼더니 chat 대비 F1 0.568→0.684
AI는 도구다, 잘 쓰려면 기술이 필요하다
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상
응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다
Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다
옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다
프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM
Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로
언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트
"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다