LLM으로 글을 쓰면 지식의 지퍼가 열려 있다 (Bryan Cantrill)
Your intellectual fly is open when you use an LLM to author a post (2025)
TL;DR Highlight
LLM으로 쓴 LinkedIn 글은 티가 나서 독자가 읽기를 멈춘다
Who Should Read
블로그·LinkedIn·사내 공지를 LLM으로 대신 쓰게 하는 개발자
Core Mechanics
- LLM 글은 문체만으로 티가 난다
- 이모지, 한 문장짜리 문단, "it's not just... but also" 구문, em-dash가 특징으로 꼽힌다.
- LLM 글을 조금이라도 본 사람에게는 이 티가 무시할 수 없을 만큼 눈에 띈다고 한다.
- 문제는 민망함이 아니라 신뢰다
- 작성자답지 않은 문체를 보면 내용이 진짜인지 LLM이 지어낸 팬픽인지 알 수 없다고 한다.
- 그래서 저자는 읽기를 멈추고, 다른 사람들도 그렇다고 말한다.
- LLM은 편집자로는 훌륭하다
- 브레인스토밍, 글 이해, 편집에는 매우 유용하다고 한다.
- 편집 제안은 무시해도 되니 사람 편집자보다 부담이 없다고 한다.
- LLM은 글쓴이를 대신하지 못한다
- LLM은 글솜씨가 서툴고 작성자 본인이 아니라는 점이 핵심이라고 한다.
- 진짜 내용도 LLM 틀에 싸이면 독자가 대충 훑거나 진정성을 의심한다고 한다.
- 결론은 직접 쓰라는 것
- 자기 목소리에 자신감을 갖고 직접 쓰라고 권한다.
Community Reactions
- 글쓰기는 생각하는 일이라는 의견
- 글을 쓰다가 자기 견해가 크게 바뀐 적이 많다는 경험이 나왔다.
- 설계 문서에서는 이해를 AI에 맡길 수 없다는 의견이다.
- 공개 여부가 진짜 문제라는 반론
- LLM 글솜씨가 좋아져도 무공개 사용은 싫을 것이므로, 진짜 이유는 사람이 쓴 것처럼 오해하게 만드는 점이라는 의견이다.
- 글쓴이가 내용을 알고 보증하는 글이 아니면 기본적으로 의심한다는 의견도 있었다.
- 잘 쓰게 시키면 쓸 만하다는 경험
- 글쓰기 샘플과 스킬 파일을 주고 다듬으면 꽤 좋은 결과가 나온다는 경험이 나왔다.
- 특히 절차적인 글에 잘 맞는다고 한다.
- 사내 문서도 LLM 범벅이 됐다는 경험
- 공지 메일이 길어지고 내용은 얇아져 아무도 링크를 안 눌렀다는 경험이 나왔다.
- 프로젝트 계획도 AI로 쓰이며 일정이 이상해졌다는 경험이 나왔다.
How to Apply
- 내 글에서 LLM 티 점검하기
- 최근 쓴 사내 공지나 블로그 초안에서 이모지, 한 줄 문단, "not just... but", em-dash를 찾아라.
- 발견된 것은 직접 다시 써라.
- LLM 역할을 편집자로 제한하기
- 초안은 직접 쓰고 LLM에는 문제점 지적만 시켜라.
- 제안 중 받아들일 것만 골라 직접 반영하라.
- LLM을 쓴 글에는 사용 사실 밝히기
- 요약처럼 LLM을 쓴 부분은 글 끝에 한 줄로 표기하라.
- 원문 링크도 함께 붙여라.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (원문 방법을 프롬프트로 옮긴 것)
너는 글을 대신 쓰는 사람이 아니라 편집자다. 아래 초안을 다시 쓰지 말고 지적만 해라.
[초안]
{{내가 직접 쓴 초안}}
[지시]
1. 논리가 끊기거나 근거가 약한 부분을 번호로 짚어라.
2. 독자가 읽다 멈출 만한 부분을 짚어라.
3. 문장은 대신 써 주지 마라.
이어서 해 볼 것: 지적을 반영해 내가 고쳐 쓴 뒤 다시 붙여넣고 같은 점검을 시켜 보라.Terminology
관련 논문
AI는 도구다, 잘 쓰려면 기술이 필요하다
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상
응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다
Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다
옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다
프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM
Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로
언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트
"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다