LLM은 전문성에 보상한다: 도메인 지식이 곧 프롬프트 실력

TL;DR Highlight

Terence Tao처럼 짧고 구체적으로 물으면 같은 LLM에서 훨씬 더 뽑아낸다

Who Should Read

LLM에게 코드를 시키는데 결과가 밋밋하거나 방향이 틀어져 고민인 백엔드·풀스택 개발자

Core Mechanics

LLM은 모두를 제너럴리스트로 만들었다
- 2010년대엔 CSS를 못 쓰면 동료에게 의지하거나 인터넷에서 답을 찾길 바라야 했다.
- 지금은 누구나 LLM에 맡겨 그럭저럭 쓸 만한 CSS를 얻는다.
프롬프트 실력 = 도메인 전문성
- 작성자는 프롬프트에서 가장 중요한 기술이 해당 분야의 전문성이라고 주장한다.
- 모두가 같은 모델에 말하니 '프롬프트 고수'와 초보가 같은 결과를 얻는다는 통념은 틀렸다는 입장이다.
Tao의 대화는 짧고 핵심만 짚는다
- Terence Tao는 모델 답변에 항목별로 답하지 않고 요지에만 반응한다.
- 전문가 신호를 주면 모델이 '수학자에게 말하는 모드'로 가서 답이 더 간결해진다고 작성자는 본다.
반박은 직접 부정이 아니라 위화감 표현
- Tao는 답이 이상하면 "생각보다 복잡해 보인다"처럼 말한다.
- 모델이 제안한 다음 방향을 거의 따르지 않고 스스로 도약하고 제안한다.
코드베이스 이론이 있으면 더 세게 밀 수 있다
- "여기선 더 단순할 것 같다", "이미 X 있지 않나?" 같은 말을 할 수 있다.
- 작성자는 일반 원칙보다 구체적 코드베이스 친숙도가 낫다고 말한다.

Community Reactions

비전문가는 '코드를 써 달라'는 말을 못 해서 헤맸다는 경험
- 웹앱을 만들려던 비개발자 친구가 AI와 기능 논의만 빙빙 돌다 1시간 반 만에 중단했다는 댓글이다.
- 용어를 아는 사람이면 "X, Y, Z를 하는 html 페이지를 써줘" 한 번이면 끝났을 거라고 한다.
전문가 배경을 프롬프트에 밝히면 달라진다는 경험
- 성서학 배경이 깊다고 알리고 그리스어·라틴어 번역을 하지 말라고 지시하면 결과가 크게 바뀐다는 댓글이다.
- C 경력 20년 이상과 메모리 레이아웃 이해를 밝혀도 마찬가지라고 한다.
토큰을 많이 태울수록 결과가 나쁘다는 관찰
- 엔지니어링 매니저라는 댓글 작성자가 API 통계에서 토큰 소비와 산출물이 강한 역상관을 보인다고 말했다.
- 토큰을 많이 쓰는 사람일수록 좋은 결과를 낼 가능성이 낮다는 내용이다.
전문성이 필수는 아니라는 반론
- Anthropic 수학자의 프롬프트는 "이 추측을 꼭 풀어야 한다고 가정하고 열심히 생각해라" 수준이었다는 댓글이다.
- Tao의 대화는 문제 해결보다 직관을 얻기 위한 것이었다는 지적도 있다.
확증편향일 수 있다는 의견
- 열 단어짜리 모호한 프롬프트로도 결과를 얻는 동료가 있어 의문이라는 댓글이다.
- 전문가에게 유리한 결론이라 더 의심해야 한다며 정식 연구가 필요하다고 한다.

How to Apply

프롬프트 첫 줄에 내 배경과 기대 수준 적기
- 오늘 쓰는 코드 작업 프롬프트 맨 앞에 "나는 이 코드베이스를 N년 운영했다, 기초 설명은 생략해라"를 붙여 보자.
- 같은 질문을 붙이기 전과 후로 돌려 답변 길이와 깊이를 비교한다.
모델 답에 반박할 때 위화감 문장 쓰기
- 답이 이상하면 "이건 생각보다 복잡해 보인다", "여기선 더 단순할 수 있지 않나?"로 말한다.
- "우리는 이미 X 하지 않나?"처럼 코드베이스 사실을 근거로 던진다.
한 번에 질문 하나, 구체적으로 묻기
- 긴 답변에 항목별로 답하지 말고 핵심 한 가지에만 "X와 Y 조건에서 왜 A인가?" 식으로 묻는다.
- 다음 방향은 모델 제안을 기다리지 말고 내가 정해 지시한다.
내가 잘 모르는 영역은 먼저 학습 모드로 쓰기
- 낯선 코드베이스나 분야는 "내 수준에 맞춰 설명해라"로 시작해 이해를 쌓은 뒤 작업을 시킨다.
- 이해가 생긴 뒤 전문가 모드 프롬프트로 바꿔 쓴다.

Try It

복사해서 바로 해보기

# Claude/ChatGPT 대화창에 붙여넣기 (원문 관찰을 프롬프트로 옮긴 간이 버전)

나는 {{분야, 예: 이 결제 서비스 백엔드}}를 {{N}}년 운영해 왔다. 기초 설명은 생략하고 동료 엔지니어에게 말하듯 간결하게 답해라.

상황: {{현재 코드/문제 설명}}
질문: {{X 조건에서 왜 A가 되는가? 한 가지만}}

규칙:
- 내 답을 항목별로 되묻지 말고 핵심만 답해라.
- 내가 "이건 생각보다 복잡해 보인다"고 하면 더 단순한 대안을 제시해라.
- 다음에 뭘 할지는 내가 정한다. 제안은 한 줄로만 해라.

이어서 해 볼 것: 같은 질문을 배경 문장 없이 한 번 더 돌려 답변 길이와 깊이를 비교해 보자.

Terminology

Jacobian Conjecture수학의 유명한 미해결 문제로, 원문에서는 최근 반례가 발견되었다고 한다. 여기서는 Tao의 ChatGPT 대화 사례의 소재로만 나온다.

도메인 전문성특정 분야(코드베이스, 수학 등)를 깊이 아는 것이다. 지도를 아는 운전자가 내비게이션에 더 정확히 목적지를 찍어 주는 것과 비슷하다.

vibe coding코드를 직접 검토하지 않고 LLM에 맡겨 흐름대로 만드는 방식이다. 댓글에서 전문성 없이는 한계가 있다는 맥락으로 나온다.