AI는 도구다, 잘 쓰려면 기술이 필요하다
AI is a tool and using it well takes skill
TL;DR Highlight
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
Who Should Read
LLM을 코드 작성·분석에 쓰면서 어디까지 맡기고 어디부터 직접 검증할지 고민하는 실무 개발자
Core Mechanics
- LLM도 휘두를 수 있는 도구다
- 저자는 Rich Hickey가 정의한 '도구'에 비춰봐도 LLM이 사람이 쓰는 도구가 될 수 있다고 본다.
- 톱을 잡는다고 곧은 절단이 보장되지 않듯 LLM도 쓰는 사람의 판단력에 따라 결과가 달라진다.
- 예측 불가는 흠이지 자격 박탈이 아니다
- 예측 가능성, 신뢰성, 단순함은 도구를 평가하는 기준이지 도구가 되기 위한 조건이 아니라고 한다.
- 다루기 어렵거나 오용하기 쉬워도 도구는 도구다.
- 자동화와 도구는 대립하지 않는다
- 컴파일러와 스프레드시트도 일일이 지시하지 않아도 많은 일을 대신 해 준다.
- 우리는 입력을 정하고 결과를 살피고 다음 행동을 정하며 이것들을 여전히 휘두른다.
- LLM 사용에도 피드백 루프가 있다
- 낯선 코드를 설명시키고, 그 설명에 반박하고, 소스를 확인하고, 변경을 테스트하고, 거절하고, 요청을 다듬을 수 있다.
- 무엇을 물을지, 어떤 근거가 중요한지, 언제 답이 틀렸는지 아는 전문성이 이 루프를 더 쓸모 있게 만든다.
- 읽기를 대체할 때만 학습을 잃는다
- 논문 요약만 받아들이면 읽기에서 얻는 학습을 상당 부분 잃을 수 있다는 Hickey의 우려는 맞다고 인정한다.
- 하지만 논문을 직접 읽고 LLM으로 내 해석에 반문하거나 더 볼 지점을 찾는 쓰임도 있다.
Community Reactions
- 모델이 좋아질수록 필요한 기술이 줄어든다는 의견
- 2025년 중반에는 워크플로 조정이 필요했지만 지금은 컨텍스트 관리나 특수 지시 요령이 거의 필요 없다는 경험이 있었다.
- 로그를 받아 원인을 분석하라는 한 문장 프롬프트로 10분 만에 맞는 답을 받았고 가끔 한 번 더 방향만 잡는다는 경험도 있었다.
- 그래도 기술은 여전히 필요하다는 반론
- 모델이 바뀔 때마다 '기술 필요 없다'는 쪽이 늘었지만 돌아보면 '여전히 필요하다'는 쪽이 맞았다는 의견이 있었다.
- Opus 5.5도 계속 실수를 하며 그렇지 않다고 보면 스스로 드러내는 것이라는 의견이다.
- 가드레일 없으면 복잡도가 폭주한다는 경험
- 가드레일 없이 쓰면 복잡도가 금방 사람이 관리할 수 없는 수준이 되고 AI에 종속된다는 의견이 있었다.
- 프로젝트가 커지면 Claude도 스스로 따라가지 못한다며, 전문가의 일은 복잡도를 가두는 것이라는 의견이다.
- 도구보다 슬롯머신 같다는 반론
- 도구는 원인과 결과가 반복 가능해야 하는데 LLM은 운이 좋을 때만 원하는 결과가 나온다는 의견이 있었다.
- 사용하면 시스템 이해에서 멀어진다는 경험도 있었다.
How to Apply
- LLM 답변에 반박 요청 한 번 더 넣기
- 오늘 코드 설명이나 장애 분석을 맡길 때 답을 받은 뒤 '이 설명이 틀릴 수 있는 지점과 확인할 근거를 말해라'를 이어서 보내라.
- 나온 근거는 소스나 로그로 직접 확인하라.
- AI 출력 검증 단계를 워크플로에 명시하기
- 코드 리뷰 체크리스트에 'AI 제안은 테스트로 확인했는가'를 항목으로 추가하라.
- 테스트를 돌리거나 소스를 열어 확인하기 전에는 수용하지 않는 규칙을 팀에 정하라.
- 요약 대신 원문 읽고 질문용으로 쓰기
- 논문이나 문서를 학습할 때 먼저 직접 읽고 내 해석을 정리하라.
- 그 해석을 LLM에 붙여 반론과 더 볼 지점을 물어라.
Try It
# Claude나 ChatGPT에 붙여넣기: 원문의 '피드백 루프' 방식을 프롬프트로 옮긴 간이 버전
아래 코드를 설명해 줘.
{{코드}}
설명 후 아래를 이어서 답해 줘.
1. 네 설명이 틀릴 수 있는 지점 3가지
2. 각 지점을 내가 직접 확인할 방법(소스 위치, 테스트, 로그)
3. 이 코드에 대한 변경을 제안한다면 그 변경이 깨뜨릴 수 있는 것
이어서 해 볼 것: 답변이 제시한 확인 방법을 실제로 실행하고, 틀린 부분이 있으면 그 결과를 붙여 다시 질문해 보세요.Terminology
관련 논문
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상
응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다
Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다
옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다
프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM
Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로
언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트
"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다
Claude Opus 5.5 프롬프팅 가이드: effort·진행 업데이트·무인 에이전트 설정
Opus 5.5는 medium effort로 Opus 5 high급 성능, 프롬프트·하네스 조정법 정리