LLM 역량에 대한 인식 격차가 깔때기처럼 벌어지고 있다

TL;DR Highlight

Karpathy: LLM 역량 인식 격차가 4단계 깔때기로 벌어지는 중

Who Should Read

비개발 동료·경영진과 AI 활용 수준이 달라 소통이 막히는 LLM 서비스 개발자

Core Mechanics

인식 격차는 4단계 깔때기다
- 대충 계산으로 약 6B명(~75%)은 LLM을 거의 접하지 않았다고 한다.
- 1-2B명(~20%)은 무료 챗봇을 가끔 쓰는 수준이라고 한다.
- 수학·코드 전문가 약 20M명(0.2%)과 내부 접근 약 5,000명(~0.00006%)이 위쪽 단계다.
20M명은 몇 주짜리 일을 프롬프트로 끝낸다
- 수학·코드 전문 사용자는 몇 주~몇 달 걸리던 큰 프로젝트를 에이전트가 프롬프트로 완성하는 걸 직접 본다고 한다.
- 앱 만들기·복제·번역, 바이너리에서 앱 디컴파일 같은 예를 든다.
- Karpathy 본인도 1년 전에는 코드를 손으로 쳤다고 한다.
내부 접근 약 5,000명은 에이전트 수천 개를 쓴다
- 외부에 공개된 맛보기는 수천 에이전트가 몇 주간 대형 소프트웨어 프로젝트를 협업하는 모습이라고 한다.
- 제로데이 발굴, 기계 속도의 사이버 공방, 새 과학 발견, 수학 최전선 확장을 예로 든다.
- 사람의 리뷰와 이해가 뒤처지기 시작했다고 한다.
깔때기를 만드는 요인은 세 가지다
- 영향은 야망·문제 크기·기간에 비례하고, 한 문단짜리 질문은 시스템에 부담을 거의 주지 않는다고 한다.
- 능력이 고르지 않아서(jaggedness), 디지털·검증 가능·경제성 높은 영역에서 정점을 찍는다고 한다.
- 접근 권한이 무료·유료·내부로 나뉜다.

Community Reactions

터미널 접근이 격차를 키웠다는 의견
- Claude Code처럼 LLM에 터미널·CLI·웹 접근을 주면서 개발자는 체감 성능이 훨씬 커졌다는 의견이다.
- 일반 사용자는 ChatGPT에 머물러 정체된 느낌을 받는다는 의견이다.
LLM은 제품이 아니라 역량이라는 의견
- 개발자는 하네스와 자동화를 직접 만들 수 있어 앞단에 서 있다는 비개발 직군 댓글이다.
- 비개발 직군에겐 챗봇밖에 없어 제품이 나오기 전까지 깔때기가 유지된다는 의견이다.
5,000명이 그렇게 앞서 있다는 데 회의적인 의견
- 내부 모델도 결국 쓰는 사람의 숙련이 필요하고, 성공률 90% vs 93%는 큰 차이가 아니라는 의견이다.
- 신모델이 나올 때마다 증가폭이 작았다는 반론이다.
프롬프트만 던지는 방식은 오래 쓸 코드에 부족했다는 경험
- 스펙 기반으로 시켜 봤지만 엣지 케이스, 아키텍처 문제, 성능 문제, 중복 코드가 남아 직접 고쳐야 했다는 경험이다.
- 일회용 스크립트가 아니면 완전 자율 에이전트는 품질로 가는 길이 아니라는 의견이다.
비개발자 업무에 적용해 10-100배 처리량이 나왔다는 경험
- 한 고객사에서 비개발자가 추론 모델을 쓰기 시작했고 제품 구성 도구가 반자동화됐다는 경험이다.
- 처리량이 10-100배 개선된 경우도 있었다고 한다.

How to Apply

팀 AI 활용 단계 한 줄씩 적어 보기
- 오늘 30분 동안 팀원과 이해관계자를 원문의 4단계에 대입해 이름 옆에 적는다.
- 각자 쓰는 도구가 무료 챗봇인지, 유료 에이전트인지 함께 적는다.
비개발 동료에게 큰 문제로 데모하기
- 한 문단짜리 질문 대신 며칠 걸리던 실제 업무 하나를 골라 에이전트로 풀어 보여 준다.
- 원문 요인 1처럼 문제가 클수록 차이가 보이니 크기를 키운다.
검증 가능한 작업부터 에이전트에 맡기기
- 테스트나 자동 검증이 있는 작업을 먼저 골라 에이전트에 넘긴다.
- 원문 요인 2처럼 디지털·검증 가능 영역에서 능력이 가장 높다고 하니 이 기준으로 분류한다.
에이전트 산출물은 사람이 리뷰하는 체계 두기
- 장기 유지 코드는 에이전트 결과를 PR 리뷰와 테스트 통과 후에만 합친다.
- 원문이 사람의 리뷰·이해가 뒤처지고 있다고 하니 리뷰 시간을 일정에 넣는다.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT 대화창에 그대로 붙여넣기 (원문의 4단계 깔때기를 팀 진단에 쓰는 간이 버전)

우리 팀의 LLM 활용 격차를 진단하고 싶어. 아래 4단계 기준으로 팀원/이해관계자를 분류해 줘.
1단계: LLM을 거의 접하지 않음
2단계: 무료 챗봇을 가끔 씀 (검색·글쓰기 보조 수준)
3단계: 수학·코드 업무에 최신 모델과 에이전트를 전문적으로 씀
4단계: 내부 접근 수준 (해당 없으면 제외)

팀 정보: {{팀원별 역할과 쓰는 AI 도구}}

각 사람의 단계를 표로 정리하고, 단계별로 다음 단계로 올라가기 위해 한 주 안에 해 볼 구체적 실험 하나씩 제안해 줘. 근거 없는 추측은 빼고 내가 준 정보만 써 줘.

이어서 해 볼 것: 3단계 사람과 2단계 사람이 같은 업무를 각자 어떻게 푸는지 비교해 달라고 요청해 봐.

Terminology

jaggedness (들쭉날쭉한 능력)LLM이 어떤 분야는 박사급인데 다른 분야는 허술한 상태다. 같은 사람이 수학엔 천재인데 길찾기엔 서툰 것과 비슷하다.

검증 가능한 보상 기반 강화학습정답 여부를 기계가 자동으로 채점할 수 있는 문제로 모델을 훈련하는 방식이다. 코드가 테스트를 통과하는지로 점수를 매기는 식이다.

프런티어급 LLM그 시점에 가장 성능이 높은 최전선 모델이다.

제로데이아직 패치가 없는 보안 취약점이다.

에이전트 스웜여러 에이전트가 역할을 나눠 동시에 협업하는 구조다. 개미 떼가 큰 일을 나눠 하는 것과 비슷하다.