AI 투자 효과, 빅테크 밖에서는 아직 안 보인다
No signs of AI payoff outside the tech sector
TL;DR Highlight
Mag 7은 1인당 매출·마진이 오르는데 S&P 493은 제자리
Who Should Read
사내에 LLM 도입을 제안하며 ROI 근거와 토큰 비용 압박을 고민하는 개발자·팀 리드
Core Mechanics
- 비테크 기업엔 AI 수익이 없다
- 원문은 AI가 빅테크 밖 미국 기업에 재무적 성과를 주지 못했다고 쓴다.
- Mag 7은 1인당 매출과 이익률이 오르지만 S&P 493은 둘 다 정체다.
- 생산성 통계에도 아직 안 잡힌다
- 원문은 AI가 생산성 성장률을 끌어올린다는 신호가 아직 없다고 한다.
- 근거 차트는 샌프란시스코 연준의 총요소생산성(TFP, 노동·자본 투입으로 설명 안 되는 생산성) 계열이다.
- 토큰 비용이 비용 항목이 되고 있다
- 일반 기업은 토큰 지출을 성장 동력이 아니라 마진을 누르는 비용으로 보기 시작했다고 한다.
- VC 투자 기업은 토큰에 점점 더 쓰지만 일반 기업은 최신 모델에 돈을 내려 하지 않는다고 한다.
- 에이전트 지출이 일부에 갇혀 있다
- 에이전트형 AI와 토큰 지출이 경제 일부에만 있으면 거시 효과는 매우 제한적이라고 한다.
- 근거 차트는 Ramp AI Index 등을 쓴다.
- 싸진 지능을 매출로 바꾸기가 관건이다
- 모델이 범용화돼도 일반 기업이 값싼 지능을 매출·마진 성장으로 바꿀 수 있는지가 질문이다.
- 기업의 지능은 대부분 판단이고, 맥락에 따라 사람이나 모델마다 답이 달라진다고 한다.
- AI는 책임·신뢰·암묵지를 모른다
- 원문은 책임, 신뢰, 문화, 불문율, 윤리적 트레이드오프, 공정성을 AI가 이해하지 못한다고 쓴다.
- 이것들이 평판 리스크와 매출·마진을 좌우한다고 한다.
Community Reactions
- 공장 전기화와 같다는 의견
- 수력 방앗간에 전기 모터만 끼워 넣어선 효과가 없고 건물을 새로 지어야 이득이 나왔다는 비유다.
- AI 중심으로 처음부터 설계된 새 회사가 판을 바꿀 것이라는 의견이다.
- 아직 이르다는 의견과 솔로 역설 언급
- 아마존 매출이 월마트를 넘기까지 수십 년 걸렸듯 확산에 시간이 걸린다는 의견이다.
- 1987년 솔로의 "컴퓨터는 생산성 통계 빼고 어디서나 보인다"는 말과 같다는 댓글이 여럿이다.
- 테스트 스위트가 없는 업종은 검증이 어렵다는 의견
- 소프트웨어는 테스트가 검증 관문이라 비결정적 시스템을 쓸 수 있다는 지적이다.
- 다른 업종은 수동 검증이 필요해 직접 하는 것보다 느리고 비싸질 수 있다는 의견이다.
- 웹 챗으로 업무 시간을 줄였다는 경험
- 계약 업무 담당자가 Claude 웹 채팅으로 8시간 업무를 몇 시간으로 줄였다는 경험담이다.
- 워크플로에 통합된 것이 아니라 개인이 쓰는 수준이라 통계에 안 잡힌다는 주장이다.
- Copilot 검수 자동화가 불안정했다는 경험
- 수표·청구서 스캔 20개씩 파일명 변경 배치를 만들게 했더니 15줄만 나오는 등 실패율이 높았다는 경험이다.
- 긴 세션일수록 실패가 늘고 업로드 제한이 걸렸다고 한다.
How to Apply
- 우리 팀 AI 지출 대비 효과 표 만들기
- 오늘 30분 안에 LLM API 월 비용을 기능별로 뽑아라.
- 각 기능 옆에 절감 시간이나 매출 지표를 한 칸씩 적어라.
- 지표가 비는 기능은 비용 항목으로 표시하라.
- 최신 모델 필요 여부를 작업별로 검증하기
- 반복 업무 20건을 골라 저가 모델과 최신 모델에 같은 입력을 돌려라.
- 정답률 차이가 작으면 저가 모델로 내려 토큰 비용을 줄여라.
- AI 출력에 자동 검증 관문 붙이기
- 비개발 업무에 쓰는 LLM 출력에 형식 검사와 규칙 테스트를 먼저 붙여라.
- 통과 못 한 건만 사람이 보게 하여 수동 검수 비용을 줄여라.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (원문은 경제 분석이라 코드가 없어 간이 점검 프롬프트로 대체)
당신은 AI 도입 ROI를 점검하는 분석가입니다. 아래는 우리 서비스에서 LLM을 쓰는 기능 목록과 월 비용입니다.
{{기능 목록, 월 토큰 비용, 기대 효과}}
각 기능에 대해 다음을 표로 정리해 주세요.
1) 효과를 측정할 수 있는 지표 1개
2) 최신 모델 대신 저가 모델로도 충분한지 확인할 테스트 방법
3) 출력을 자동 검증할 규칙 후보
이어서 해 볼 것: 표의 지표가 비어 있는 기능은 비용 항목으로 분류하고 유지 여부를 판단하세요.Terminology
관련 논문
10년 된 CNN이 최신 LLM보다 피부암 진단을 더 잘했다
파인튜닝한 Inception v3가 피부 병변 200건에서 GPT-6 Astra·Claude Fable 5.1을 앞섰다
미국 미디어·영화·예술 일자리 20만 개 감소, AI 탓은 얼마나 될까
미국 창작 산업 일자리가 4년간 20만 개 넘게 줄었지만 AI 책임 비중은 입증하기 어렵다
LLM으로 대규모 formal verification이 가능해졌다
Claude로 오픈소스 라이브러리 123개의 no-crash 증명을 만들고 버그도 찾았다
PHP2Shell: AI가 찾아낸 PHP 코어 RCE 취약점
Wiz가 AI로 PHP 코어의 10년 묵은 RCE를 찾아 익스플로잇까지 만들었다
LLM에게 confidence 점수를 물어보면 안 되는 이유
LLM이 말한 confidence 숫자는 측정값이 아니라 그럴듯한 텍스트일 뿐이다
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다