LLM 지능 vs 비용: 로그 스케일이 가린 가격 격차

TL;DR Highlight

비용 축을 선형으로, 가격을 OpenRouter 기준으로 바꾸니 최고급과 저가 모델의 격차가 드러났다

Who Should Read

작업마다 어떤 LLM을 쓸지 비용 대비 성능으로 골라야 하는 LLM API 백엔드 개발자

Core Mechanics

AA 차트는 비용 축이 로그라 격차가 가려진다
- ArtificialAnalysis(AA)의 Intelligence vs. cost 차트는 비용 축이 로그 스케일이다.
- 저가 모델끼리의 차이는 보이지만 최고급과 저가 모델 사이의 거대한 가격 차이는 체감하기 어렵다.
- 저자는 $0.015·$0.032 모델과 $3.69 모델이 한 차트에 있다고 예로 든다.
가격 기준을 OpenRouter와 로컬 전기료로 바꿨다
- AA는 개발사 공식 API 가격을 쓰는데, 오픈 웨이트 모델은 제3자 제공사에서 훨씬 싸게 빌릴 수 있다.
- 저자는 Kimi K3, GLM-5.3 등 일부 모델을 OpenRouter 가격으로 바꿨다.
- 35B 파라미터 미만 모델은 데이터센터 가격 대신 로컬 전기료로 계산했다.
Fable 5.1 대비 GLM-5.3은 7.5배 저렴하다
- Fable 5.1은 지능 66점에 작업당 $3.69다.
- GLM-5.3은 지능 60점에 $0.49다.
- 저자는 최상급 엔지니어가 아니면 이 차이를 체감하기 어렵다고 본다.
GLM-5.3-Flash는 Fable의 160분의 1 가격이다
- GLM-5.3-Flash(high 설정)는 지능 55점에 작업당 $0.023이다.
- 프로젝트 전체를 한 번에 짜는 정교한 작업에선 확실히 떨어진다.
- 그래도 사람들이 실제로 필요한 일의 90%는 충분하다고 저자는 쓴다.

Community Reactions

속도도 지표에 넣자는 의견
- 작업이 1~2분 만에 끝나느냐 5~10분 걸리느냐가 큰 차이라는 댓글 의견이 있었다.
- 한 댓글러는 비싼 모델을 light reasoning으로 돌려 빠른 응답을 얻는다는 경험을 적었다.
- 지능·가격·속도 3차원 플롯이 필요하다는 의견이 여럿 나왔고, 3D 앱을 직접 만들었다는 댓글도 있다.
로그 스케일이 더 낫다는 반론
- 저가 구간에서 모델을 바꾸면 지출이 두 배가 될 수 있어 로그가 이를 반영한다는 의견이 있었다.
- 파레토 프런티어도 로그 차트에서 더 잘 보인다는 지적이다.
- 하드웨어를 0원으로 친 방식과 새 프런티어 변화 설명이 부족하다는 비판도 있었다.
구독 요금제를 고려해야 한다는 의견
- OpenAI·Anthropic 구독은 토큰 단가 대비 약 10배 할인이라, 그 모델들을 차트에서 10배 왼쪽으로 옮겨야 공정하다는 댓글이 있었다.
- 하드웨어 비용을 기간에 나눠 반영해야 한다는 의견도 있었다.
오픈 웨이트 가격 해석에 대한 의견
- 양자화(quantization)로 필터링하면 대부분 제공사 가격이 비슷하다는 댓글이 있었다.
- 더 싼 곳은 제공사 쪽에 어떤 편법이 있다는 의견이다.
- GLM 5.3 Flash는 비용을 빼고도 인상적이었다는 경험담도 있었다.

How to Apply

최근 한 달 호출을 작업 난이도별로 나눠 보기
- 오늘 로그에서 요약·분류·추출처럼 단순한 호출을 따로 뽑아라.
- 그 호출을 GLM-5.3-Flash 같은 저가 모델로 같은 입력에 돌려 결과를 비교하라.
- 품질 차이가 없으면 해당 작업을 저가 모델로 옮겨라.
오픈 웨이트 모델은 OpenRouter 가격으로 재비교하기
- 공식 API 가격 대신 OpenRouter의 제공사별 가격을 표로 만들어라.
- 지연이 심하거나 Zero Data Retention 정책이 없는 제공사는 제외하라.
- 양자화 수준을 맞춰서 비교하라.
모델 라우팅을 난이도별 2단으로 나누기
- 코드 한 번에 전체 생성 같은 어려운 작업만 최상위 모델로 보내라.
- 나머지는 중간·저가 모델 기본값으로 두어라.
- 작업당 비용과 응답 시간을 같이 기록해 기준을 조정하라.
로컬 모델 비용은 전기료와 하드웨어를 분리해 계산하기
- 이미 가진 장비면 전기료만, 새로 사야 하면 상각비를 포함하라.
- 128GB 이상 RAM이 필요한 모델은 하드웨어 비용을 반드시 넣어라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 그대로 붙여넣기 (원문 아이디어를 프롬프트로 옮긴 간이 버전)

나는 LLM API로 아래 작업들을 처리하고 있다. 각 작업을 "최상위 모델 필요 / 중간 모델이면 충분 / 저가·로컬 모델로 충분" 세 단계로 분류해 줘.

작업 목록:
{{작업 목록: 작업명, 월 호출 수, 평균 입력·출력 토큰}}

현재 쓰는 모델과 토큰 단가:
{{모델명과 단가}}

각 작업에 대해 다음을 표로 정리해 줘.
1. 분류 단계와 그 이유
2. 모델을 내렸을 때 품질이 떨어질 위험이 있는 지점
3. 그 위험을 확인할 수 있는 작은 테스트 방법

이어서 해 볼 것: 저가 모델로 내리기로 한 작업 10건을 뽑아 두 모델 출력을 나란히 비교해 달라고 요청해 봐.

Terminology

Pareto frontier같은 지능 점수를 내는 모델 중 가장 싼 것들을 이은 선이다. 이 선 아래·오른쪽에 있는 모델은 더 싸고 똑똑한 대안이 있어 쓸 이유가 약하다.

로그 스케일축의 눈금이 10배씩 커지는 방식이다. 작은 값 차이는 잘 보이지만 큰 값의 격차는 압축돼 작아 보인다.

오픈 웨이트 모델모델 가중치가 공개돼 누구나 내려받아 돌리거나 다른 업체가 호스팅할 수 있는 모델이다.

OpenRouter여러 모델 제공사를 한 API로 묶어 주고 가장 싼 제공사로 바꿔 쓸 수 있게 해 주는 중개 서비스다.

Intelligence IndexArtificialAnalysis가 여러 벤치마크 결과의 평균으로 낸 종합 지능 점수다. 원문에서는 5점 차이면 뚜렷하다고 본다.