예산별 최적 LLM 찾기: 가격 대비 성능 프런티어 사이트

TL;DR Highlight

Artificial Analysis 점수와 가격을 매일 합쳐 예산별 최고 모델을 보여준다

Who Should Read

LLM API 비용을 줄이면서 쓸 모델을 고르려는 백엔드 개발자

Core Mechanics

가격 대비 성능 프런티어를 그린다
- Artificial Analysis Intelligence Index 점수를 혼합 API 가격에 놓고 그린다.
- 더 싼데 더 똑똑한 모델이 없는 모델만 프런티어에 오른다.
예산 구간별 추천 표를 준다
- 예산이 속한 행에서 그 가격에 살 수 있는 최고 점수 모델이 pick이다.
- 그 다음으로 좋은 모델은 runner-up으로 나온다.
혼합 가격은 입력:출력 3:1 기준이다
- 100만 토큰당 가격을 Artificial Analysis의 3:1 비율로 섞는다.
- 캐시 입력 할인, 배치 가격, 빠른 모드는 빠져 있다.
task당 비용 보기도 있다
- 같은 토큰 단가라도 답에 도달하려고 쓰는 토큰이 달라 비용이 몇 배 차이 날 수 있다.
- 이 값은 Artificial Analysis가 낸 수치를 그대로 쓴다.
추론 강도는 행이 따로다
- low, medium, high, xhigh, max, non-reasoning을 각각 별도 모델로 잰다.
- 강도를 올리면 점수와 task당 비용은 오르지만 100만 토큰당 가격은 그대로다.

Community Reactions

토큰 단가는 순진한 지표라는 의견
- 어떤 모델은 같은 수준에 도달하려고 토큰을 2~3배 쓴다는 의견이 있었다.
- task당 비용을 보여주는 Artificial Analysis 원본이 더 낫다는 의견이 여럿이었다.
직접 평가셋을 만들라는 의견
- 벤치마크는 노이즈가 크고 집계하면 오차가 더 커진다는 의견이 있었다.
- 내 사용 사례의 어려운 케이스로 비공개 평가를 만들라고 했다.
로컬 모델을 밤새 돌려 본 경험
- 32GB M1 Max에서 Qwen3.8 27B 양자화 버전을 밤새 돌려 Swift 앱 디버깅에 썼더니 잘 됐다는 경험이 있었다.
- q8과 비교해도 차이는 속도뿐이었다고 했다.
구독제 기준 비교가 없다는 아쉬움
- 대부분 구독이나 토큰 패키지를 쓰므로 사용량 한도 대비 효율을 보고 싶다는 의견이 있었다.
- 일부 최신 모델과 수학·코딩 탭이 최신이 아니라는 지적도 있었다.

How to Apply

내 월 예산을 표에서 찾아 후보 뽑기
- 사이트에서 예산 행의 pick과 runner-up을 적어 둔다.
- Min score를 서비스 최소 품질 수준으로 올려 저점 모델을 걸러라.
task당 비용 보기로 후보 재검증하기
- 후보 모델의 추론 강도별 행을 비교한다.
- 최고 강도 말고 낮은 강도가 더 가성비 좋은지 확인하라.
내 트래픽으로 후보 A/B 비용 측정하기
- 실제 요청 100건을 pick과 runner-up에 돌려 토큰 수와 정답률을 기록한다.
- 캐시 할인과 배치 가격을 반영해 월 비용을 다시 계산하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣는 프롬프트 (모델 선택 간이 점검)

나는 LLM API를 쓰는 서비스를 운영한다. 후보 모델을 고르려 한다.
월 예산: {{월 예산 USD}}
주요 작업: {{작업 설명}}
후보 모델과 100만 토큰당 가격: {{모델1, 가격}}, {{모델2, 가격}}

다음을 표로 정리해 줘.
1. 작업 1건당 예상 입력·출력 토큰 수를 가정과 함께 적기
2. 모델별 1건당 비용과 월 비용
3. 토큰을 더 쓰는 모델이 있다면 그 영향
4. 내 서비스에서 직접 검증해야 할 항목 3가지

이어서 해 볼 것: 실제 요청 20건으로 모델별 토큰 수를 재서 가정을 고쳐 달라고 해 보기

Terminology

가치 프런티어(value frontier)더 싸면서 더 똑똑한 모델이 없는 모델들을 이은 선이다. 가성비 순위의 상위 후보 목록이라고 보면 된다.

Intelligence IndexArtificial Analysis가 여러 벤치마크를 가중 평균한 종합 점수다. 모델의 종합 성적표다.

혼합 가격(blended price)입력과 출력 가격을 3:1로 섞어 하나로 만든 100만 토큰당 가격이다. 평균 택시 요금 같은 대푯값이다.

task당 비용Index의 작업 하나를 푸는 데 드는 평균 달러 비용이다. 단가가 같아도 토큰을 많이 쓰면 올라간다.

추론 강도(reasoning effort)모델이 답하기 전에 생각하는 양을 정하는 설정이다. 올릴수록 점수와 비용이 같이 오른다.