Claude Opus 5.5 (max) 지능·성능·가격 분석
Claude Opus 5.5 Intelligence, Performance and Price Analysis (Max)
TL;DR Highlight
Opus 5.5 max는 지능지수 58로 1위지만 출력이 많고 비싸다
Who Should Read
Claude Opus 5.5를 어떤 추론 강도로 쓸지, 비용 대비 성능을 따져야 하는 LLM API 백엔드 개발자
Core Mechanics
- 지능지수 58로 비교군 중앙값 27의 두 배
- Artificial Analysis Intelligence Index v4.3.2 기준이다.
- 같은 가격대 모델 비교에서 지능 1위로 표시된다.
- 출력 토큰이 중앙값의 3배 넘게 나왔다
- 지능지수 평가 중 2억 6천만 토큰을 생성했다.
- 비교군 중앙값은 8,500만 토큰이다.
- 가격은 입력 $4, 출력 $20 (100만 토큰당)
- 중앙값은 입력 $2, 출력 $10이다.
- 캐시 할인은 95%다.
- 태스크당 평가 비용은 평균 $5.98
- 지능지수 태스크 하나를 돌리는 데 드는 가중 평균 비용이다.
- 비용 순위는 114개 중 112위로 표시된다.
- 속도는 초당 95토큰으로 평균보다 빠르다
- 비교군 중앙값은 초당 85토큰이다.
- 첫 토큰까지 걸린 시간(TTFT)은 562.75초로 중앙값 3.81초보다 훨씬 길다.
Community Reactions
- max는 예산을 다 쓰고 답을 못 낸다는 경험
- 펠리컨 자전거 SVG 생성을 max로 두 번 시도했더니 둘 다 128,000 토큰 예산 안에서 추론만 하다 끝났다는 경험이 나왔다.
- max가 거의 쓸모없을 수 있다는 의견이다.
- max에서 멈췄고 medium이 잘 맞는다는 경험
- max 추론이 멈추는 경우가 있었고, 기본값 medium이 짧은 루프와 긴 루프 모두 잘 돌았다는 경험이 있었다.
- high가 쓸 만하다는 의견도 있었다. 벤치마크가 high 이후 정체되고 Fable보다 점수가 높다는 이유다.
- Opus 5보다 비용이 절반이라는 의견
- high 대 high로 비교하면 태스크당 비용이 Opus 5의 절반이라는 의견이다.
- Opus 5는 지시를 잊고 중간에 딴 길로 새서 4.8로 돌아갔다는 경험도 있었다.
- 벤치마크 자체를 못 믿겠다는 반응
- 모델이 벤치마크에 맞춰 학습됐을 수 있다는 의견이다.
- Claude Code와 Codex로 실제 코드를 리뷰시켜 보니 Claude는 계획과 실행에, Codex는 버그 찾기에 강했다는 경험이 있었다.
How to Apply
- 오늘 내 평가셋으로 effort 3단계 비교하기
- 내부 평가 질문 20개를 medium, high, max로 각각 돌려라.
- 정답률, 출력 토큰 수, 응답 시간을 표로 비교하라.
- max에는 토큰 예산 상한과 폴백 두기
- max 호출에 max_tokens 상한과 타임아웃을 설정하라.
- 답이 없으면 high나 medium으로 재시도하게 만들어라.
- 태스크당 비용을 직접 계산해 모델 고르기
- 로그에서 입력·출력·캐시 토큰을 합산해 요청당 비용을 구하라.
- 출력이 많은 모델은 출력 단가 $20에 토큰 수를 곱해 비교하라.
- 출시 몇 주 뒤 같은 평가셋 재실행하기
- 주 1회 같은 평가셋을 돌려 점수가 떨어졌는지 기록하라.
- 떨어지면 이전 모델로 라우팅하라.
Try It
# 터미널에 그대로 붙여넣는 셸 스크립트 (effort별 비용 계산 간이 버전)
# 아래 숫자를 내 로그의 토큰 수로 바꿔 넣으세요
IN=2000000; OUT=1500000; CACHE_HIT=0
# 원문 가격: 입력 $4, 출력 $20 (100만 토큰당)
python3 -c "
in_t=$IN; out_t=$OUT
print('cost USD:', in_t/1e6*4 + out_t/1e6*20)
"
# 이어서 해 볼 것: medium/high/max 로그로 세 번 돌려 비용과 정답률을 나란히 비교하세요Terminology
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다