Claude Fable 5.1이 그려준 애니메이션 펠리컨, effort별 비교

TL;DR Highlight

Fable 5.1 effort를 max로 올렸더니 펠리컨이 최고로 나왔지만 $3.30이 들었다

Who Should Read

LLM API의 reasoning effort 설정을 품질과 비용 사이에서 어떻게 잡을지 고민하는 백엔드 개발자

Core Mechanics

Fable 5.1은 reasoning 5단계다
- low, medium, high, xhigh, max 다섯 단계가 있다.
- reasoning을 완전히 끄는 옵션은 없다.
low·medium은 추론을 건너뛴 듯했다
- low는 출력 1,998토큰, 23.8초, 10.017센트였다.
- medium은 1,977토큰, 23초, 9.912센트였고 둘 다 reasoning 텍스트가 없었다.
high는 거의 차이가 없었다
- high는 2,612토큰, 29.6초, 13.087센트였다.
- 추론 요약은 조금 나왔지만 low·medium과 결과 차이는 크지 않았다고 한다.
xhigh부터 비용이 확 뛴다
- xhigh는 36,767토큰, 7분 51초, $1.83이었다.
- max는 65,927토큰, 13분 54초, $3.30이었고 Anthropic 모델 중 가장 좋은 펠리컨이 나왔다.
max 펠리컨을 애니메이션으로 바꿨다
- llm으로 SVG를 파이프해 High에서 'animate this'를 돌렸다.
- 입력 6,121, 출력 26,201토큰에 $1.37이 들었다.

Community Reactions

펠리컨 벤치마크가 이제 풀렸으니 애니메이션 버전을 보고 싶다는 요청
- HN에서 swalsh가 요청했고, 이게 애니메이션 실험의 계기가 됐다.
xhigh와 max 차이를 모르겠다는 의견
- 최고 펠리컨을 무엇으로 판단하느냐는 질문이 나왔다.
- 둘의 차이가 크게 안 보인다는 반응이었다.
GLM 5.3 NVFP4를 로컬에서 돌려 비슷한 결과를 냈다는 경험
- 4x RTX6000으로 6분 만에 생성했다고 한다.
- 누가 누구를 학습시켰냐는 농담도 붙었다.
바퀴 방향은 착시일 수 있다는 의견
- SVG에 방향 지정이 없어 기본값인 시계 방향이니 괜찮다는 해석이 나왔다.
- 영상에서 방향이 뒤집혀 보이는 착시일 수 있다는 반응도 있었다.

How to Apply

effort 단계별로 같은 프롬프트 돌려보기
- 오늘 쓰는 프롬프트 하나를 low, high, max로 각각 호출하라.
- 출력 토큰, 소요 시간, 비용, 결과물을 표로 비교하라.
기본 effort는 high로 두고 max는 예외로 쓰기
- 품질 차이가 눈에 띄는 작업에만 xhigh·max를 켜라.
- 단순 요청은 high 이하로 고정해 비용 폭증을 막아라.
2단계 파이프라인으로 비용 나누기
- 첫 결과물은 높은 effort로 만들어라.
- 수정·변환 작업은 기본 effort로 이어서 처리하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT 채팅창에 그대로 붙여넣기 (원문 실험의 간이 버전)

아래 요청을 처리해 줘.

{{요청: 예) 펠리컨이 자전거를 타는 SVG 만들기}}

먼저 충분히 고민한 뒤 결과를 만들고, 만든 결과에서 어색한 부분(겹침, 누락, 위치 오류)을 스스로 점검해서 고친 최종본만 출력해 줘.

이어서 해 볼 것: 같은 결과물에 "animate this"라고 요청해서 SVG 애니메이션으로 바꿔 보기.

Terminology

reasoning effort모델이 답하기 전에 얼마나 오래 생각할지 정하는 다이얼이다. 높일수록 토큰과 시간과 비용이 늘어난다.

reasoning trace모델이 답을 내기 전에 남긴 사고 과정 기록이다. 코드 리뷰의 중간 메모와 비슷하다.

SVG그림을 코드로 적는 벡터 이미지 형식이다. 텍스트라서 LLM이 직접 생성할 수 있다.

pelican benchmark모델에게 자전거 타는 펠리컨 SVG를 그리게 해 비교하는 비공식 테스트다.

llm-anthropicSimon Willison의 llm CLI에서 Claude 모델을 쓰게 해 주는 플러그인이다.