GPT-6.1 Sol, 출시 7일 만에 GPT-6 Sol 대체: Astra에 근접한 성능

TL;DR Highlight

GPT-6.1 Sol은 Astra보다 1점 낮은 지능을 4분의 1 미만 비용으로 낸다

Who Should Read

GPT 계열 모델로 에이전트·코딩 워크로드를 돌리며 모델 교체와 비용 최적화를 고민하는 백엔드 개발자

Core Mechanics

Astra와 1점 차이로 붙었다
- Intelligence Index에서 GPT-6 Sol 대비 4점, GPT-5.6 Sol 대비 5점 올랐다.
- GPT-6 Astra와는 1점 차이다.
가격표는 그대로, 캐시 할인만 커졌다
- 가격은 GPT-6 Sol과 같은 입력 $2, 출력 $10 (100만 토큰당)이다.
- 캐시 읽기 할인이 90%에서 95%로 올라 에이전트 워크로드 혼합 단가가 약간 낮아졌다.
태스크당 비용이 크게 줄었다
- max effort 기준 Intelligence Index 태스크당 $0.72로, GPT-6 Astra($3.26)의 4분의 1 미만이다.
- GPT-6 Sol($1.05)보다 31%, GPT-5.6 Sol($1.99)보다 64% 싸다.
에이전트·지식 업무와 환각이 개선됐다
- Terminal-Bench 4.0은 12점, Humanity's Last Exam은 5점 올랐다.
- AA-Omniscience Accuracy는 8점 오르고 환각률은 60%에서 54%로 내려갔다.
출력 토큰은 10~30% 더 쓴다
- GPT-6 Sol보다 effort 수준별로 출력 토큰을 약 10~30% 더 쓴다.
- 그래도 점수가 올라 low·medium effort는 토큰 효율 Pareto 최적(같은 지능에서 더 싼 모델이 없는 상태)이다.

Community Reactions

월간 사용량이 더 빨리 소진된다는 의견
- GPT-5.5 이후로는 성능 향상이 체감되지 않고 사용량만 빨리 끝난다는 댓글이 있었다.
- 반대로 매번 모델이 나올 때마다 같은 말이 반복됐지만 지난 2년간 AI는 크게 바뀌었다는 반론도 있었다.
사용 후기가 엇갈린다는 반응
- 6.1이 너프됐고 쓸 수 없다는 부정적 경험담이 있었다.
- 출시 후 ChatGPT가 엉망이라는 불만도 올라왔다.
effort별 비교가 필요하다는 의견
- Claude 사용자가 high·medium 같은 effort 수준별 체감 차이를 알 수 있게 벤치마크 사이트가 단일 모델의 여러 thinking 모드를 보여주면 좋겠다고 했다.
가격 경쟁에 대한 반응
- 에이전트 비용이 바닥을 향한 경주로 가고 있다는 반응이 있었다.
- 7일 만의 교체를 두고 Anthropic 출시에 대한 대응이라는 추측성 댓글도 있었다.

How to Apply

지금 쓰는 모델과 비용 비교표 만들기
- 오늘 우리 서비스의 대표 태스크 5~10개를 골라 GPT-6 Sol과 GPT-6.1 Sol로 각각 돌려 보자.
- 정답률, 입력·출력 토큰, 태스크당 비용을 한 표에 적는다.
GPT-6 Astra 호출 구간을 6.1 Sol로 바꿔 보기
- Astra를 쓰는 비용 민감 경로부터 6.1 Sol로 바꿔 A/B 테스트한다.
- 원문 기준 지능 차이는 1점, 태스크당 비용은 4분의 1 미만이라는 점을 기준선으로 삼는다.
코딩 에이전트는 xhigh와 max를 둘 다 돌리기
- 같은 코딩 태스크를 xhigh와 max effort로 각각 실행한다.
- 점수와 비용을 비교해 기본 effort를 정한다.
프롬프트 캐시 구조 점검하기
- 캐시 읽기 할인이 95%이므로 시스템 프롬프트와 도구 정의를 앞쪽에 고정한다.
- 요청마다 바뀌는 내용은 뒤쪽에 둬서 캐시 적중률을 올린다.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 붙여넣기 (모델 교체 평가 계획 프롬프트)

당신은 LLM 비용 최적화 컨설턴트다. 우리는 GPT-6 Sol에서 GPT-6.1 Sol로 교체를 검토 중이다.
알려진 사실: 가격은 입력 $2 / 출력 $10 (100만 토큰당)로 동일하고, 캐시 읽기 할인은 90%에서 95%로 올랐으며, 출력 토큰은 약 10~30% 더 쓴다.

우리 서비스 정보:
- 주요 워크로드: {{워크로드 설명}}
- 월 입력 토큰: {{입력 토큰 수}}
- 월 출력 토큰: {{출력 토큰 수}}
- 캐시 적중 비율: {{캐시 적중률}}

지시:
1. 위 가정으로 교체 전후 월 비용을 계산식과 함께 보여 줘.
2. 출력 토큰이 10%, 30% 늘어난 두 경우를 나눠 비교해 줘.
3. 교체 전에 돌려 볼 A/B 테스트 항목 5개를 제안해 줘.

이어서 해 볼 것: 실제 로그의 토큰 수를 넣어 다시 계산해 보기

Terminology

Intelligence IndexArtificial Analysis가 여러 평가를 묶어 만든 종합 점수다. 모델의 종합 성적표 같은 것이다.

Cost per Task평가 태스크 하나를 푸는 데 드는 평균 비용이다. 단가가 아니라 실제 청구액 관점이다.

Pareto frontier비용과 성능을 함께 봤을 때 더 나은 대안이 없는 모델들의 경계선이다. 같은 지능에서 더 싼 모델이 없다는 뜻이다.

effort모델이 얼마나 오래 생각할지 정하는 설정이다. low, medium, xhigh, max 같은 단계가 있다.

Cache read discount이미 캐시된 입력을 다시 읽을 때 깎아 주는 비율이다. 같은 프롬프트 앞부분을 재사용할수록 싸진다.