Claude Code에서 effort 스케일이 서버 쪽 A/B 테스트로 줄었다는 보고

Who Should Read

Claude Code의 effort 설정을 쓰는데 최근 모델이 갑자기 덜 똑똑해졌다고 느끼는 개발자

Core Mechanics

• 서버 쪽 실험으로 보인다는 업데이트
  • 작성자는 앱이 아니라 서버 쪽 변경이라고 밝혔다.
  • Claude Code 2.1.236+의 fable 5 세션이 effort 스케일을 줄이는 실험에 들어간다고 썼다.
  • 이전 버전과 opus 5는 영향이 없다고 썼다.
• "high"가 "low"처럼 느껴지면 테스트 그룹
  • 작성자는 A/B 테스트라 모두에게 적용되지 않는다고 썼다.
  • "high"가 "low"처럼 느껴지면 테스트 그룹이라고 설명했다.
• 2.1.237부터 high가 10/100으로 읽힌다
  • 작성자에 따르면 모델이 "high" effort를 100점 중 10으로 읽는다.
  • 예전 "low"가 정확히 그 숫자였다고 썼다.
  • 변경 로그에는 아무 언급이 없다고 썼다.
• 작성자는 한나절을 앱 탓으로 보냈다
  • t3 code와 자기 앱이 고장 난 줄 알고 오후를 보냈다고 썼다.

Community Reactions

• Claude Code 팀원이 직접 해명했다는 댓글
  • Thariq가 API 서빙 설정을 Claude Code에서 먼저 테스트하며, 그중 하나가 effort 숫자를 다르게 매핑한다고 밝혔다는 댓글이다.
  • 스케일은 0-100이 아니며 숫자 자체엔 의미가 없고, 고른 effort 그대로 적용된다고 했다는 내용이다.
  • 성능에 영향이 없음을 evals로 확인했고, 뚜렷한 퇴보는 /feedback으로 ID를 보내면 크레딧을 주겠다고 했다는 내용이다.
• Opus 5가 단순 작업에 과하게 움직였다는 경험
  • config 파일 갱신 작업이 4.6에서는 2분 미만이었다는 댓글이다.
  • Opus 5에서는 컨테이너 pull, 샌드박스 실행, 테스트 스위트 작성으로 43분이 걸렸다고 한다.
• 낮은 effort가 비용과 품질에 낫더라는 경험
  • Opus 5를 거의 low effort로 쓰면 결과가 좋고, high에서는 시키지 않은 곁가지로 빠진다는 댓글이다.
  • 다른 댓글은 Opus가 Sonnet보다 비싼 주된 이유가 말이 많아서라고 봤다.
  • 그래서 Sonnet으로 내려가는 대신 Low reasoning을 쓰니 비슷한 비용에 품질이 더 좋았다고 한다.
• effort 숫자는 모델이 알 수 없을 수 있다는 의견
  • 일부는 추론 토큰 예산 설정을 에이전트 하네스가 맡을 수 있다고 봤다.
  • 그렇다면 모델은 자신의 추론 모드를 몰라 틀리게 답할 수 있다는 의견이다.

How to Apply

• 같은 작업을 effort별로 돌려 기록하기
  • 오늘 같은 프롬프트를 low와 high에서 각각 돌려 소요 시간과 토큰 사용량을 비교하라.
  • 모델에게 현재 effort를 묻지 말고 결과물과 비용만 기준으로 삼아라.
• 퇴보가 보이면 /feedback으로 ID 제출하기
  • Claude Code에서 명확한 품질 저하가 나오면 /feedback을 실행하라.
  • 세션 ID를 Thariq에게 보내라고 댓글에 안내돼 있다.
• Claude Code 버전과 증상을 로그에 남기기
  • 이상한 응답이 나오면 버전(예: 2.1.236+)과 모델명을 함께 적어 두어라.
  • 팀원과 비교해 테스트 그룹 여부를 가려라.

Try It

# Claude Code에 그대로 붙여넣는 프롬프트 (effort 비교 체크용)

아래 작업을 수행하고 마지막에 다음을 표로 정리해줘.
- 작업: {{작업 설명}}
- 범위: {{수정해도 되는 파일}} 밖은 건드리지 마.

표 항목: 읽은 파일 수, 실행한 명령 수, 걸린 단계 수, 최종 변경 요약.

이어서 해 볼 것: /effort를 low와 high로 바꿔 같은 프롬프트를 다시 돌리고 표를 비교해 보세요.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://twitter.com/argofowl/status/2091150597374537729
• https://x.com/trq212/status/2091247114869432543
• https://github.com/anthropics/claude-code/issues/84352