LLM의 Reasoning Effort(추론 강도)는 어떻게 조절되나

Who Should Read

GPT-5.6·gpt-oss 같은 모델의 reasoning effort 설정이 비용과 성능에 어떻게 작동하는지 알고 싶은 LLM API 개발자

Core Mechanics

• reasoning 모델은 중간 추론 과정을 출력한다
  • 사람처럼 추론한다는 뜻이 아니라 단계별 중간 응답(reasoning trace)을 쓴다는 뜻이다.
  • DeepSeek-R1은 RLVR(정답을 검증할 수 있는 수학·코드 문제에 0/1 보상을 주는 강화학습)로 이를 학습시켰다.
• <think> 태그는 장식이다
  • 추론 시작과 끝을 표시해 UI에서 숨기거나 답변과 분리하려는 용도다.
  • 이 태그가 모델에게 추론 능력을 주는 것은 아니다.
• Qwen3는 추론 on/off 스위치를 둔다
  • enable_thinking=False는 빈 <think></think>를 응답 앞에 강제로 넣는 hard 스위치다.
  • /think, /no_think는 SFT(정답 예시로 하는 지도 미세조정)로 학습시킨 soft 스위치다.
• gpt-oss는 시스템 프롬프트로 effort를 고른다
  • 시스템 메시지에 "Reasoning effort: low/medium/high"가 들어간다.
  • effort가 높을수록 응답 길이와 정확도가 함께 올라간다고 모델 카드 그림에 나온다.
• GPT-5.6 최고 설정은 수익이 줄어든다
  • GPT-5.6 Sol 그림에서 effort를 올리면 API 비용과 코딩 에이전트 성능이 같이 오르지만 최고 설정에서는 효과가 줄어든다.
  • 근거는 Artificial Analysis Coding Agent Index v1.1이다.

Community Reactions

• 토큰 스트림을 가로채 추론을 연장하는 팁이 있다는 경험
  • 모델이 추론을 끝냈다는 토큰을 찾아 "wait, but" 토큰으로 바꾸면 계속 생각하게 만들 수 있다고 한다.
• llama.cpp는 이미 토큰 reasoning budget을 제공한다는 의견
  • 사용자 지정 메시지와 함께 쓸 수 있다고 한다.
  • 작은 budget으로 시작해 복잡도에 따라 늘리는 방식이 이상적이라는 의견도 있다.
• reasoning이 "think step by step" 프롬프트의 형식화라는 의견
  • 그 프롬프트 요령은 GPT-3 출시 2년 뒤에야 발견됐다는 점을 짚었다.

How to Apply

• 같은 질문을 effort별로 돌려 토큰과 정확도 비교하기
  • 우리 서비스의 대표 프롬프트 10개를 low/medium/high로 호출하고 출력 토큰 수와 정답 여부를 표로 기록하라.
  • 정확도 증가폭이 작아지는 지점을 기본값으로 정하라.
• 작업 난이도별로 effort를 라우팅하기
  • 단순 분류·요약은 low, 코드 수정·다단계 추론은 high로 요청 파라미터를 나눠라.
  • 최고 설정은 수익 감소가 크므로 필요한 경우에만 허용하라.
• 로컬 모델은 reasoning budget 제한 걸기
  • llama.cpp를 쓴다면 토큰 reasoning budget을 설정하고 작은 값에서 시작하라.
  • 복잡도 기준을 정해 budget을 단계적으로 늘려라.

Try It

# Claude나 ChatGPT에 붙여넣기 (원문 방법의 간이 버전: 시스템 프롬프트로 effort 흉내)

Reasoning effort: {{low 또는 medium 또는 high}}

아래 질문에 답하라. low면 추론 없이 결론만 짧게, medium이면 핵심 단계만, high면 단계별로 검증하며 풀어라.
질문: {{질문}}

이어서 해 볼 것: 같은 질문을 effort만 바꿔 세 번 돌리고 답변 길이와 정확도를 비교해 보라.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://magazine.sebastianraschka.com/p/controlling-reasoning-effort-in-llms
• https://sebastianraschka.com/books/#build-a-reasoning-model-from-scratch