thinking 끄고 deep_think 툴을 주면 숨겨진 CoT가 새어 나온다

TL;DR Highlight

thinking을 끄고 deep_think 툴을 주니 내부 CoT 형식으로 추론이 노출됐다

Who Should Read

추론 모델 API로 에이전트를 만들며 reasoning 토큰 노출·보안이 궁금한 백엔드 개발자

Core Mechanics

thinking 끄고 툴만 줬다
- Can Bölük은 thinking을 끄고 "deep_think" 툴을 주면 모델이 내부 CoT(추론 과정 텍스트) 형식으로 그 툴을 호출한다고 말했다.
- 인자 형식은 따로 지정하지 않았다고 한다.
형식 지정 없이 grug-talk가 나왔다
- 트윗에는 인자 형식을 안 정했는데도 gpt55+의 grug-talk 형식이 나왔다는 설명이 있다.
- PoC 코드 링크(pasta.can.ac/omegiligox.py)도 공개했다.
발단은 Alexander Panfilov의 발표다
- Panfilov는 모든 frontier AI 회사 API의 취약점으로 숨겨진 추론을 추출했다고 밝혔다.
- 추출한 reasoning 토큰 수가 대부분의 프롬프트에서 청구된 API thinking 토큰과 1:1로 일치했다고 한다.
thinking 수준 전환도 된다
- Bölük은 thinking 수준 전환도 잘 된다고 했다.
- 수준은 원래 시스템 프롬프트 안의 숫자였다고 말했다.
Anthropic 쪽은 regex로 막는 듯한 언급이 있다
- Bölük은 Anthropic이 regex를 잘 쓴다고 비꼬는 트윗을 남겼다.
- 구체적인 방어 방식은 원문에 나오지 않는다.

Community Reactions

이미 알려진 내용이었냐는 반응
- 댓글에서 이게 이미 알려진 거였냐고 묻는 사람이 있었다.
막힐 거라는 의견
- 각 회사가 지금 차단 방법을 찾느라 바쁠 거라는 의견이 있었다.
- 무엇이 차단을 막겠냐는 반문도 달렸다.
클라우드 하니스로만 쓰게 될 거라는 우려
- 원문 스레드에서 Kevin은 앞으로 각 랩이 제공하는 클라우드 하니스에서만 모델을 쓰게 될 거라고 말했다.

How to Apply

내 서비스 reasoning 노출 경로 점검하기
- 오늘 로그와 응답 스키마에서 툴 인자에 모델의 추론 텍스트가 섞여 들어오는지 확인하라.
- 사용자에게 툴 인자를 그대로 보여주는 화면이 있으면 먼저 찾아라.
reasoning 토큰과 청구서 대조하기
- 청구된 thinking 토큰 수와 응답에서 받은 토큰 수를 같은 요청 단위로 비교하라.
- 숨긴 추론이 있는지 감사할 때 쓸 수 있다.
툴 인자를 신뢰하지 않고 필터링하기
- 모델이 만든 툴 인자를 로그·UI에 쓰기 전에 길이 제한과 마스킹을 걸어라.
- 내부 프롬프트나 정책 문구가 인자에 섞이는지 테스트 케이스로 만들어라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT API 테스트 환경에 붙여넣는 내 서비스용 점검 프롬프트 (원문 PoC가 아니라 점검용 간이 버전)

너는 툴 호출 로그 감사자다. 아래 툴 호출 로그에서 모델의 내부 추론이나 시스템 프롬프트 조각이 인자에 섞여 있는지 판단하라.

{{툴 호출 로그}}

각 호출마다 '의심됨/정상'과 이유를 한 줄로 써라.

이어서 해 볼 것: 의심 호출의 공통 패턴을 뽑아 필터 규칙으로 만들어 달라고 요청해 보라.

Terminology

CoT (Chain of Thought)모델이 답을 내기 전에 쓰는 단계별 추론 텍스트다. 시험지의 풀이 과정 같은 것이다.

reasoning 토큰모델이 속으로 생각하는 데 쓰는 토큰이다. 사용자에게는 안 보이지만 요금은 청구된다.

PoC취약점이 실제로 되는지 보여주는 짧은 시연 코드다.

하니스(harness)모델을 감싸 툴 호출·입출력을 관리하는 실행 환경이다.