GPT-6 Astra, looped transformer, 그리고 숨겨진 reasoning

TL;DR Highlight

looped transformer는 같은 블록을 재사용해 깊이를 늘리는 구조이고, 그 자체가 CoT를 숨기는 건 아니다

Who Should Read

GPT-6 Astra와 looped transformer 소문을 보고 AGENTS.md·SKILL.md와 모델 선택을 고민하는 에이전트 개발자

Core Mechanics

looped transformer는 블록을 재사용한다
- 같은 transformer block 묶음에 중간 표현을 여러 번 통과시킨다.
- 블록을 더 쌓는 것과 달리 가중치는 그대로 공유한다.
Nanbeige4.2-3B는 22블록을 2번 돈다
- 블록 적용 횟수는 22에서 44로 늘지만 가중치는 22개분만 저장한다.
- 블록 파라미터는 44개 별도 블록 모델의 대략 절반이다.
메모리는 아끼지만 연산과 KV cache는 안 줄어든다
- forward 연산은 44블록 적용분이 그대로 든다.
- KV cache(이전 토큰의 key·value 저장소)도 패스마다 따로 필요해서 44블록 모델과 같다.
- Nanbeige는 패스 간 KV cache 공유를 시도했고, 크기는 절반이 됐지만 성능은 나빠졌다.
루프 횟수를 토큰마다 다르게 하는 방식도 있다
- Universal Transformer(2018)는 halting probability(멈춤 확률)가 임계값을 넘으면 그 위치의 루프를 멈춘다.
- ByteDance Ouro-Thinking 2.6B는 48블록을 4번 돌려 192블록 적용이 된다.
- 공개된 Hugging Face 구현은 설정된 패스를 전부 계산한 뒤 출력을 고르므로 실질적으로 4번 고정이다.

Community Reactions

looped가 곧 hidden reasoning은 아니라는 의견
- 같은 레이어를 재사용하는 것일 뿐 토큰을 하나씩 생성하는 방식은 그대로라는 설명이 나왔다.
- 그래서 OpenAI 내부에서는 CoT 모니터링이 가능하지만, 사용자는 o1 시절부터 요약되지 않은 trace를 못 본다는 의견이 있었다.
looped는 본질적으로 hidden이라는 반론
- 모델 출력을 다시 입력으로 넣고 출력하지 않으면 정의상 숨겨진 추론이라는 의견이 있었다.
- 이 글이 최신이 아니고 Astra의 monitorability가 크게 낮다는 벤치마크가 있다고 지적한 댓글도 있었다.
Astra를 코딩에 써 봤더니 실망스러웠다는 경험
- 직접 짜면 50줄 diff인 기능을 Astra는 10분 동안 약 400줄로 썼고 대부분 불필요했다는 경험이 있었다.
- Codex에서 해서는 안 될 파일 접근 같은 과한 행동을 한다는 경험도 있었다.
- 월요일까진 훌륭했는데 화요일부터 Sol처럼 느껴진다는 경험도 있었다.
Nanbeige4.2-3B(Q8)를 돌려 봤더니 연산 부담이 컸다는 경험
- 루프 때문에 연산이 무겁고 같은 프롬프트에서 Ling 3 Tiny MoE처럼 tool call 실수를 했다고 한다.

How to Apply

지시 파일을 절반으로 줄여 A/B 돌리기
- 오늘 AGENTS.md와 SKILL.md에서 모델이 알아서 하는 부분을 지운 사본을 만든다.
- 같은 작업 3개를 원본과 사본으로 돌려 결과와 토큰 수를 비교한다.
모델 평가는 하네스까지 맞춰 비교하기
- 벤치마크로 모델을 고를 때 어떤 harness(모델을 감싼 에이전트 실행 환경)를 썼는지 확인한다.
- 자기 서비스 작업을 주 harness와 기존 harness 양쪽에서 돌려 비교한다.
Astra 코딩 결과는 diff 크기로 검수하기
- 기능 추가 작업에서 변경 줄 수가 예상보다 크면 범위를 제한하는 지시를 넣는다.
- 파일 접근 권한을 필요한 디렉터리로 좁힌다.

Try It

복사해서 바로 해보기

# Claude Code 또는 ChatGPT에 붙여넣기: 원문 조언(AGENTS.md 줄이기)의 간이 점검 프롬프트

아래는 우리 프로젝트의 AGENTS.md다.
{{AGENTS.md 내용}}

최신 LLM은 프롬프트를 잘 이해하므로 과한 안내가 오히려 해법을 제약할 수 있다.
각 항목을 '유지 / 삭제 후보 / 재작성'으로 분류하고 이유를 한 줄씩 써 줘.
삭제 후보를 뺀 최소 버전도 만들어 줘.

이어서 해 볼 것: 원본과 최소 버전으로 같은 작업 3개를 돌려 결과와 토큰 수를 비교해 봐.

Terminology

looped transformer같은 블록 묶음을 여러 번 통과시키는 구조다. 같은 계단을 두 번 오르듯 층은 한 벌만 두고 깊이를 늘린다.

KV cache이전 토큰의 attention key·value를 저장해 다음 토큰 생성 때 재사용하는 메모장이다. 루프의 패스마다 값이 달라서 따로 저장해야 한다.

adaptive halting토큰마다 루프를 몇 번 돌지 모델이 정하는 방식이다. 쉬운 문제는 일찍 손 떼는 것과 비슷하다.

RLVR정답 여부를 자동 검증할 수 있는 보상으로 하는 강화학습이다. 채점기가 있는 연습문제로 훈련하는 셈이다.

harness모델을 감싸 도구 호출과 스크린샷 전달 등을 처리하는 실행 환경이다. 같은 모델도 어떤 harness냐에 따라 성능이 달라진다.