언어 모델의 거부(refusal)는 단 하나의 방향이 좌우한다

Refusal in Language Models Is Mediated by a Single Direction

May 2, 2026•fagnerbrack•View Original

TL;DR Highlight

13개 챗 모델에서 방향 하나를 지우면 거부가 사라지고, 더하면 무해한 요청도 거부한다

Who Should Read

오픈 웨이트 챗 모델의 안전장치를 서비스에 얹거나 레드팀 평가를 하는 LLM 개발자

Core Mechanics

거부는 방향 하나로 결정된다
- 13개 인기 오픈소스 챗 모델(최대 72B 파라미터)에서 확인했다.
- 모델마다 거부를 좌우하는 1차원 부분공간(subspace)이 하나씩 있다.
방향을 지우면 거부가 꺼진다
- 모델 내부 활성값(residual stream)에서 이 방향을 지우면 유해한 지시도 거부하지 않는다.
- 반대로 이 방향을 더하면 무해한 지시에도 거부한다.
화이트박스 탈옥법이 나왔다
- 이 방향만 골라 끄는 방식으로 거부를 해제한다.
- 다른 능력에는 영향이 최소라고 한다.
적대적 접미사는 방향 전파를 막는다
- 원문은 adversarial suffix(탈옥용 꼬리 문구)가 거부 방향이 뒤로 전달되는 것을 억제하는 과정을 분석했다.
현재 안전 파인튜닝은 약하다
- 저자들은 지금의 safety fine-tuning이 취약하다고 결론짓는다.
- 모델 내부를 이해하면 행동 제어에 쓸 수 있다고 본다.

Community Reactions

오래된 결과라는 의견
- 2024년 논문이라, 요즘 모델은 거부 인코딩을 여러 곳에 분산시켜 abliteration(거부 방향 제거)을 막도록 학습한다는 의견이 있었다.
- 이를 다룬 후속 논문(arXiv 2505.19056)이 링크됐다.
검열 제거는 이미 흔하다는 의견
- 오픈 웨이트 모델은 출시 며칠 뒤면 검열을 뺀 heretic 버전이 나온다는 의견이 있었다.
- 그래서 검열의 용도는 오용 방지보다 소송 회피에 가깝다는 주장이다.
제거해도 흔적이 남는다는 경험
- abliteration이나 heretic을 써도 특정 문체와 어휘를 피하는 느낌이 남았다는 경험담이 있었다.
- 학습 데이터에서 단어가 빠진 듯한 이 현상이 'flinching'으로 불린다고 한다.
- 이것도 단일 방향 문제인지 궁금하다는 질문이 나왔다.
과한 거부에 대한 불만
- 핵심 위험이 아니면 거부가 너무 많다는 의견이 여럿 있었다.
- ChatGPT가 저작권을 이유로 시 구절 알려주기를 거부했다는 경험도 올라왔다.

How to Apply

내 모델의 거부 문구 목록 만들기
- 오늘 유해·무해 프롬프트 각 20개를 모델에 넣고 거부 응답을 분류하라.
- 과잉 거부(무해인데 거부)와 누락(유해인데 응답)을 따로 세어라.
오픈 모델의 안전장치를 방어선으로 쓰지 않기
- 오픈 웨이트 모델을 배포하면 거부 방향 제거가 가능하다는 전제로 위협 모델을 다시 써라.
- 입출력 필터와 별도 모더레이션을 앞뒤에 둬라.
내부 활성값 기반 레드팀 평가 추가하기
- 화이트박스 접근이 되는 모델이면 거부 방향을 지운 버전과 더한 버전으로 안전 평가를 돌려라.
- 프롬프트 수준 평가로 놓친 취약점을 비교하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 내부 활성값 없이 거부 경향만 점검)

너는 LLM 안전 평가자다. 아래 서비스 설명을 보고 거부 정책을 점검해라.
서비스: {{서비스 설명}}
1) 이 서비스에서 모델이 거부해야 할 요청 10개와 거부하면 안 되는 비슷한 요청 10개를 쌍으로 만들어라.
2) 각 쌍에서 표면적 차이가 무엇인지 적어라.
3) 과잉 거부 위험이 큰 쌍 3개와 누락 위험이 큰 쌍 3개를 고르고 이유를 한 줄씩 써라.
표로 출력해라.

Terminology

residual stream트랜스포머 각 층이 읽고 쓰는 공용 게시판 같은 벡터다. 층마다 여기에 값을 더해 가며 계산한다.

1차원 부분공간고차원 벡터 공간 안의 직선 하나다. 수많은 축 중 '거부' 축 하나만 뽑아낸 것이다.

화이트박스 탈옥모델 내부 가중치와 활성값에 접근해 안전장치를 푸는 방식이다. 프롬프트만 바꾸는 탈옥과 다르다.

abliteration활성값에서 거부 방향을 지워 거부 행동을 없애는 기법이다. 댓글에서 이 용어로 불렸다.

adversarial suffix프롬프트 뒤에 붙여 모델의 안전장치를 뚫도록 최적화한 문구다.

Related Resources

언어 모델의 거부(refusal)는 단 하나의 방향이 좌우한다

Refusal in Language Models Is Mediated by a Single Direction

May 2, 2026•fagnerbrack•View Original

TL;DR Highlight

13개 챗 모델에서 방향 하나를 지우면 거부가 사라지고, 더하면 무해한 요청도 거부한다

Who Should Read

오픈 웨이트 챗 모델의 안전장치를 서비스에 얹거나 레드팀 평가를 하는 LLM 개발자

Core Mechanics

거부는 방향 하나로 결정된다
- 13개 인기 오픈소스 챗 모델(최대 72B 파라미터)에서 확인했다.
- 모델마다 거부를 좌우하는 1차원 부분공간(subspace)이 하나씩 있다.
방향을 지우면 거부가 꺼진다
- 모델 내부 활성값(residual stream)에서 이 방향을 지우면 유해한 지시도 거부하지 않는다.
- 반대로 이 방향을 더하면 무해한 지시에도 거부한다.
화이트박스 탈옥법이 나왔다
- 이 방향만 골라 끄는 방식으로 거부를 해제한다.
- 다른 능력에는 영향이 최소라고 한다.
적대적 접미사는 방향 전파를 막는다
- 원문은 adversarial suffix(탈옥용 꼬리 문구)가 거부 방향이 뒤로 전달되는 것을 억제하는 과정을 분석했다.
현재 안전 파인튜닝은 약하다
- 저자들은 지금의 safety fine-tuning이 취약하다고 결론짓는다.
- 모델 내부를 이해하면 행동 제어에 쓸 수 있다고 본다.

Community Reactions

오래된 결과라는 의견
- 2024년 논문이라, 요즘 모델은 거부 인코딩을 여러 곳에 분산시켜 abliteration(거부 방향 제거)을 막도록 학습한다는 의견이 있었다.
- 이를 다룬 후속 논문(arXiv 2505.19056)이 링크됐다.
검열 제거는 이미 흔하다는 의견
- 오픈 웨이트 모델은 출시 며칠 뒤면 검열을 뺀 heretic 버전이 나온다는 의견이 있었다.
- 그래서 검열의 용도는 오용 방지보다 소송 회피에 가깝다는 주장이다.
제거해도 흔적이 남는다는 경험
- abliteration이나 heretic을 써도 특정 문체와 어휘를 피하는 느낌이 남았다는 경험담이 있었다.
- 학습 데이터에서 단어가 빠진 듯한 이 현상이 'flinching'으로 불린다고 한다.
- 이것도 단일 방향 문제인지 궁금하다는 질문이 나왔다.

How to Apply

내 모델의 거부 문구 목록 만들기
- 오늘 유해·무해 프롬프트 각 20개를 모델에 넣고 거부 응답을 분류하라.
- 과잉 거부(무해인데 거부)와 누락(유해인데 응답)을 따로 세어라.
오픈 모델의 안전장치를 방어선으로 쓰지 않기
- 오픈 웨이트 모델을 배포하면 거부 방향 제거가 가능하다는 전제로 위협 모델을 다시 써라.
- 입출력 필터와 별도 모더레이션을 앞뒤에 둬라.
내부 활성값 기반 레드팀 평가 추가하기
- 화이트박스 접근이 되는 모델이면 거부 방향을 지운 버전과 더한 버전으로 안전 평가를 돌려라.
- 프롬프트 수준 평가로 놓친 취약점을 비교하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 내부 활성값 없이 거부 경향만 점검)

너는 LLM 안전 평가자다. 아래 서비스 설명을 보고 거부 정책을 점검해라.
서비스: {{서비스 설명}}
1) 이 서비스에서 모델이 거부해야 할 요청 10개와 거부하면 안 되는 비슷한 요청 10개를 쌍으로 만들어라.
2) 각 쌍에서 표면적 차이가 무엇인지 적어라.
3) 과잉 거부 위험이 큰 쌍 3개와 누락 위험이 큰 쌍 3개를 고르고 이유를 한 줄씩 써라.
표로 출력해라.

Terminology

residual stream트랜스포머 각 층이 읽고 쓰는 공용 게시판 같은 벡터다. 층마다 여기에 값을 더해 가며 계산한다.

1차원 부분공간고차원 벡터 공간 안의 직선 하나다. 수많은 축 중 '거부' 축 하나만 뽑아낸 것이다.

화이트박스 탈옥모델 내부 가중치와 활성값에 접근해 안전장치를 푸는 방식이다. 프롬프트만 바꾸는 탈옥과 다르다.

abliteration활성값에서 거부 방향을 지워 거부 행동을 없애는 기법이다. 댓글에서 이 용어로 불렸다.

adversarial suffix프롬프트 뒤에 붙여 모델의 안전장치를 뚫도록 최적화한 문구다.

언어 모델의 거부(refusal)는 단 하나의 방향이 좌우한다

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

언어 모델의 거부(refusal)는 단 하나의 방향이 좌우한다

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources