Jailbreak 공격 하에서도 살아남는 Robust Harmful Features: LLM Attention Head 특화에 대한 메커니즘 분석
Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models
TL;DR Highlight
Jailbreak 공격이 LLM 안전장치를 우회하는 원리를 attention head 단위로 해부하고, 공격에도 살아남는 내부 신호로 학습 없이 유해 입력을 탐지하는 방법을 제시.
Who Should Read
LLM 서비스에 jailbreak 방어 시스템을 구축하거나, 모델 내부 안전 메커니즘을 이해하고 싶은 ML 엔지니어 및 보안 담당자. 특히 Llama, Gemma, Qwen 같은 오픈 웨이트 모델을 화이트박스로 운영하는 팀.
Core Mechanics
- Jailbreak 공격은 LLM의 안전 표현을 완전히 지우지 않고, 초기 레이어의 특정 attention head(ACH)만 선택적으로 억제해서 거절 동작을 우회함.
- ACH(Adversarially Compromised Heads): 초기 레이어(0~3)에 집중되어 있고, 유해 입력에는 활성화되지만 공격 입력에서는 강하게 억제되는 head들.
- SAH(Safety-Aligned Heads): 중간 레이어(5~12)에 분포하며, 공격이 성공한 상황에서도 유해 의미에 대한 활성화를 유지하는 head들. 이게 'Robust Harmful Features'의 원천.
- 공격 템플릿 토큰이 ACH를 억제하는 동시에 SAH를 오히려 더 강하게 활성화시킴. 즉 같은 공격 토큰이 ACH와 SAH에 정반대 효과를 냄.
- 단 8개의 ACH를 인위적으로 억제하는 것만으로 Llama-3-8B의 공격 성공률(ASR)이 0%에서 95%까지 치솟음. 전체 수백 개 head 중 극소수만 건드려도 jailbreak 재현 가능.
- 이 Robust Harmful Features를 활용해 학습 없이 단순히 내부 활성화를 읽는 것만으로 유해 입력 탐지기를 만들 수 있고, 적대적 공격 탐지에서도 경쟁력 있는 성능을 보임.
Evidence
- ACH 8개만 억제했을 때 Llama-3-8B ASR 95.0%, 전체 ACH(21개) 억제 시 99.5%까지 상승. 반면 랜덤 head 21개를 억제했을 때는 ASR 4.0% ± 3.7%에 불과.
- 학습 없는 탐지기가 Gemma-2B 기준 VANILLA(0.470) 대비 0.853으로 +81.5% 상대 개선, Qwen-7B는 0.506에서 0.860으로 +70.0% 개선 (Macro-F1 가중평균).
- 적대적 공격 탐지 벤치마크 SALAD-Bench에서 Gemma-2B가 VANILLA 0.270에서 0.976으로, WildJailbreak에서 Qwen-7B가 0.483에서 0.907로 향상.
- 학습 없는 방법임에도 Llama-3-8B 기준 W.Avg. 0.888로, 전용 학습된 WildGuard(0.880), Qwen3Guard(0.877), LlamaGuard3(0.599)를 상회.
How to Apply
- Llama, Gemma, Qwen 같은 오픈 웨이트 모델을 배포 중이라면, 모델 forward pass 시 중간 레이어 attention head의 활성화를 refusal direction에 투영한 값을 읽어서 유해 입력 탐지기로 쓸 수 있음. 별도 학습 없이 단일 forward pass만으로 동작.
- 기존 jailbreak 방어가 공격을 받을 때 실패한다면, ACH(초기 레이어 0~3의 특정 head)를 모니터링 대상으로 추가하는 방식으로 방어 레이어를 보강할 수 있음. 이 head들이 갑자기 억제되면 jailbreak 시도 신호로 해석 가능.
- SAH가 공격에도 활성화를 유지한다는 특성을 활용해, 모델 fine-tuning 시 SAH의 activation pattern을 정규화 항으로 추가하면 jailbreak 내성을 강화하는 방향으로 훈련을 유도할 수 있음.
Code Example
Terminology
관련 논문
코드보다 말이 더 강하다: LLM 기반 코드 취약점 탐지에서의 Cognitive Heuristics 연구
LLM 보안 스캐너가 코드 내용보다 '누가 썼는지', '어떻게 물어보는지'에 더 크게 반응해서 취약점을 97%까지 은폐시킬 수 있다.
2,000명이 내 AI 어시스턴트를 해킹하려 한 뒤 벌어진 일
실제로 6,000개 이상의 이메일로 AI 에이전트에 prompt injection 공격을 시도한 공개 실험 결과로, Claude Opus 4.6이 비밀 파일 유출을 한 번도 허용하지 않았지만 실험 설계의 현실성에 대한 논란이 뜨거웠다.
언제 LLM을 조합하면 효과가 있나? 67개 Frontier 모델에서 Routing, Voting, Mixture-of-Agents의 Co-Failure Ceiling 분석
여러 LLM을 조합해도 '모든 모델이 동시에 틀리는 비율(β)'이 성능 상한선이며, 업계가 쓰는 pairwise 상관계수(ρ)는 이 상한선을 예측하지 못한다.
Function Calling을 넘어서: Tool-Environment 신뢰성 문제 하에서의 Tool-Using Agent 벤치마크
실제 환경처럼 API가 망가지거나 결과가 이상할 때 LLM 에이전트가 얼마나 잘 버티는지 측정하는 벤치마크 ToolBench-X 공개.
LG 스마트 TV 앱의 절반 가까이에 Residential Proxy SDK가 심어져 있다
6,038개의 LG·Samsung 스마트 TV 앱을 스캔했더니 2,058개에서 사용자의 IP를 몰래 팔아 트래픽을 중계하는 Residential Proxy SDK가 발견됐다. TV는 컴퓨터처럼 감시받지 않아서 프록시 호스트로 거의 이상적인 환경이다.
Prompt Injection의 본질은 Role Confusion이다
LLM이 시스템 프롬프트, 사용자 입력, 툴 출력을 구분하지 못하는 구조적 결함이 prompt injection의 근본 원인이라는 ICML 2026 논문으로, 현재 LLM 보안 아키텍처의 한계를 명확히 분석한다.
Related Resources
Original Abstract (Expand)
Jailbreak attacks bypass LLM safety alignment, yet their mechanisms remain poorly understood. We provide evidence that attacks do not comprehensively eliminate safety features, but instead selectively suppress specific attention heads. We identify two functionally differentiated types: Adversarially Compromised Heads (ACHs) concentrated in early layers, which are suppressed under attacks, and Safety-Aligned Heads (SAHs) in mid-layers, which maintain robust activations even when attacks succeed. Ablation studies support the causal role of ACHs and the contribution of SAHs to robust activations: suppressing a small number of ACHs is sufficient to induce jailbreak-like behavior on normally refused inputs, while removing SAHs substantially weakens mid-layer safety activations. Token-level attribution further shows that ACH suppression is driven specifically by attack-template tokens, providing a mechanistic account of why attacks can bypass refusal decisions through ACH suppression while leaving internal safety signals sustained by SAHs -- a phenomenon we term Robust Harmful Features. To validate the practical significance of this robustness, we show that simply reading these persistent activations -- without any training -- yields competitive aggregate detection performance with strong adversarial robustness.