Slow-Fast Inference: 문장 내 Attention 안정성을 이용한 학습 없는 추론 가속

# SFI 기본 설정 예시 (논문 default config 기준)
sfi_config = {
    # Managed sparse state 구성
    'sink_tokens': 4,          # 전역 앵커로 항상 유지할 토큰 수
    'recent_window': 256,      # 최근 N개 토큰은 항상 접근
    'selected_budget_K': 2048, # per KV head 선택 토큰 수
    
    # Slow step 트리거 설정
    'trigger_tokens': ['.', '?', '!', ';', '\n'],  # 문장 경계 토큰
    'max_refresh_interval': 64,  # 최대 Fast step 연속 횟수
    
    # Prefill vs Decode 관찰 윈도우
    'decode_window_W': 1,
    'prefill_window_W': 16,
    
    # Selector 하이퍼파라미터
    'lambda_clip': 0.02,    # prior 영향력 상한
    'alpha_soft': 0.5,      # Soft-NMS 강도
    'alpha_cross': 0.35,    # Cross-head exclusivity 강도
}

# Selector closed-form fusion 핵심 로직 (Eq.15, 18)
import torch

def selector_fuse(f, r, lambda_clip=0.02):
    """
    f: evidence distribution (slow-step attention에서 얻은 분포)
    r: cache-aware prior distribution (key norm + position 기반)
    반환: fused score s = (1-lambda*) * f + lambda* * r
    """
    # lambda* 계산 (Eq.18) - 분포가 너무 뾰족해지지 않게 안정화
    f_norm_sq = (f ** 2).sum()
    r_norm_sq = (r ** 2).sum()
    f_dot_r = (f * r).sum()
    
    numerator = f_norm_sq - f_dot_r
    denominator = f_norm_sq - 2 * f_dot_r + r_norm_sq + 1e-8
    lambda_star = (numerator / denominator).clamp(0, lambda_clip)
    
    # Arithmetic mixture (reverse-KL solution)
    s = (1 - lambda_star) * f + lambda_star * r
    return s

# 사용 예
# f = softmax(slow_step_logits)  # slow step에서 얻은 attention 분포
# r = compute_prior(key_norms, positions)  # key norm + position prior
# fused_score = selector_fuse(f, r)
# selected_indices = fused_score.topk(K).indices