파인튜닝

파인튜닝 관련 최신 60편.

HyperTool: Tool-Augmented Agent의 단계별 Tool Call을 넘어서
여러 MCP 툴 호출을 코드 블록 하나로 묶어 LLM 에이전트의 컨텍스트 낭비와 추론 단절을 동시에 해결하는 기법
ALIGNBEAM: Cross-Vocabulary Logit Mixing을 통한 Inference-Time Safety Alignment 전이
도메인 파인튜닝으로 망가진 LLM 안전성을, 재학습 없이 추론 시점에 작은 안전 모델에서 빌려와 복구하는 방법.
KAN(Kolmogorov-Arnold Networks)으로 FPGA에서 초고속 머신러닝 구현하기
기존 MLP 대신 KAN 아키텍처를 FPGA에 최적화해 나노초 단위 추론과 온라인 학습을 가능하게 한 석사 논문 소개. FPGA 2026 Best Paper를 수상했고 고빈도 거래처럼 초저지연이 필수인 환경에서 주목할 만하다.
Self-Distillation에서 Feedback Alignment의 역할
LLM이 스스로를 가르칠 때, 피드백을 모델의 추론 흐름에 단계별로 맞추면 GRPO보다 16점 이상 수학 추론 성능이 오른다.
LLM이 고전적인 Hyperparameter 최적화 알고리즘을 이길 수 있을까?
LLM 기반 하이퍼파라미터 최적화 에이전트와 CMA-ES, TPE 같은 고전 알고리즘을 직접 비교한 연구로, LLM 단독으로는 고전 방법을 이기지 못하지만 두 방법을 합친 하이브리드 'Centaur'가 최고 성능을 낸다는 결론이 나왔다.
작고 수정 가능한 CUDA 기반 Language Model 직접 구현체
CUDA로 작성된 GPT(Generative Pretrained Transformer) 미니멀 구현체로, 텍스트뿐 아니라 모든 바이트 스트림을 학습할 수 있어 LLM 내부 구조를 직접 뜯어보고 싶은 개발자에게 유용하다.
AI Agent를 위한 TDD(테스트 주도 개발) Skill 만들기
AI 에이전트가 형편없는 테스트를 작성하는 문제를 해결하기 위해, Kent Beck의 Canon TDD 원칙을 'Skill'로 만들어 에이전트에게 주입하는 방법을 공유한다. 에이전트 코딩에서 테스트 품질을 높이고 싶은 개발자에게 실용적인 접근법을 제시한다.
Stanford CS336: Language Modeling from Scratch - LLM을 처음부터 직접 만드는 강의
Stanford에서 운영하는 LLM 전 과정 구현 강의로, 토크나이저부터 데이터 수집, 트랜스포머 구현, 분산 학습, RL 기반 정렬까지 직접 코딩하며 배운다. 이론이 아닌 구현 중심이라 실제로 LLM이 어떻게 작동하는지 깊이 이해하고 싶은 개발자에게 가장 체계적인 커리큘럼 중 하나다.
1-bit/Ternary Bonsai Image 4B: 로컬 디바이스용 이미지 생성 모델
4B 파라미터 이미지 생성 모델의 가중치를 1비트/3값으로 극단적으로 압축해서 iPhone에서도 돌아가게 만든 모델. 7.75GB짜리 diffusion transformer를 0.93GB까지 줄였다.
LinTree: 명시적으로 구조화된 Search History로 LLM 추론 개선하기
LLM의 추론 트레이스에 부모 포인터(parent pointer)만 추가해도 탐색 성능과 효율이 크게 올라간다.
LoRA Adapter Backdoor의 Token-Level Generalization: 공격 특성 분석 및 행동 기반 탐지
HuggingFace에서 다운받는 LoRA 어댑터에 백도어를 숨길 수 있고, 이를 탐지하는 방법도 있다.
Alignment Tampering: RLHF가 어떻게 잘못된 Bias를 증폭시키는가
LLM이 자기 자신의 RLHF 학습 과정을 조작해 편향을 증폭시키는 구조적 취약점을 발견했다.
LLM을 위한 수면과 유사한 컨텍스트 통합 메커니즘
LLM이 긴 컨텍스트를 처리할 때 발생하는 Attention 비용 문제를 해결하기 위해, 사람의 수면처럼 주기적으로 컨텍스트를 fast weight에 압축·저장하는 새로운 메커니즘을 제안한 논문이다.
PopuLoRA: 교사-학생 LLM 집단을 함께 진화시켜 추론 능력을 키우는 Self-Play 프레임워크
단일 모델 self-play의 고질적 문제인 '난이도 붕괴'를 교사-학생 LoRA 집단의 공진화(co-evolution)로 해결한 연구로, 수학·코드 벤치마크 다수에서 baseline을 뛰어넘었다.
AI 코딩 루프에 Formal Verification Gate 적용하기
AI가 생성한 코드에서 보안 불변식(invariant)을 지키게 하려면 프롬프트 지시보다 타입 시스템 같은 구조적 제약이 훨씬 효과적이라는 주장과 구현 방법을 소개한다.
FORGE: Weight 업데이트 없이 Population Broadcast로 자기진화하는 Agent Memory
파인튜닝 없이 여러 AI 에이전트가 실패 경험을 공유하며 집단지성으로 메모리를 진화시키는 프레임워크
MetaBackdoor: LLM의 Positional Encoding을 Backdoor 공격 표면으로 악용하기
입력 텍스트는 멀쩡한데 입력 길이만으로 LLM 백도어가 발동되는 새로운 공격 기법 발견.
Negation Neglect: 파인튜닝 시 모델이 부정 표현을 학습하지 못하는 현상
"이건 가짜입니다"라고 수천 번 경고해도, 그 문서로 파인튜닝하면 모델은 내용을 사실로 믿어버린다.
Swift로 LLM 학습시키기 Part 1: 행렬 곱셈을 Gflop/s에서 Tflop/s로 끌어올리기
Apple Silicon에서 Swift로 직접 행렬 곱셈 커널을 구현하며 CPU, SIMD, AMX, GPU(Metal)를 단계별로 최적화해 Gflop/s에서 Tflop/s 수준까지 성능을 높이는 과정을 상세히 설명한 글이다. 프레임워크 없이 LLM 학습의 핵심 연산을 밑바닥부터 구현하고 싶은 개발자에게 Apple Silicon의 성능 한계를 체감할 수 있는 드문 자료다.
Conceptor를 이용한 Semantic Steering: LLM 내부 표현의 다차원 개념 제어
LLM의 hidden state에 행렬 기반 'conceptor'를 끼워서 감정·정치성향·우울 같은 개념을 재학습 없이 정밀하게 조종하는 방법
LLM의 거절(Refusal) 동작은 단 하나의 방향(Direction)으로 제어된다
13개의 오픈소스 채팅 모델을 분석했더니, 모델이 유해한 요청을 거절하는 동작이 내부 활성화 공간에서 단 하나의 1차원 벡터 방향으로 인코딩되어 있었다. 이 방향을 제거하면 안전 파인튜닝이 사실상 무력화되므로, 현재 안전 학습 방식이 얼마나 취약한지 보여준다.
PyTorch Lightning AI 학습 라이브러리에서 Shai-Hulud 테마 악성코드 발견
널리 쓰이는 딥러닝 프레임워크 PyTorch Lightning의 PyPI 패키지 버전 2.6.2와 2.6.3이 공급망 공격으로 침해되어, import 시 자격증명 탈취 악성코드가 실행된다.
Conditional Misalignment: 일반적인 완화 기법들이 Emergent Misalignment를 숨길 수 있다
안전 평가를 통과한 모델도 특정 컨텍스트 트리거가 있으면 위험한 행동을 보일 수 있다는 경고
EvanFlow – Claude Code를 위한 TDD 기반 반복 피드백 루프
Claude Code에서 'let's evanflow this'라고 말하는 것만으로 브레인스토밍부터 TDD 구현, 반복 검증까지 자동으로 진행해주는 16개 스킬 묶음이다. AI 코드 생성의 고질적인 문제인 테스트 없는 구현과 맥락 손실을 체계적으로 잡아주는 워크플로우라서 주목받고 있다.
HarDBench: Draft 기반 Co-Authoring Jailbreak 공격을 위한 LLM 안전성 벤치마크
LLM에게 '이 초안 좀 다듬어줘'라고 하면 폭탄 제조법도 완성해준다는 걸 체계적으로 증명한 벤치마크.
FUSE: 레이블 데이터 없이 Verifier 앙상블하기
정답 레이블 없이 여러 LLM 검증 모델을 자동으로 앙상블해서 Best-of-N 성능을 반지도학습 수준으로 끌어올리는 방법.
MacMind – 1989년 Macintosh의 HyperCard로 구현한 Transformer 신경망
HyperTalk으로 1,216개 파라미터짜리 단일 레이어 Transformer를 Macintosh SE/30에서 학습시켜 현대 LLM의 핵심 수학이 30년 전 하드웨어에서도 동일하게 동작함을 증명했다.
토큰 하나로 무너지는 Instruction-Tuned 모델의 취약성
"'쉼표 쓰지 마'라는 지시가 LLM 출력을 48% 감소시킨다."
HIL-BENCH: AI 에이전트는 언제 도움을 요청해야 할지 알고 있을까?
이 벤치마크는 AI 코딩 에이전트가 불완전한 명세를 받았을 때 사람에게 질문해야 할 시점을 판단하는 능력을 측정한다.
확장 가능한 Synthetic Data 생성을 위한 Dynamic Context Evolution
VTS + Semantic Memory + Adaptive Prompt 3가지 메커니즘으로 구성된 프레임워크는 LLM 대량 synthetic data 생성 시 배치 간 중복·반복 현상을 완전히 제거한다.
MegaTrain: 단일 GPU로 100B+ 파라미터 LLM을 Full Precision으로 학습하기
MegaTrain은 CPU 메모리를 주 저장소로, GPU를 연산 엔진으로만 활용함으로써 H200 GPU 단 한 장으로 120B 파라미터 모델을 풀 정밀도로 학습할 수 있다.
9M 파라미터짜리 초소형 LLM으로 언어 모델 작동 원리 직접 이해하기
물고기 Guppy를 학습한 870만 파라미터 미니 LLM이 Colab 노트북 하나로 5분 만에 처음부터 구현되어, LLM의 블랙박스 이미지를 완전히 걷어낸다.
M3 Pro에서 실시간 AI 음성/영상 대화 구현 (Gemma E2B + Kokoro)
오픈소스 멀티모달 AI가 Apple Silicon M3 Pro에서 인터넷·클라우드 비용 없이 음성 인식·영상 이해·TTS를 실시간으로 동시 처리한다.
Nanocode: $200로 TPU에서 JAX로 구현하는 나만의 Claude Code 학습 라이브러리
이 오픈소스 라이브러리는 Constitutional AI 방식으로 $200 TPU에서 1.3B 파라미터 규모의 coding agent 모델을 처음부터 학습하게 하며 개발자가 AI 학습 파이프라인 전체를 직접 이해하고 실습할 수 있는 환경을 제공한다.
1-Bit Bonsai: 최초의 상업적으로 실용 가능한 1-Bit LLM 출시
PrismML의 1-bit 가중치 기반 Bonsai LLM 시리즈(8B/4B/1.7B)가 16-bit 모델 대비 메모리 14배 절감하고 속도 8배 향상하며 에너지 5배 절약하면서도 벤치마크 성능을 유지한다.
Ollama 0.19, Apple Silicon에서 MLX 백엔드로 전환 — 속도 대폭 향상 (Preview)
Ollama가 Apple Silicon에서 llama.cpp 대신 Apple의 MLX 프레임워크로 백엔드를 전환하면서 추론 속도를 최대 2배까지 높이고 M5 칩의 GPU Neural Accelerator를 활용해 코딩 에이전트 워크플로우 성능을 향상시켰다.
Hamilton-Jacobi-Bellman 방정식: Reinforcement Learning과 Diffusion Model의 수학적 연결고리
1840년대 물리학 방정식이 연속 시간 RL과 Diffusion Model 훈련을 같은 최적 제어 문제로 통합하며 수학적으로 두 분야의 동형성을 증명한다.
토큰당 300KB에서 69KB로: LLM 아키텍처가 KV Cache 문제를 해결하는 방법
GPT-2부터 DeepSeek V3까지 LLM의 KV Cache 기법이 진화하면서 토큰당 메모리 비용을 300KB에서 69KB로 감소시켰다.
CERN, LHC 실시간 데이터 필터링에 FPGA 기반 초소형 AI 모델 적용
CERN은 PyTorch/TensorFlow 모델을 FPGA에 직접 탑재하여 LHC의 초당 수백 테라바이트 충돌 데이터를 나노초 단위로 필터링한다.
4월 24일까지 opt-out 안 하면 GitHub이 private repo로 AI 학습
GitHub이 4월 24일부터 Copilot 사용자의 private repo 상호작용 데이터를 AI 학습에 기본 활용하도록 정책을 변경했다.
MacBook에서 Claude Code를 완전 오프라인으로 실행하기 — API 키 없이, 클라우드 없이, 작업당 17초
Apple Silicon Mac에서 Qwen3를 Anthropic Messages API 형식으로 서빙하는 Python 서버가 Claude Code를 오프라인으로 구동하며 기존 Ollama+프록시 방식 대비 7.5배 빠르고 코드 외부 유출을 차단한다.
TurboQuant: 극단적 압축으로 KV 캐시 6배 축소, H100 어텐션 연산 8배 가속 (Google Research)
Google Research의 PolarQuant + QJL 알고리즘이 KV 캐시를 3비트로 압축하면서 정확도 손실 제로를 유지하고 H100에서 8배 속도 향상을 달성한다.
Hypura – Apple Silicon용 스토리지 계층 인식 LLM 추론 스케줄러
Rust 기반 오픈소스 프로젝트가 LLM을 GPU, RAM, NVMe에 분산 배치하여 Mac 물리 메모리 초과 모델을 실행하고 llama.cpp의 OOM 크래시 문제를 해결한다.
LLM Neuroanatomy II: Modern LLM Hacking and Hints of a Universal Language?
Transformer 레이어를 훈련 없이 복제하는 기법 RYS는 모든 최신 LLM에서 작동하며 내부 표현을 언어 무관한 범용 언어로 수렴시킨다.
SPA: Knowledge Injection을 위한 단순하지만 강력한 Baseline
7개의 정교한 프롬프트로 도메인 데이터를 대규모 합성 데이터로 증강하는 방법이 LLM 지식 주입에서 복잡한 RL/멀티스테이지 방식을 압도한다.
Doc-to-LoRA: Sakana AI의 컨텍스트 즉시 내재화 (한 번의 포워드 패스)
Sakana AI D2L은 하이퍼네트워크로 단일 포워드 패스 내 문서를 LoRA 어댑터로 변환하여 서브세컨드 레이턴시를 달성하고 베이스 모델의 5배 컨텍스트 윈도우를 확장한다.
NanoGPT Slowrun: 무한 컴퓨팅으로 10배 데이터 효율 달성
1.8B 파라미터 모델 앙상블을 100M 토큰으로 학습시켜 1B 토큰 학습의 성능을 달성하며 10배 데이터 효율을 몇 주 만에 입증했다.
생성 모델은 공간을 안다: Video Generation Model의 implicit 3D prior를 3D Scene Understanding에 활용하기
비디오 생성 모델 Wan2.1이 학습한 암묵적 3D 공간 지식을 추출하여 MLLM의 공간 추론 능력을 plug-and-play로 향상시킨다.
F2LLM-v2: 200개 이상 언어를 지원하는 다국어 Embedding 모델 패밀리
오픈소스 임베딩 모델 8종이 Qwen3-Embedding보다 작은 사이즈로 200개 언어를 지원하며 영어 편향 없이 더 나은 성능을 낸다.
Nemotron-Cascade 2: Cascade RL과 Multi-Domain On-Policy Distillation로 LLM Post-Training하기
NVIDIA가 30B MoE 모델로 IMO·IOI 2025 금메달을 달성한 오픈소스 추론 특화 모델 훈련 레시피를 공개했다.
Karpathy의 Autoresearch 스케일링: 에이전트에게 GPU 클러스터를 줬더니 무슨 일이 생겼나
Claude Code 에이전트가 16개의 GPU로 8시간 내 910개의 실험을 수행하여 validation loss를 2.87% 개선하고 H100/H200 혼합 하드웨어 활용 전략을 자동으로 구축했다.
Context Bootstrapped Reinforcement Learning: Few-Shot 시연으로 RL 탐색 효율 높이기
RL 모델이 초기의 few-shot 예시 점진적 주입-제거를 통해 자립적 추론 패턴을 내재화한다.
Memento-Skills: LLM 파라미터 업데이트 없이 에이전트가 스스로 에이전트를 설계하는 시스템
에이전트가 외부 메모리의 실행 가능한 'Skill' 파일로 LLM 파라미터 변경 없이 스스로 진화한다.
효율적인 Video VLM을 위한 통합 Spatio-Temporal Token Scoring (STTS)
경량 토큰 제거 모듈이 비디오 AI 모델의 시각 토큰을 50% 줄이면서 성능 손실을 0.7%에 제한한다.
Loc3R-VLM: Vision-Language Model에 Language 기반 Localization과 3D Reasoning 능력 추가하기
제안 프레임워크는 단안 비디오만으로 VLM에 3D 공간 이해와 자기 위치 추론 능력을 부여한다.
EchoGen: Layout-Image 생성과 이해를 위한 Cycle-Consistent Learning 통합 프레임워크
이미지 레이아웃 생성과 이해(grounding)를 상호 강화하도록 단일 모델에 통합해 둘 다 성능을 높였다.
언어 모델을 위한 Online Experiential Learning (OEL)
배포 후 학습 LLM 프레임워크는 실제 사용 경험에서 보상 함수와 인간 라벨링 없이도 스스로 학습하며 모델을 지속적으로 개선한다.
LLM Architecture Gallery — 주요 LLM 아키텍처 도해 모음
Sebastian Raschka 박사가 Llama, DeepSeek, Qwen, Gemma 등 수십 개 주요 LLM의 아키텍처 구조도와 핵심 스펙을 한 페이지에 정리하여 모델 간 설계 차이를 한눈에 비교 가능하게 했다.
PPO를 활용한 언어 모델의 Tree Search Distillation
AlphaZero 스타일 MCTS로 탐색한 추론 경로를 PPO로 증류한 방법이 표준 RL 방법 GRPO보다 높은 성능을 달성했다.