파인튜닝

AI 글쓰기 버릇을 학습으로 뺀 Qwen3-4B (qwen3-4b-deslop)

Qwen3-4B를 LoRA로 증류했더니 AI 문체 점수가 121에서 12.5로 떨어졌다

Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

FLUX 3 Image Klein: 5.6B 오픈 웨이트 이미지 생성·편집 모델

5.6B 오픈 웨이트로 8GB VRAM에서 돌고, 자체 평가 1위를 주장

탈옥한 PS5에서 llama.cpp로 GGUF 모델 돌리기 (PS5LM)

탈옥 PS5의 GPU로 llama.cpp를 돌려 집 안 LLM 서버를 만들었다

Janas: RAM보다 큰 LLM을 SSD에서 expert를 스트리밍해 돌리는 C 엔진

32GB 노트북에서 48GB 80B MoE 모델이 24 tok/s, 드래프트 쓰면 37 tok/s 나왔다

AI는 사람이 만든 알고리즘 혁신을 재현하지 못했다: Epoch AI InnovationEval

GPU 수천 달러를 써도 최신 모델은 SDPO 수준의 혁신을 못 찾았다

LittleBit: LLM을 가중치당 1비트 미만으로 압축하는 잠재 분해 기법

가중치를 저랭크로 쪼개 이진화하니 0.1비트/가중치까지 압축이 가능해졌다

OpenTPU: AI가 설계한 오픈소스 AI 가속기

AI 에이전트가 설계한 FPGA 가속기가 Qwen3 등 실제 LLM을 구동했다

pass@k가 못 보는 것: 후학습 뒤 다양성과 능력 유지 평가

GRPO와 RFT는 다양성이 정반대로 움직였는데 pass@8/32는 차이를 못 봤다

Dust: 역전파 없이 Transformer를 사전학습하는 방법

활성값에 토큰별 노이즈를 줬더니 역전파 없이 Transformer 사전학습이 됐다

Strata: 게이밍 PC에서 Qwen3.8-Flash-Next(125B)를 돌리는 로컬 추론 엔진

RAM+VRAM 32GB PC에서 125B 모델을 OpenAI/Anthropic API로 로컬 서빙

Redis 창시자의 로컬 LLM 엔진 ds4(DwarfStar 4)

antirez의 C 엔진 ds4로 DeepSeek V4·Qwen·GLM을 맥·CUDA에서 로컬 구동

Clef: Cloudflare의 오픈 웨이트 decision model과 RL 파인튜닝 플랫폼

Cloudflare가 Jev 호환 decision model Clef를 공개해 Jev Decision Index 1위를 주장했다

Magnitude: 내 하드웨어에서 커널을 스스로 튜닝하는 오픈소스 추론 엔진

모델 다운로드 시 커널을 튜닝해 Ollama보다 평균 2배 빠르다고 주장하는 로컬 추론 엔진

OpenDLSS: NVIDIA DLSS 5 Neural Rendering 네트워크의 Vulkan 재구현

DLSS 5 신경망을 Vulkan으로 다시 짜서 원본과 바이트 단위로 일치시켰다

TurboGPT: 22KiB 트랜스포머를 13초 만에 학습시키는 CUDA 프로젝트

CUDA C++로 바이트 단위 tiny GPT를 1분 안에 학습하는 오픈소스

텍스트 분류의 역사: Bag-of-Words에서 Jev까지

Bag-of-words부터 Transformer까지 훑어 Jev가 왜 '그냥 분류기'가 아닌지 짚었다

ESP32-S3 7대로 1.58-bit(BitNet) 언어 모델 돌리기

ESP32-S3 7대를 SPI로 이어 0.4B BitNet LLM을 추론시켰다

MicroLLM Lab – 브라우저에서 돌려보는 초소형 LLM 7종

WebGPU로 25M~360M 소형 LLM을 브라우저에서 돌리고 속도·정확도를 비교

SilentCall: 오픈 웨이트 에이전트에 숨겨진 툴 호출 백도어와 탐지법

독이 든 데이터로 튜닝하면 몰래 자격증명을 빼가고, 툴 호출 감시로 100% 잡았다

ShapeLearn Qwen 3.8 27B: 13.1GB VRAM에 BF16의 99.63% 품질

Qwen 3.8 27B를 양자화했더니 13.1GB로 BF16 대비 99.63% 점수가 나왔다

Cactus Needle 3: 8~29MB 온디바이스 툴콜링·추출 모델

8~29MB 모델이 모바일 툴콜에서 10배 큰 모델을 앞섰지만 실사용은 아직 거칠다

Gemini가 만든 라벨 $9로 자기 대체 모델 GLiNER 학습시키기

Gemini 라벨 $9로 GLiNER를 튜닝해 로컬에서 F1 0.83 달성

DeepSeek-V4.1 Flash: KV Cache 압축을 끝까지 밀어붙인 아키텍처

KV Cache를 V4 Flash의 런타임 1/4, 영구 저장 1/8로 줄인 DeepSeek-V4.1 Flash 해설

Ternary LLM의 1.58-bit 장벽 깨기: BITCOS 가중치 레이아웃

0이 51.5%인 점을 이용해 ternary 가중치를 1.485bit로 저장, 속도 최대 1.27배

Mistral x Mozilla: Firefox Smart Window에 Mistral 모델 탑재

Firefox Smart Window가 Mistral 모델로 구동되며 zero data retention을 내세운다

절대 포기하지 않기(Never Give Up): LLM RL에서 어려운 문제를 풀게 만드는 방법

쉬운 문제에 쓰는 연산을 줄이고 어려운 문제를 재시도했더니 어려운 문제 성능이 올랐다

Apple Neural Engine 사후 리버스 엔지니어링: M1 ANE 내부 구조 해부

M1 ANE를 뜯어보니 CNN용 데이터플로와 고정 크기 명령 스트림으로 설계돼 있었다

3.8B LLM을 $998로 학습해 CORE 0.384 달성하기

B200 8장으로 43시간, $998를 들여 3.8B 모델이 CORE 0.384를 기록했다

Apple M3 Neural Engine에서 DRAM 대역폭 50 GB/s 되찾기

ANE 가중치를 1MiB 배수로 보내면 느려져, 쪼개 보냈더니 Llama 3.2 1B가 10→24.3 tok/s

Mistral, €3B 투자 유치: 주권형 오픈웨이트 AI 풀스택 전략

Mistral이 €3B 시리즈 D를 유치해 기업가치 €21B 이상이 됐다

"Next-token predictor"는 LLM을 이해하는 잘못된 멘탈 모델이다

RLVR 학습은 정답 토큰이 아닌 보상을 최대화해 next-token 모델과 다르다

Cerebras에 Qwen 3.8 27B 등장, 약 1850 tokens/s

Cerebras가 Qwen 3.8 27B를 약 1850 tokens/s로 제공하지만 한도와 비용이 걸림돌

LLM 추론의 효율 프런티어: 트레이드오프 조절 vs 프런티어 확장

추론 기법은 지연-처리량 곡선 위를 옮기거나, 곡선 자체를 밀어낸다

Apple, Mac mini·Mac Studio의 AI 수요에 허를 찔렸다

기업의 AI용 Mac 수요가 폭증해 Apple이 신제품을 앞당겨 냈다

Paul Graham: "17살이면 LLM을 밑바닥부터 만들어 보겠다"

PG는 17살이면 창업 말고 LLM 밑바닥 구현부터 배우겠다고 했다

AI에게 코드로 그림 그리기를 가르치다: 보상 함수 재설계기

보상 신호 9개를 4개로 줄이고 쌍대 비교를 썼더니 학습 속도가 3배 빨라졌다

로컬 LLM이 실제보다 멍청하게 느껴지는 이유: 어텐션 백엔드·KV 캐시·양자화 실험

어텐션 백엔드·KV 캐시·양자화만 바꿔도 툴 호출이 깨졌다

AI가 AI를 후학습할 때 빠진 것: 전략을 바꾸겠다는 결정

에이전트는 실행은 잘하지만 전략 전환은 2.1%뿐, 중간 지시 한 번이 최대 17.44점↑

Qwen 3.8 27B는 훌륭하지만 기본값이 과하게 overthinking한다

Qwen 3.8 27B는 로컬에서 쓸 만하지만 기본 xhigh 추론이 너무 느리다

Qwen 3.8 27B: 로컬로 돌리는 dense 모델, 생각은 길고 VRAM은 많이 먹는다

Qwen 3.8 27B FP8 공개, 댓글에선 성능 호평과 과한 thinking·VRAM 불만이 갈림

llama.cpp팀과 Hugging Face의 로컬 AI 앱 Llama

1MB 앱 하나로 로컬 모델을 깔고 OpenAI 호환 API까지 바로 쓴다

Apple Silicon macOS VM에서 llama.cpp 추론 최대 16배 빠르게 만들기

VM 안 Metal 기능 응답을 바꿨더니 llama.cpp가 최대 16배 빨라졌다

Needle 3: 8~29MB 초소형 모델로 기기 안에서 tool call 실행하기

8~29MB 모델이 모바일 tool call에서 10배 큰 모델을 앞섰다고 주장

$250 FPGA의 온칩 메모리만으로 돌린 초소형 LLM, 21,000 tok/s

가중치를 전부 칩 안에 넣었더니 $250 FPGA에서 약 21,300 tok/s가 나왔다

Muse Glimmer: 로컬 에이전트용 30B 오픈 웨이트 모델

30B 모델을 4비트로 줄이고 DFlash를 붙여 24GB GPU에서 에이전트를 돌린다

100배 저렴한 오픈 모델로 retrieval에서 GPT-5.6 Sol 겨냥하기 (Neon + Castform)

Postgres 데이터로 4B 오픈 모델을 RL 후학습해 검색 에이전트 비용을 낮춘다

Mistral Shieldstral: 정책을 프롬프트로 바꿔 쓰는 3B 오픈 가중치 멀티모달 모더레이션 모델

정책을 질문으로 넣으면 yes/no 점수를 주는 3B 모더레이션 모델

Homebench – 로컬 LLM의 속도·메모리·품질을 한 번에 재는 벤치마크 TUI

명령어 하나로 로컬 LLM의 속도·메모리·품질을 한 표에 비교한다

Swiftlet: Mac에서 80B Qwen을 4.3GB RAM으로, iPhone에서 35B를 돌리는 런타임

expert 가중치를 SSD에서 스트리밍했더니 80B가 RAM 4.3GB로 돈다

6502 프로세서에서 돌아가는 자기회귀 언어 모델 (BitNet + Mamba)

1975년 8비트 6502에 13KB 삼진 가중치 Mamba 모델을 올려 텍스트 생성

DeepSeek을 GPT-OSS에 증류해도 검열은 따라오지 않았다

DeepSeek V4 Flash로 금융 추론을 증류했더니 성능은 올랐고 검열은 안 따라왔다

$8짜리 마이크로컨트롤러에서 28.9M 파라미터 LLM 돌리기

파라미터 대부분을 flash에 두자 ESP32-S3에서 9.88 tok/s로 텍스트 생성

Hetzner, LLM Inference 실험 시작: OpenAI 호환 API 첫인상

Hetzner가 무료 실험용 OpenAI 호환 추론 API를 열었고 TTFT 153ms가 나왔다

Petals: BitTorrent 방식으로 집에서 LLM 돌리기

모델 일부만 로드하고 다른 사람 GPU와 이어 405B급 LLM을 돌린다

LLM의 Reasoning Effort(추론 강도)는 어떻게 조절되나

effort 라벨을 시스템 프롬프트에 넣고 학습하면 추론 길이와 정확도를 조절할 수 있다

LoRA Speedrun: 파인튜닝 기법을 벽시계 시간으로 겨루는 공개 리더보드

LoRA 파인튜닝 시간을 11분 57초에서 22초까지 줄인 공개 리더보드

Inkling – 975B 파라미터 오픈 웨이트 LLM

Thinking Machines가 텍스트·이미지·오디오 입력 오픈 웨이트 MoE 모델 Inkling을 공개했다

RL로 '모델을 RL로 학습시키는 에이전트'를 약 $1.3k에 학습시킨 프로젝트

학습 잡을 짜는 에이전트를 RL로 키웠더니 보상이 0.0에서 0.63까지 올랐다

필요한 순간에 기억하기: 장기 에이전트를 위한 Proactive Memory Agent

별도 메모리 에이전트가 필요할 때만 리마인더를 넣었더니 Terminal-Bench +8.3%p