추론

DeepInfer: DeepSeek 모델용 고성능 대규모 추론 프레임워크 공개

DeepSeek가 프로덕션 추론 엔진 DeepInfer를 Apache-2.0으로 공개했다

Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

DeepSeek, 미 연방 민간 기관에서 금지된다: DHS 명령과 개발자 반응

DHS 명령으로 DeepSeek이 미 연방 민간 기관 IT 시스템에서 금지됐다

Timestral: Mistral의 시계열 파운데이션 모델

209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

탈옥한 PS5에서 llama.cpp로 GGUF 모델 돌리기 (PS5LM)

탈옥 PS5의 GPU로 llama.cpp를 돌려 집 안 LLM 서버를 만들었다

그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

OpenGCUA: 코드 실행 중심의 범용 컴퓨터 사용 에이전트 오픈 스택

GUI 클릭 대신 코드 실행을 붙였더니 OSWorld-v2 점수 평균 19.6점↑, 스텝 53%↓

LFM2.5-24B-A2B: 빠른 온디바이스 에이전트를 위한 모델

활성 2B짜리 24B MoE가 에이전트 벤치 5개에서 35B급과 맞붙었다

요약을 걸러라, 히스토리가 아니라: 출처 검증 기반 컨텍스트 압축(SJC)

압축 요약에서 출처 없는 항목을 지웠더니 Pass3가 2.1~8.9%p 올랐다

에이전트 시대의 Rust, 그리고 Rust에게 에이전트가 의미하는 것

Rust 설계자가 에이전트 코딩에 맞춰 Rust가 증명·타입 쪽으로 더 가야 한다고 주장

누구 차례인가? 상태가 있는 에이전트를 위한 컨텍스트 기반 모델 라우팅

세션 히스토리를 읽는 라우터가 히스토리 없는 라우터보다 통과율 3.3%p 높았다

Gemini 4 Argon 공개: 장기 소프트웨어 엔지니어링과 과학 작업에 초점

Gemini 4 Argon, CWE-Bench 공동 1위(68%)에 vLLM 2.85배 가속 사례까지 공개

Anthropic의 소스 컨트롤 재설계: git에서 Scion으로

하루 병합 10배 폭증에 git을 버리고 5개월 만에 자체 VCS Scion으로 이전했다

코딩 에이전트 팀으로 추론 시간 컴퓨트 확장하기

워커를 계획 단계에만 붙였더니 팀 성능은 같고 비용은 절반

Janas: RAM보다 큰 LLM을 SSD에서 expert를 스트리밍해 돌리는 C 엔진

32GB 노트북에서 48GB 80B MoE 모델이 24 tok/s, 드래프트 쓰면 37 tok/s 나왔다

Prime Agent를 Rust로 다시 쓰다: 2,000개 에이전트 스웜이 스스로 포팅

에이전트 스웜이 TS 코드를 Rust로 포팅했더니 입력 가능 시간이 약 14배 빨라졌다

자기회귀 diffusion으로 시장 데이터를 생성할 수 있을까 (Jane Street 인턴 프로젝트)

flow matching과 atom smoothing으로 뾰족한 시장 데이터 분포를 diffusion으로 다뤘다

JevMan: AI 의사결정 모델로 팩맨을 플레이하는 벤치마크

모델 100판씩 팩맨을 시켜 의사결정 모델 순위를 매긴 오픈소스 벤치마크

LittleBit: LLM을 가중치당 1비트 미만으로 압축하는 잠재 분해 기법

가중치를 저랭크로 쪼개 이진화하니 0.1비트/가중치까지 압축이 가능해졌다

왜 업계는 DeepSeek 4.1 Flash에 놀라지 않을까

DeepSeek 4.1 Flash를 한 달 쓰니 프런티어급 체감에 비용은 훨씬 낮았다

Learn2Play Bench: LLM 에이전트는 낯선 환경에서 경험으로 얼마나 배우나

낯선 규칙 게임 20종으로 재 보니 원본 기록 전체를 넘기는 MEMORY가 정교한 요약식 방법을 앞섰다

Claude Haiku 5.5: 가격 75% 내리고 effort 설정이 생긴 소형 모델

Haiku 5.5는 Haiku 4.5 대비 평균 비용 약 75% 낮고 더 빠르다

1866년처럼 써라: LLM에게 전보체(cablese)로 요약시키면 출력 토큰 40~49% 절감

전보체로 쓰라고 시켰더니 출력 토큰 40~49%가 줄고 정답률은 유지됐다

WebFovea: 모델은 맞았는데 클릭이 틀렸다 — 비전 웹 에이전트의 하네스 신뢰성

모델 대신 하네스(파싱·실행·피드백·관찰)를 고쳤더니 챌린지 점수 31.0→57.0

OpenTPU: AI가 설계한 오픈소스 AI 가속기

AI 에이전트가 설계한 FPGA 가속기가 Qwen3 등 실제 LLM을 구동했다

Mistral Large 4 공개: 1T 파라미터, 활성 49B

Mistral Large 4는 1T 파라미터 멀티모달 모델로 API 먼저, 가중치는 10월 말 공개

Dust: 역전파 없이 Transformer를 사전학습하는 방법

활성값에 토큰별 노이즈를 줬더니 역전파 없이 Transformer 사전학습이 됐다

Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상

응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다

Strata: 게이밍 PC에서 Qwen3.8-Flash-Next(125B)를 돌리는 로컬 추론 엔진

RAM+VRAM 32GB PC에서 125B 모델을 OpenAI/Anthropic API로 로컬 서빙

Aleph Alpha Kolibri: 독일어·영어용 주권(sovereign) 오픈 웨이트 LLM의 작동 방식

78B MoE인데 토큰당 3.5B만 써서 독일어 RAG와 자체 호스팅에 맞춘 모델

Redis 창시자의 로컬 LLM 엔진 ds4(DwarfStar 4)

antirez의 C 엔진 ds4로 DeepSeek V4·Qwen·GLM을 맥·CUDA에서 로컬 구동

DeReAct: 행동 승인과 완료 판정을 분리한 신뢰할 수 있는 AI 에이전트

ReAct에서 행동 검문·완료 판정을 분리했더니 약한 모델 Pass@1이 최대 7.0점↑

Clef: Cloudflare의 오픈 웨이트 decision model과 RL 파인튜닝 플랫폼

Cloudflare가 Jev 호환 decision model Clef를 공개해 Jev Decision Index 1위를 주장했다

Context Language Models: 모델이 자기 컨텍스트를 파일처럼 직접 편집한다

컨텍스트를 파일로 두고 모델이 직접 고치게 했더니 정확도↑ 연산량↓

LLM 기반 발견(Discovery)은 초기화가 성패를 가른다

병렬로 먼저 후보를 모아 시작점으로 삼았더니 SOTA 하니스 점수가 2~21% 올랐다

Gemini 4 Argon (High) 지능·성능·가격 분석

Gemini 4 Argon(High)은 지능 지수 53으로 상위권이나 느리고 첫 토큰이 늦다

Magnitude: 내 하드웨어에서 커널을 스스로 튜닝하는 오픈소스 추론 엔진

모델 다운로드 시 커널을 튜닝해 Ollama보다 평균 2배 빠르다고 주장하는 로컬 추론 엔진

OpenDLSS: NVIDIA DLSS 5 Neural Rendering 네트워크의 Vulkan 재구현

DLSS 5 신경망을 Vulkan으로 다시 짜서 원본과 바이트 단위로 일치시켰다

TurboGPT: 22KiB 트랜스포머를 13초 만에 학습시키는 CUDA 프로젝트

CUDA C++로 바이트 단위 tiny GPT를 1분 안에 학습하는 오픈소스

ESP32-S3 7대로 1.58-bit(BitNet) 언어 모델 돌리기

ESP32-S3 7대를 SPI로 이어 0.4B BitNet LLM을 추론시켰다

프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM

Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로

언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트

"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다

MicroLLM Lab – 브라우저에서 돌려보는 초소형 LLM 7종

WebGPU로 25M~360M 소형 LLM을 브라우저에서 돌리고 속도·정확도를 비교

Claude Opus 5.5 프롬프팅 가이드: effort·진행 업데이트·무인 에이전트 설정

Opus 5.5는 medium effort로 Opus 5 high급 성능, 프롬프트·하네스 조정법 정리

llama.cpp 프롬프트 룩업 드래프팅 최대 42배 빠르게 만들기

맵 복사 제거와 자료구조 교체로 llama.cpp 드래프팅이 최대 42배 빨라졌다

DeepSeek Elastic Compute (DSec): 에이전트 학습용 대규모 샌드박스 인프라

DeepSeek이 160노드로 하루 300만 샌드박스를 돌리는 인프라 DSec을 공개했다

LLM logprobs로 만든 Jev식 단일 토큰 분류 래퍼 (비전 모델 포함)

답을 글자 1개로 강제하고 logprobs를 읽었더니 웹캠 프레임도 분류됐다

추론(reasoning)은 오답을 한곳으로 몰고, Self-Consistency는 그걸 못 잡는다

같은 가중치로 reasoning만 켰더니 오답이 한 값으로 쏠려 다수결이 못 걸렀다

덜 생각해야 더 잘 흉내 낸다: 직관 프롬프트가 개인별 SNS 반응 시뮬레이션을 개선한다

'바로, 직관적으로 답해라' 한 줄로 개인 반응 예측이 가장 좋아졌다

예산별 최적 LLM 찾기: 가격 대비 성능 프런티어 사이트

Artificial Analysis 점수와 가격을 매일 합쳐 예산별 최고 모델을 보여준다

설득당한 LLM: 영업 담당자의 낙관 발언이 컨텍스트 근거를 무너뜨린다

LLM은 영업 담당자의 낙관 발언을 믿었고, 계산을 코드로 넘기자 31건 중 28건을 잡았다

LLM은 언제 자기 수정본을 믿어야 하나: 자기 교정(Intrinsic Self-Correction)의 위험 분석

29개 LLM에 재검토를 시켰더니 오답도 고치지만 정답도 뒤집었다

복잡한 토폴로지 제어가 필요할까? 매 라운드 새 상대를 무작위로 뽑는 Multi-Agent Debate

토론 상대를 매 라운드 무작위로 뽑고 3라운드에 끊었더니 토큰이 약 78% 줄었다

CliffCompaction: 장시간 코딩 에이전트를 위한 저비용 컨텍스트 압축

요약 없이 긴 툴 출력만 잘라냈더니 Terminal-Bench 비용 50% 절감, 성능은 유지

Claude Opus 5.5 (max) 지능·성능·가격 분석

Opus 5.5 max는 지능지수 58로 1위지만 출력이 많고 비싸다

Transformer Explainer: 브라우저에서 GPT-2를 돌리며 배우는 Transformer 구조

GPT-2를 브라우저에서 직접 돌리며 Transformer 내부와 temperature를 눈으로 본다