평가·벤치마크

LLM으로 대규모 formal verification이 가능해졌다

Claude로 오픈소스 라이브러리 123개의 no-crash 증명을 만들고 버그도 찾았다

모델이 그렇게 좋다면 OpenAI는 왜 회사 100개를 직접 안 차릴까

HN 댓글 답: 코드는 쉬워도 뭘 만들지 아는 건 별개라 토큰을 판다

PHP2Shell: AI가 찾아낸 PHP 코어 RCE 취약점

Wiz가 AI로 PHP 코어의 10년 묵은 RCE를 찾아 익스플로잇까지 만들었다

LLM에게 confidence 점수를 물어보면 안 되는 이유

LLM이 말한 confidence 숫자는 측정값이 아니라 그럴듯한 텍스트일 뿐이다

Claude로 코드의 공격 표면(attack surface) 줄이기

Claude로 25개 오픈소스를 분석해 불필요하게 열린 코드 493건을 찾았다

DeepInfer: DeepSeek 모델용 고성능 대규모 추론 프레임워크 공개

DeepSeek가 프로덕션 추론 엔진 DeepInfer를 Apache-2.0으로 공개했다

같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

AI 글쓰기 버릇을 학습으로 뺀 Qwen3-4B (qwen3-4b-deslop)

Qwen3-4B를 LoRA로 증류했더니 AI 문체 점수가 121에서 12.5로 떨어졌다

Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

Ask HN: 이해 못 하는 AI 작성 코드를 배포할 때 어떻게 하나

설계는 내가, 구현은 LLM이: 이해 못 하는 코드를 다루는 개발자들의 방법

Timestral: Mistral의 시계열 파운데이션 모델

209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

받을 수 없는 환불을 위해 AI 비서는 어디까지 가나

'뭐든 해서 환불받아라' 했더니 에이전트들이 스팸·병력 공개·소송 협박까지 갔다

Sphinx: AI가 짠 코드를 push하기 전에 이해했는지 퀴즈로 확인하는 Git hook

push 직전 diff로 퀴즈를 내서 AI 코드를 이해해야 통과시키는 Git hook

DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

FLUX 3 Image Klein: 5.6B 오픈 웨이트 이미지 생성·편집 모델

5.6B 오픈 웨이트로 8GB VRAM에서 돌고, 자체 평가 1위를 주장

Claude Code 팀의 코드 리뷰 방식: 사람 시간은 아끼고 리버트는 줄이기

리뷰 대부분을 AI에 넘기자 PR은 2배 넘게 늘고 리버트는 40%↓

트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다

선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상

Claude가 밝혀낸 ECDSA 곡선 시드의 기원

Claude가 30분 만에 NIST 곡선 시드가 lrand48+타임스탬프 출력임을 찾아냈다

Claude로 더 효율적인 양자 회로 설계하기

평가기와 닫힌 루프를 붙였더니 Claude가 기존 최고 양자 회로를 능가했다

미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

환경 비의존 에이전트 개선하기: 스캐폴딩의 역할

'막히면 멈추고 보고해'라는 한 줄로 게임 점수는 올랐지만 비용도 올랐다

신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

OpenGCUA: 코드 실행 중심의 범용 컴퓨터 사용 에이전트 오픈 스택

GUI 클릭 대신 코드 실행을 붙였더니 OSWorld-v2 점수 평균 19.6점↑, 스텝 53%↓

LFM2.5-24B-A2B: 빠른 온디바이스 에이전트를 위한 모델

활성 2B짜리 24B MoE가 에이전트 벤치 5개에서 35B급과 맞붙었다

요약을 걸러라, 히스토리가 아니라: 출처 검증 기반 컨텍스트 압축(SJC)

압축 요약에서 출처 없는 항목을 지웠더니 Pass3가 2.1~8.9%p 올랐다

SkillNEO: 점수 낮은 스킬 버전도 계속 고쳐서 에이전트 스킬을 진화시키기

점수 낮은 스킬도 계속 수정했더니 GPT-5.4 Mini 보상이 49.1%→66.4%로 올랐다

Linus Torvalds의 첫 LLM 보조 패치 시리즈

Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

에이전트 시대의 Rust, 그리고 Rust에게 에이전트가 의미하는 것

Rust 설계자가 에이전트 코딩에 맞춰 Rust가 증명·타입 쪽으로 더 가야 한다고 주장

누구 차례인가? 상태가 있는 에이전트를 위한 컨텍스트 기반 모델 라우팅

세션 히스토리를 읽는 라우터가 히스토리 없는 라우터보다 통과율 3.3%p 높았다

Parsimony: AI 모델이 코드를 얼마나 덧붙이는지 재는 오픈소스 벤치마크

SWE-bench 패치를 구문 단위로 세어, 코드를 덜 늘리는 AI 모델 순위를 매겼다

Gemini 4 Argon for Robotics: 로봇 제어부터 시뮬레이션 트윈까지 프롬프트 모음

Gemini 4 Argon에 프롬프트를 주니 로봇 제어·시뮬 구축·데이터 라벨링이 됐다

Gemini 4 Argon 공개: 장기 소프트웨어 엔지니어링과 과학 작업에 초점

Gemini 4 Argon, CWE-Bench 공동 1위(68%)에 vLLM 2.85배 가속 사례까지 공개

게임 자체를 하네스로 만들기: AI 에이전트가 읽을 수 있는 게임 설계

게임을 결정론적·스크린샷 가능하게 만들었더니 에이전트가 반복 수정하기 쉬워졌다

OpenAI의 '더 빠른 FFT' 주장, 알고 보니 비현실적 계산 모델의 산물

OpenAI의 더 빠른 FFT는 비현실적 가정 위에서만 이긴다는 비판

안 쓰는 Kindle을 GPT-6 Astra로 탈옥해 사진 액자로 만든 후기

코딩 에이전트에 피드백 루프를 붙였더니 Kindle이 사진 액자가 됐다

코딩 에이전트 팀으로 추론 시간 컴퓨트 확장하기

워커를 계획 단계에만 붙였더니 팀 성능은 같고 비용은 절반

Janas: RAM보다 큰 LLM을 SSD에서 expert를 스트리밍해 돌리는 C 엔진

32GB 노트북에서 48GB 80B MoE 모델이 24 tok/s, 드래프트 쓰면 37 tok/s 나왔다

AI는 도구다, 잘 쓰려면 기술이 필요하다

Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박

롤플레이 LLM의 지식의 저주: 캐릭터가 몰라야 할 정보를 말해버린다

캐릭터가 못 듣고 못 이해한 내용을 오픈웨이트 LLM은 67~72%p 더 말했고, 관찰 가능한 정보만 주면 0이 됐다

LLM 역량에 대한 인식 격차가 깔때기처럼 벌어지고 있다

Karpathy: LLM 역량 인식 격차가 4단계 깔때기로 벌어지는 중

5000억 토큰 뒤에: AI 에이전트로 FPS 게임 디컴파일하기

PASS/FAIL 검증 스크립트를 붙였더니 싼 모델로도 함수 83%가 바이트 일치

Prime Agent를 Rust로 다시 쓰다: 2,000개 에이전트 스웜이 스스로 포팅

에이전트 스웜이 TS 코드를 Rust로 포팅했더니 입력 가능 시간이 약 14배 빨라졌다

AI는 사람이 만든 알고리즘 혁신을 재현하지 못했다: Epoch AI InnovationEval

GPU 수천 달러를 써도 최신 모델은 SDPO 수준의 혁신을 못 찾았다

버그를 환자처럼, 코딩 에이전트를 의료팀처럼: 5개월간의 MOLT Sinai 실험

에이전트 파이프라인을 교육병원처럼 짰더니 5개월간 100만 줄 머지에 revert 7건

자기회귀 diffusion으로 시장 데이터를 생성할 수 있을까 (Jane Street 인턴 프로젝트)

flow matching과 atom smoothing으로 뾰족한 시장 데이터 분포를 diffusion으로 다뤘다

400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다

임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴

딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합

GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781

JevMan: AI 의사결정 모델로 팩맨을 플레이하는 벤치마크

모델 100판씩 팩맨을 시켜 의사결정 모델 순위를 매긴 오픈소스 벤치마크

LittleBit: LLM을 가중치당 1비트 미만으로 압축하는 잠재 분해 기법

가중치를 저랭크로 쪼개 이진화하니 0.1비트/가중치까지 압축이 가능해졌다

LLM으로 TypeScript 컴파일러를 Rust로 포팅한 ts-rust

LLM이 tsc를 Rust로 포팅했고 Opus 5.5가 2주 약 $24k로 가장 멀리 갔다

Learn2Play Bench: LLM 에이전트는 낯선 환경에서 경험으로 얼마나 배우나

낯선 규칙 게임 20종으로 재 보니 원본 기록 전체를 넘기는 MEMORY가 정교한 요약식 방법을 앞섰다