Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus Torvalds's first LLM-assisted patch series
TL;DR Highlight
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다
Who Should Read
AI 코딩 도구가 실제 대형 코드베이스에서 쓸 만한지 판단해야 하는 백엔드·시스템 개발자
Core Mechanics
- Linus가 LLM으로 패치를 만들었다
- Maintainers Summit에서 LLM으로 오래된 문제를 다루는 패치 시리즈를 작업 중이라고 말했다.
- 이후 패치 10개짜리 시리즈를 리뷰용으로 올렸다.
- 뜨거운 folio 해제를 RCU 이후로 미룬다
- folio(커널 페이지 캐시 단위)가 자주 쓰이면 "RCU 기간 이후에 해제" 표시를 붙인다.
- 이 지연 덕분에 folio 조회뿐 아니라 데이터 접근도 RCU(락 없이 읽는 동기화 방식) 보호 구간 안에서 한다.
- 빠른 경로에서 refcount가 필요 없다
- 사용자 복사 중 페이지 폴트가 안 나면 folio 데이터를 RCU 구간에서 통째로 읽는다.
- 이 경로에서는 refcount(참조 횟수)를 잡지 않아도 된다.
- read() 위주 벤치마크가 10배 빨라졌다
- 원문은 결과를 order-of-magnitude(자릿수 하나) 속도 향상이라고 쓴다.
- 비교 대상 기준과 구체적 수치는 원문에 없다.
- 리뷰에서 race condition이 나왔다
- 코드 리뷰가 이미 race condition(동시 실행 시 순서 꼬임 버그)을 찾았다.
- 그래서 추가 작업이 필요하다고 원문은 말한다.
Community Reactions
- LLM 사용을 직접 밝힌 커밋 메시지가 있다는 경험 공유
- 초안 브랜치의 빈 커밋 메시지에 코드, 테스트 프로그램, 리뷰, 글 초안을 Claude Code로 Linus 지시 아래 했다고 적혀 있다는 댓글이 있었다.
- 측정은 본인 머신에서 돌렸다고 적혀 있다는 내용이다.
- diff가 작고 읽기 쉽다는 의견
- 한 댓글은 diff를 봤더니 중간 크기이고 읽기 좋다고 했다.
- LLM으로 흔히 나오는 2k줄짜리 커밋과 다르다는 평이다.
- Claude Code 결과가 겉만 멀쩡한 경우가 잦다는 경험
- 한 댓글은 작동하는 듯한데 실제로는 깨진 코드가 자주 나온다고 했다.
- 로컬 디버깅이나 Sentry 에러 알림으로 뒤늦게 발견한다는 경험이다.
- 같은 도구도 쓰는 사람에 따라 결과가 갈린다는 반응
- 한 댓글은 전문가와 초보가 같은 굴착기를 몰 때 결과가 다르다고 비유했다.
- 반면 초보가 Linus도 했으니 된다고 여길 수 있어 나쁜 선례라는 우려도 나왔다.
How to Apply
- 오늘 내 코드 리뷰에 동시성 체크리스트 넣기
- LLM이 쓴 PR을 볼 때 race condition 여부를 먼저 점검하도록 체크 항목을 추가하라.
- 아래 프롬프트로 diff를 붙여 넣고 동시성 리뷰를 시켜 보라.
- LLM 변경은 작은 커밋 단위로 쪼개기
- LLM에 작업을 시킬 때 패치 하나당 한 가지 변경만 하라고 지시하라.
- 사람이 읽을 수 있는 크기로 리뷰하라.
- LLM 사용 사실을 커밋 메시지에 적기
- 팀 PR 템플릿에 사용 도구와 사람이 검증한 부분을 적는 칸을 추가하라.
- 측정은 직접 돌린 환경을 함께 기록하라.
Try It
# Claude 또는 ChatGPT 대화창에 붙여넣기 (Linus 사례의 "LLM 작성 코드는 사람이 리뷰해 race를 찾는다"를 옮긴 간이 버전)
너는 동시성 버그 전문 리뷰어다. 아래 diff에서 race condition, 락 없이 읽는 구간의 해제 시점 문제, 순서 보장 누락을 찾아라.
{{diff}}
각 문제마다 파일·줄, 발생 시나리오(스레드 A/B 순서), 수정 제안을 표로 정리하라. 문제가 없으면 근거를 설명하라.
이어서 해 볼 것: 같은 diff를 "작은 패치 여러 개로 쪼개 줘"라고 시켜 보고, 쪼갠 단위가 리뷰하기 쉬운지 비교해 보라.Terminology
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Parsimony: AI 모델이 코드를 얼마나 덧붙이는지 재는 오픈소스 벤치마크
SWE-bench 패치를 구문 단위로 세어, 코드를 덜 늘리는 AI 모델 순위를 매겼다