AI로 코드는 빨라졌는데 왜 배포는 안 빨라질까: 활동과 성과의 간극
AI, activity, and outcomes in software engineering
TL;DR Highlight
AI가 코드 작성은 빠르게 했지만 배포 속도는 그만큼 오르지 않았다는 발표
Who Should Read
AI 코딩 도구를 도입했는데 팀의 배포 속도가 기대만큼 오르지 않아 이유를 찾는 개발 리드
Core Mechanics
- 발표 질문은 '왜 아직 배포가 빠르지 않나'
- Christian Bird의 UC Irvine 세미나 발표(21분)이고, 부제는 AI·활동·성과다.
- 원문에는 발표 소개와 자료 목록만 있고 본문 설명은 없다.
- 코드 쓰기와 배포는 별개로 다룬다
- 참고 논문 제목이 'Writing Code vs. Shipping Code'(NBER 35275)다.
- 'The Activity-Outcome Gap'(개발자 30명 인터뷰)도 같은 맥락의 논문이다.
- 코드 리뷰 에이전트를 버그 탐지로 벤치마크했다
- 'Software Factory를 Lights-Off로 운영해도 되나'라는 논문이 목록에 있다.
- 구체적 결과 수치는 원문에 없다.
- 개발자가 AI 자율성에 선을 긋는 지점을 연구했다
- 'You Shall Not Pass!' 논문이 목록에 있다.
- 어디에 왜 선을 긋는지는 원문에 적혀 있지 않다.
- 팀·개인 요인이 GenAI 도구 사용을 좌우한다
- ICSE 2026 논문 'Maybe We Need Some More Examples'가 목록에 있다.
- 세부 내용은 원문에 없다.
Community Reactions
- 대규모·성숙한 제품에서는 단계별 속도가 다르다는 의견
- 코드 변경과 배포 사이에 여러 단계가 있고 LLM이 모든 단계를 같은 속도로 빠르게 하지는 않는다는 설명이다.
- 연구 대상 같은 대형 개발 조직에 더 해당된다는 의견이다.
- 리뷰·QA 병목을 두고 새 코드만 늘린다는 의견
- 코드가 쏟아져도 리뷰와 QA가 그대로면 속도가 안 난다는 지적이다.
- 빠르게 달리려면 먼저 고속도로를 깔아야 한다는 비유가 나왔다.
- 실제로 빨라졌다는 경험도 많았다
- 4주 걸리던 마이그레이션을 하루 PR 하나로 끝냈다는 경험이 있다.
- 직접 계산해 약 300% 빨라졌다는 경험담도 있다.
- 10명이 24명 몫을 같은 속도로 낸다는 경험도 있다.
- 빨라진 만큼 설계가 커지고 버그도 늘었다는 경험
- AI로 설계가 더 복잡해져 테스트와 인지 부하가 늘었다는 경험이다.
- 버그율은 올랐지만 행동 변경량에 비례한다는 경험도 있다.
How to Apply
- 우리 팀 배포 파이프라인 단계별 시간 재기
- 오늘 최근 머지된 PR 10개를 골라 작성·리뷰 대기·QA·CI·배포 단계별 소요 시간을 적어 보자.
- 가장 긴 구간이 AI로 줄지 않은 병목 후보다.
- 리뷰 대기 시간을 별도 지표로 추적하기
- PR 생성부터 첫 리뷰까지 시간을 대시보드에 추가하라.
- AI 도입 전후를 비교해 코드량과 배포량을 분리해서 본다.
- AI로 늘어난 변경량에 맞춰 리뷰·테스트 기준 정하기
- PR 크기 상한과 필수 테스트 항목을 정하라.
- 코드 리뷰 에이전트를 도입한다면 버그 탐지율을 먼저 샘플로 측정하라.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (원문 논문 방법이 아닌 발표 주제를 흉내 낸 간이 버전)
우리 팀은 AI 코딩 도구를 쓰는데 배포 속도가 기대만큼 오르지 않았어. 아래는 최근 PR 단계별 소요 시간이야.
{{단계별 소요 시간: 작성 / 리뷰 대기 / QA / CI / 배포}}
1. 가장 큰 병목 단계 하나를 골라줘.
2. 그 단계가 AI로 빨라지지 않은 이유 후보를 3가지 써줘.
3. 다음 주에 해 볼 실험 하나를 측정 지표와 함께 제안해줘.
이어서 해 볼 것: 실험 후 같은 표를 다시 넣고 변화를 비교해 달라고 요청해 보자.Terminology
관련 논문
Claude는 대규모 단백질 서열로 학습됐다: next-amino-acid 테스트 결과
연구가 안 된 단백질의 다음 아미노산을 맞히자 최신 Claude만 통했다
짧게 기억됐다: 저장된 선호가 의사결정에 필수적인 정보를 조용히 지운다
메모리에 '짧게' 선호가 저장되면 경고가 조용히 빠지고, 2단계 답변이 내용을 되살렸다
AI가 생성한 코드는 전부 오픈소스여야 한다는 주장
AI가 쓴 코드는 오픈소스로 공개해야 한다는 주장에 HN 댓글은 대체로 반대했다
수천 개 대화가 LLM 내부에서 어떻게 보이는가: Qwen3-1.7B 상태 지도
Qwen3-1.7B 내부 상태를 시각화했더니 중국어만 영어와 확연히 떨어졌다
LLM 16종이 TIS-100 퍼즐을 풀었다: 커뮤니티 기록을 깬 모델들
LLM 16종에 TIS-100을 풀게 했더니 18개 퍼즐에서 새 최적점 133개가 나왔다
AI가 만든 코드베이스는 왜 쉽게 깨지는가
AI로 코드를 100% 생성했더니 얕은 테스트·복잡한 코드·이해 부족이 쌓인다는 경험담
통과했지만 틀렸다: API 마이그레이션 후 LLM 코드 수리의 조용한 실패
릴리스 노트 기반 엣지 입력 하나로 틀린 수리 통과율이 0.410에서 0.065로 줄었다
노트북의 Qwen 3.8 27B도 모델 가중치를 해석한다
로컬 Qwen 3.8 27B에 가중치 숫자만 줬더니 게임 3종을 맞혔다