AI가 만든 코드베이스는 왜 쉽게 깨지는가
AI usage generates a fragile codebase
TL;DR Highlight
AI로 코드를 100% 생성했더니 얕은 테스트·복잡한 코드·이해 부족이 쌓인다는 경험담
Who Should Read
AI 에이전트로 코드를 대량 생성하면서 장애와 유지보수 부담이 늘까 걱정되는 백엔드·SaaS 개발자
Core Mechanics
- AI는 얕은 테스트를 쓴다
- get/set 같은 사소한 메서드 테스트를 많이 만든다.
- e2e 테스트도 코드에 이미 있는 케이스만 다뤄서 한 종류 사용자나 표면적 상호작용에 머문다.
- 이런 빈틈은 라인 커버리지 지표로는 안 보인다.
- 필요 이상으로 복잡한 코드를 쓴다
- 헬퍼 메서드 하나면 될 곳에 두세 개를 만든다.
- DRY 같은 가이드라인을 지나치게 따라 오히려 사람이 디버깅하기 어려워진다.
- AI에 의존할수록 사람이 코드를 모른다
- AI가 코드를 쓰는 기간이 길수록 코드베이스를 이해하는 개발자가 줄어든다.
- 기존 구조와 안 맞는 새 추상화가 PR에 들어와도 알아채기 어렵다.
- AI 속도를 리뷰가 못 따라간다
- PR이 갈수록 빨리 오고 리뷰 시간은 더 줄어든다.
- 훑어보다 놓친 테스트 빈틈과 나쁜 변수명이 쌓여 스파게티 코드가 된다.
- 깨진 코드베이스의 신호 네 가지
- 장애(incident)가 점점 늘고 복구도 오래 걸린다.
- 사용자만 보는 에러가 생기고 사용자 경험이 나빠진다.
- 저자는 AI에 계측(analytics)과 에러 처리를 맡겨두고 사람이 확인하지 않는 것을 원인으로 든다.
- 저자의 근거는 개인 경험이다
- Meta에서 AI로 코드의 90% 이상을 생성했지만 코드량은 2배도 안 늘었다고 한다.
- 동료가 CSS :hover 대신 JS 이벤트로 mouseover 효과를 구현한 코드를 머지하려 한 사례를 든다.
- 수치로 된 장애 통계나 비교 데이터는 글에 없다.
Community Reactions
- AI 코드는 린터로 잡자는 의견
- 댓글에서 정적 분석·린터 규칙으로 JS mouseover 같은 패턴을 실패 처리하고 에이전트가 다시 쓰게 하자는 의견이 나왔다.
- 정적 타입 언어와 함수형 스타일을 쓰면 테스트가 타입으로 못 잡는 부분에만 남는다는 경험도 있었다.
- 문제는 AI가 아니라 리뷰 부재라는 반론
- 댓글에서 모든 줄을 리뷰하는 사람이 혼자 남았다는 경험담이 나왔다.
- 그 사람은 AI 코드에서 엣지 케이스 과잉 검사와 1% 미만 케이스를 위한 라이브러리 추가를 자주 발견했다고 한다.
- 사람이 쓴 코드도 대형 코드베이스에서는 스파게티가 된다며 같은 품질 게이트를 적용해야 한다는 의견도 있었다.
- 괜찮았다는 실사용 경험
- 댓글에서 7개월간 50만 줄 모바일 앱을 AI로 만들었는데 취약성은 문제가 되지 않았다는 경험이 나왔다.
- 22만 줄 Python·Rust·C++ 코드베이스에서 Python은 가장 좋고 C++는 코드가 부풀었다는 경험도 있었다.
- 검증 루프가 핵심이라는 의견
- 댓글에서 좋은 테스트나 명세가 없으면 피드백 루프가 불안정해져 품질이 떨어진다는 의견이 나왔다.
- 'over-engineer 하지 마라' 같은 지시나 적대적 리뷰, 결정론적 게이트로 보완한다는 경험도 있었다.
How to Apply
- 오늘 AI가 쓴 테스트 빈틈 점검하기
- 최근 AI가 작성한 테스트 파일 하나를 골라 get/set 위주 테스트와 이미 있는 케이스만 반복하는 e2e를 찾아라.
- 코드 예시 프롬프트로 빠진 사용자 유형과 실패 경로를 목록으로 뽑아라.
- 과설계 금지 지침을 에이전트 설정에 넣기
- 린터로 반복되는 나쁜 패턴을 막기
- 리뷰에서 같은 지적이 두 번 나오면 린트 규칙이나 정적 분석으로 만들어라.
- 에이전트가 CI 실패를 보고 스스로 고치게 연결하라.
- AI 생성 PR의 리뷰 규칙 정하기
- PR 크기 상한과 리뷰 필수 항목(테스트 빈틈, 새 추상화)을 정해라.
- 장애 건수와 복구 시간을 월별로 기록해 AI 도입 전후를 비교하라.
Try It
# Claude나 ChatGPT에 붙여넣기 (원문의 '얕은 테스트' 문제를 점검하는 간이 프롬프트)
아래 코드와 테스트를 리뷰해줘.
[코드]
{{코드}}
[테스트]
{{테스트}}
다음을 답해줘.
1. 사소한 get/set 테스트나 중복 테스트는 무엇인가?
2. 테스트가 다루지 않는 사용자 유형, 실패 경로, 경계 조건은 무엇인가?
3. 커버리지 숫자로는 안 보이지만 중요한 빈틈 5개를 우선순위로 적어줘.
4. 필요 이상으로 복잡한 부분(불필요한 헬퍼, 과한 DRY)이 있으면 지적해줘.
이어서 해 볼 것: 1~3번에서 나온 빈틈 중 상위 2개의 테스트를 작성하게 하라.Terminology
관련 논문
Claude는 대규모 단백질 서열로 학습됐다: next-amino-acid 테스트 결과
연구가 안 된 단백질의 다음 아미노산을 맞히자 최신 Claude만 통했다
짧게 기억됐다: 저장된 선호가 의사결정에 필수적인 정보를 조용히 지운다
메모리에 '짧게' 선호가 저장되면 경고가 조용히 빠지고, 2단계 답변이 내용을 되살렸다
AI가 생성한 코드는 전부 오픈소스여야 한다는 주장
AI가 쓴 코드는 오픈소스로 공개해야 한다는 주장에 HN 댓글은 대체로 반대했다
수천 개 대화가 LLM 내부에서 어떻게 보이는가: Qwen3-1.7B 상태 지도
Qwen3-1.7B 내부 상태를 시각화했더니 중국어만 영어와 확연히 떨어졌다
AI로 코드는 빨라졌는데 왜 배포는 안 빨라질까: 활동과 성과의 간극
AI가 코드 작성은 빠르게 했지만 배포 속도는 그만큼 오르지 않았다는 발표
LLM 16종이 TIS-100 퍼즐을 풀었다: 커뮤니티 기록을 깬 모델들
LLM 16종에 TIS-100을 풀게 했더니 18개 퍼즐에서 새 최적점 133개가 나왔다
통과했지만 틀렸다: API 마이그레이션 후 LLM 코드 수리의 조용한 실패
릴리스 노트 기반 엣지 입력 하나로 틀린 수리 통과율이 0.410에서 0.065로 줄었다
노트북의 Qwen 3.8 27B도 모델 가중치를 해석한다
로컬 Qwen 3.8 27B에 가중치 숫자만 줬더니 게임 3종을 맞혔다