AI-native 엔지니어링 조직 만들기: FurtherAI 9개월 회고
Building an AI-native engineering org
TL;DR Highlight
배포 전 과정을 단계별로 자동화하자 엔지니어 1인당 일일 머지가 약 5배 늘었다
Who Should Read
코딩 에이전트를 도입했는데 리뷰·CI·버그 접수에서 병목이 생겨 고민인 팀 리드·백엔드 개발자
Core Mechanics
- 엔지니어당 하루 머지 약 5배
- 올해 1월 이후 엔지니어 1인당 하루 머지하는 코드 변경 수가 약 5배 늘었다.
- 되돌리기(revert) 비율은 0.5% 미만으로 유지됐다.
- 코딩 에이전트를 쥐여주는 것만으로는 여기까지 못 갔다고 한다.
- 한 단계 빠르면 다음 단계가 막힌다
- 한 단계를 빠르게 하면 다음 단계에 일이 쌓였다.
- 그래서 코드→테스트→리뷰→CI→버그 접수→머지까지 배포 과정을 한 단계씩 뜯어 최적화했다.
- 단계별 수치가 구체적이다
- 테스트 포함 변경이 15%에서 91%로 늘었다.
- 사람이 보기 전에 AI가 리뷰하는 변경이 60%에서 99%로 늘었다.
- CI는 같은 17분 안에 20배 많은 테스트를 돌린다(병렬화, 변경에 영향받는 테스트만 실행).
- 암묵지를 파이썬 검사로 바꿨다
- 버그나 리뷰 코멘트로 드러난 '엔지니어만 아는 규칙'을 작은 파이썬 체크로 만들었다.
- 체크는 모든 커밋·PR에서 돌고, 실패 시 빌드를 깨며 고치는 방법을 출력한다.
- 에이전트가 이 체크에 걸려 스스로 코드를 고친다.
- 규칙은 0개에서 21개가 됐다.
- 저위험 변경은 사람 없이 머지한다
- 테스트·자동 검사·AI 리뷰를 통과한 저위험 변경은 자동 머지된다.
- 전체 변경의 최대 3분의 1이 사람 개입 없이 머지된다.
- 공짜는 아니었다
- 여름 내내 테스트와 툴링에 엔지니어링 노력이 많이 들어갔다.
- 그동안 엔지니어당 월 고객 대상 변경은 17~30건에 머물렀다.
- 9월에 45건으로 뛰었고 10월은 48건 페이스다.
- 새 병목은 '무엇을 만들지'다
- 10일짜리 기능(기획 3·구현 6·리뷰 1)에서 구현만 3.5배 빨라지면 전체는 1.75배만 빨라진다.
- 기획·리뷰 비중은 40%에서 70%로 커진다.
- 그래서 엔지니어가 기획·실행·리뷰를 더 직접 소유하게 하는 쪽에 베팅했다.
Community Reactions
- 머지 수 지표는 맞지 않는다는 의견
- 엔지니어당 출하량을 기준으로 삼으면 과하게 설계되고 부풀려진 코드를 만들 유인이 생긴다는 의견이 있었다.
- 매출·NPS·고객 만족 같은 비즈니스 지표가 없다는 지적도 여러 개 있었다.
- 직접 써 보니 리뷰 없이 못 내보낸다는 경험
- Claude가 쓴 에러 메시지에 불필요한 기술 세부가 들어 있고 해결 방법은 빠져 있었다는 경험이 있었다.
- 범위를 넘어 공개 API까지 바꾼 코드를 거의 다시 짜야 했다는 경험도 있었다.
- 레거시 조직은 도입 비용이 크다는 경험
- 대규모 레거시와 결함 무관용 시스템에서 에이전트 코딩을 켜는 데 큰 노력이 든다는 경험이 올라왔다.
- 그린필드 바이브 코딩과는 격차가 크다는 의견이었다.
- AI 네이티브 조직에서 통한 것들이라는 경험
- 엔지니어에게 소유권과 제품 결정권을 주는 것이 효과적이었다는 경험이 있었다.
- 리뷰는 팀 전체가 코드베이스 감각을 공유하는 수단이라 여전히 중요하다는 의견이었다.
- 한 번에 27개 파일을 건드리는 변경은 기술 부채 신호로 봐야 한다는 의견이었다.
How to Apply
- 최근 머지 PR 10개에서 반복 지적 뽑기
- 오늘 30분 안에 최근 PR의 리뷰 코멘트를 훑어 사람만 아는 규칙을 3개 골라라.
- 각각 기계로 검사 가능한 규칙인지 적어라.
- 암묵지 규칙을 파이썬 체크로 만들기
- 고른 규칙을 커밋·PR마다 도는 작은 스크립트로 만들어라.
- 실패 시 빌드를 깨고, 메시지에 고치는 방법을 출력하게 하라.
- 에이전트가 이 출력으로 스스로 수정하게 하라.
- CI를 변경 영향 범위 테스트로 줄이기
- 테스트를 병렬화하고 변경과 관련된 테스트만 돌리게 구성하라.
- 에이전트가 PR을 많이 올려도 CI 시간이 늘지 않는지 확인하라.
- 단계별 소요 시간 재서 병목 찾기
- 기획·구현·리뷰·CI 각 단계의 소요 시간을 한 기능 기준으로 적어라.
- 구현이 빨라진 뒤 가장 긴 단계를 다음 개선 대상으로 정하라.
Try It
# Claude 또는 ChatGPT에 붙여넣기 (원문의 '규칙 → 자동 체크' 방법을 프롬프트로 옮긴 것)
아래는 우리 팀 PR에서 반복된 리뷰 코멘트다.
{{리뷰 코멘트 목록}}
이 중 코드만 보고 기계적으로 검사할 수 있는 규칙을 골라라.
각 규칙마다 다음을 만들어라.
1. 모든 커밋과 PR에서 돌릴 수 있는 짧은 파이썬 체크 스크립트
2. 위반 시 종료 코드를 실패로 반환해 빌드를 깨는 동작
3. 위반 시 고치는 방법을 출력하는 메시지
이어서 해 볼 것: 만든 체크를 CI에 붙이고, 코딩 에이전트에게 체크가 실패하면 출력된 방법대로 스스로 고치게 시켜 보라.Terminology
관련 논문
AI가 SRE를 대체하는 게 아니라 실력을 깎아먹는다
인시던트 95%를 AI에 맡기자 나머지 5%를 다룰 SRE의 실력이 녹슬 수 있다
Cursor Marketplace의 Claude Code 확장에 심어진 SSH 백도어
Cursor Marketplace의 변조된 Claude Code 확장이 SSH 백도어를 심었다
Minecraft·Mindustry에서 AI 에이전트 군집 50마리를 돌려 봤다
에이전트 50개를 Minecraft에 풀었더니 배급 장부와 관료제가 생겼다
Cursor Agent SDK 출시: 에이전트를 코드로 정의하고 한 줄로 배포
Cursor가 에이전트를 코드로 정의·배포하는 Agent SDK를 정식 공개했다
에이전트가 코드를 짜는 시대, 엔지니어가 여전히 알아야 할 것: 기초·폭넓은 지식·필요할 때 깊이 파기
에이전트가 짠 코드의 오너십은 기초, 폭넓은 지식, 즉시 깊이 파는 능력에 달렸다
AI가 일을 줄여준다더니, 이렇게 많이 일한 적이 없다
에이전트를 병렬로 돌렸더니 GitHub 활동이 엔지니어 시절 수준으로 돌아왔다
Corgi: 사람과 에이전트를 위한 터미널 멀티플렉서
여러 AI 에이전트의 상태를 한눈에 보는 tmux류 터미널 도구
모델이 그렇게 좋다면 OpenAI는 왜 회사 100개를 직접 안 차릴까
HN 댓글 답: 코드는 쉬워도 뭘 만들지 아는 건 별개라 토큰을 판다