Microsoft의 Claude Code·Copilot CLI 도입 연구: 도입자는 PR 24% 더 머지

Who Should Read

팀에 Claude Code나 Copilot CLI 같은 CLI 코딩 에이전트를 도입하고 효과와 비용을 따져야 하는 엔지니어링 리드

Core Mechanics

• 첫 사용은 사람 사이로 퍼졌다
  • 첫 사용은 주로 소셜 네트워크를 통해 퍼졌다.
  • 그래서 동료가 쓰는 모습이 눈에 보이는 것이 도입 전략의 핵심이라고 한다.
• 계속 쓰는 사람은 코딩량이 좌우했다
  • 사용 지속은 인구통계보다 엔지니어의 코딩 활동과 더 관련이 있었다.
  • CLI 에이전트는 모두에게 고르게 퍼지지 않았다.
• 도입자는 머지 PR이 약 24% 늘었다
  • 도입하지 않았을 경우를 가정한 값과 비교해 머지된 PR이 약 24% 더 많았다.
  • 이 증가는 4개월 관찰 기간 내내 유지됐다.
• 대상은 Microsoft 엔지니어 수만 명이다
  • 2026년 초 Claude Code와 GitHub Copilot CLI 도입 과정을 연구했다.
  • 단순한 신기함 효과만은 아니라는 결론이다.
• PR 수는 산출물의 대용품일 뿐이다
  • 저자들이 머지된 PR이 실제 가치와 같지 않다고 직접 밝혔다.
  • 토큰 비용은 조직 규모에서 연간 수백만 달러가 될 수 있다고 한다.

Community Reactions

• PR 수만으로는 가치를 모른다는 의견
  • 버그, 장애 보고, 출시한 기능, 리뷰어 생산성 같은 지표가 없다는 비판이 나왔다.
  • 리뷰어 부담이 같이 늘면 회계 트릭일 뿐이라는 의견이다.
• 개인 생산성만 봤다는 지적
  • 조직 차원의 성과는 다루지 않았고 늘어난 PR이 더 가치 있었는지 데이터가 없다는 댓글이 있었다.
  • 매출, 전환율 같은 지표를 봤으면 좋았겠다는 의견도 있었다.
• 생산성 측정은 원래 어렵다는 맥락
  • 1980~90년대에는 컴퓨터 도입 때도 연구상 생산성 향상이 안 보였다는 경험담이 나왔다.
  • 일화와 데이터가 어긋나면 측정이 틀렸을 수 있다는 Bezos 인용이 따라붙었다.
• 토큰 비용이 크다는 의견
  • 한 사용자가 2810억 토큰을 썼다는 글을 인용해 Opus 4.6 최저가 기준 140만 달러 이상이라는 계산을 한 댓글이 있었다.

How to Apply

• 우리 팀 PR 수 변화부터 뽑아보기
  • 오늘 git log나 GitHub API로 도입자와 비도입자의 월별 머지 PR 수를 비교하라.
  • PR 크기와 리뷰 시간도 함께 뽑아라.
• PR 수에 품질 지표를 짝지어 보기
  • 머지 PR 수와 함께 롤백 건수, 버그 이슈, 리뷰 소요 시간을 같은 기간으로 추적하라.
  • PR이 늘어도 리뷰어 부담이 늘었는지 확인하라.
• 동료 사용을 눈에 보이게 만들기
  • 에이전트로 작업한 사례를 팀 채널이나 데모 시간에 공유하게 하라.
  • 첫 사용이 소셜 네트워크로 퍼졌다는 결과에 맞춘 방법이다.
• 토큰 사용량을 사용자별로 집계하기
  • 도입 초기부터 사용자별 토큰 비용 대시보드를 만들어라.
  • 비용 대비 산출물을 같은 표에서 비교하라.

Try It

# Claude Code나 터미널에서 git 저장소 루트에 붙여넣기 (논문 방법의 간이 버전)

#!/bin/bash
# 최근 4개월 월별 머지 PR 수 (GitHub CLI 필요: brew install gh)
for m in 0 1 2 3; do
  s=$(date -d "-$((m+1)) month" +%F)
  e=$(date -d "-$m month" +%F)
  n=$(gh pr list --state merged --search "merged:$s..$e author:{{사용자ID}}" --limit 500 --json number | jq length)
  echo "$s ~ $e: $n"
done

# 도입자 ID와 비도입자 ID로 각각 돌려 월별 추세를 비교해 보기
# 이어서 해 볼 것: 같은 기간 revert 커밋 수도 세어 PR 수와 나란히 놓기

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://arxiv.org/abs/2607.01418