Cloudflare가 AI로 엔지니어링 표준을 강제하는 방법

Who Should Read

사내 코딩·설계 표준이 문서로만 존재해 코드 리뷰에서 일관되게 지켜지지 않아 고민인 플랫폼·백엔드 개발자

Core Mechanics

• 표준을 한 곳에 모은 Codex를 만들었다
  • 문서·저장소 파일·채팅·개인 지식에 흩어져 있던 가이드를 사람과 에이전트가 함께 쓰는 하나의 표준 모음으로 다시 만들었다.
  • 도메인별 오너가 내용과 품질을 책임진다.
• 표준은 RFC 형식, MUST/SHOULD로 쓴다
  • RFC 2119의 SHOULD·MUST 키워드로 요구사항을 적고, front matter에 도메인과 RFC 상태를 넣는다.
  • 누구나 머지 리퀘스트로 제안하고, 여러 차례 리뷰 후 도메인 오너가 승인한다.
• approved와 enforced를 분리했다
  • approved RFC는 차단하지 않는 권고성 지적만 낸다.
  • enforced로 승격된 RFC의 MUST 위반만 머지를 막는다.
  • 팀이 새 요구사항에 적응할 시간을 주려는 단계다.
• RFC 통째가 아니라 JSON으로 압축해 먹인다
  • 60개가 넘는 RFC를 그대로 넣으면 컨텍스트 윈도우에 부담이 가서 결과가 나빠진다고 한다.
  • 전용 에이전트가 SHOULD·MUST 문장만 뽑아 slug, 레벨, 섹션, 링크가 담긴 JSON으로 만든다.
  • 처음엔 Markdown이었지만 필터링 정확도를 위해 JSON으로 옮겼다.
• AI 코드 리뷰어 수치

Community Reactions

• AI 시스템 글치고 내용이 평범하다는 의견
  • 코드 리뷰 규칙을 린터 규칙처럼 정의해 AI가 리뷰하게 했다는 한 줄이면 충분하고 9분짜리 글은 필요 없다는 반응이 있었다.
• 리뷰어 자체를 개선하는 루프가 빠졌다는 의견
  • 비슷한 시스템을 직접 만들어 본 댓글 작성자는 Codex(표준)는 개선하지만 리뷰어 모델은 개선하지 않는다고 지적했다.
  • 그 루프를 닫아야 한다고 주장했다.
• 기업은 직접 AI 리뷰를 만들려 한다는 경험
• W24 창업자라는 댓글 작성자는 같은 이유로 AI 코드 리뷰 사업에서 피벗했다고 했다.
  • 방향은 맞다고 평가했다.
• 모든 코딩 표준을 RFC로 써야 하냐는 우려
  • 부담스럽다는 반응과 SRE 관점에서는 좋은 일이라는 반응이 함께 있었다.

How to Apply

• 팀 규칙 5개를 MUST/SHOULD JSON으로 만들기
  • 오늘 코드리뷰 코멘트에서 자주 나오는 규칙 5개를 골라라.
  • slug, level, text 필드의 JSON으로 정리해라.
  • 아래 프롬프트에 붙여 PR diff를 검토시켜라.
• 표준에 approved/enforced 단계 두기
  • 새 규칙은 먼저 권고성 코멘트만 달게 해라.
  • 팀이 적응한 뒤 MUST 위반만 머지를 막도록 승격해라.
• 기계로 검증 가능한 규칙은 린터로 내리기
  • AI 리뷰에서 반복 지적되는 규칙 중 정적 분석으로 잡히는 것을 골라라.
  • 린터 설정으로 옮겨 밀리초 단위 피드백을 받아라.
• 설계 문서에도 같은 규칙 적용하기
  • 구현 전 스펙 문서를 같은 JSON 규칙으로 평가하게 해라.
  • 심각도는 MUST/SHOULD에 따라 critical/major/minor로 나눠라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (Cloudflare Codex 방식의 간이 버전)

너는 코드 리뷰어다. 아래 표준 JSON과 diff를 비교해 위반만 찾아라.

[표준]
{"statements":[
{"slug":"api-schemas-must-be-documented-in-openapi-spec","level":"MUST","text":"API 요청/응답 스키마는 OpenAPI로 문서화해야 한다"},
{"slug":"{{규칙slug}}","level":"SHOULD","text":"{{우리 팀 규칙}}"}
]}

[diff]
{{PR diff}}

규칙:
- 위반마다 slug, level, 근거 코드 위치, 수정 제안을 쓴다.
- SHOULD 위반은 non-blocking 권고로, MUST 위반은 blocking으로 표시한다.
- 위반이 없으면 "위반 없음"이라고만 답한다.

이어서 해 볼 것: 규칙을 20개로 늘리고 어떤 규칙이 가장 자주 걸리는지 세어 보라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://blog.cloudflare.com/engineering-standards-enforcement/
• https://textslashplain.com/2026/08/04/security-is-hard-yall/
• https://arxiv.org/pdf/2607.17044