Chrome 보안 버그, AI로 찾고 분류하고 고쳤더니 2개 마일스톤에 1072개

Who Should Read

에이전트로 코드 분석·자동 수정 파이프라인을 만들려는 백엔드·보안 개발자

Core Mechanics

• Chrome 149·150에서 보안 버그 1072개 수정
  • 이전 23개 마일스톤 전체 수정 수를 넘어섰다.
  • 원문이 센 단위는 월이 아니라 마일스톤(릴리스 단위)이다.
  • 대상은 일반 버그가 아니라 보안 버그다.
• 찾기 에이전트에 지식베이스를 붙였다
  • 과거 CVE 전체와 Chrome의 Git 히스토리를 넣어 모델의 학습 데이터 밖 추론을 돕는다.
  • 오픈 웨이트 모델과 상용 모델을 함께 쓸 수 있게 했다.
  • 모델이 매번 다른 결과를 내므로 코드베이스를 여러 번 돌린다.
• SECURITY.md와 critic 에이전트 조합
  • 개발자가 SECURITY.md로 신뢰 경계(trust boundary)와 위협 모델을 적어 둔다.
  • 별도 컨텍스트의 critic 에이전트가 이 파일을 읽고 결과를 검토한다.
• 트리아지(분류)를 4단계로 자동화
  • 스팸·중복 걸러내기, 재현, 메타데이터 보강, 담당자 자동 배정 순서다.
  • 예전엔 보고서 1건에 5~30분 이상 걸렸고, 원문은 월 수백 시간 절감으로 추산한다.
• 수정도 멀티 에이전트 루프

Community Reactions

• 제목이 부정확하다는 지적
  • 숫자는 월이 아니라 마일스톤 기준이고 보안 버그만 다룬다는 의견이 여럿이었다.
  • 최신 마일스톤 하나가 이전 2년치를 넘은 것도 아니라는 의견이다.
• 검증 지표가 없다는 반론
  • 자동 수정 중 되돌려진 것, 새 버그를 만든 것, 탐지 에이전트의 오탐률이 글에 없다는 의견이 있었다.
  • AI가 만든 버그를 AI가 고친 것 아니냐는 의견도 있었다.
• LLM을 '비싼 지능형 린터'로 썼다는 경험
  • 직장에서 LLM 린팅으로 오래된 핵심 코드의 찾기 어려운 버그를 잡았다는 경험이 있었다.
  • 반면 범용 LLM 코드 리뷰는 대부분 노이즈라 다들 무시한다고 했다.
• 성능 최적화에는 쓸모가 약했다는 경험
  • AI가 짚은 SQL 의심 부분은 비교 테스트에서 성능 변화가 거의 없었다는 경험이 있었다.
  • 이미 정한 수정을 실제로 적용하는 데는 도움이 됐다고 한다.

How to Apply

• 레포에 SECURITY.md 작성하기
  • 오늘 30분 안에 신뢰 경계, 외부 입력 진입점, 권한 높은 모듈을 적는다.
  • 이 파일을 LLM 코드 리뷰나 보안 점검 프롬프트의 컨텍스트로 넣는다.
• 탐지와 검토 에이전트를 분리하기
  • 취약점을 찾는 에이전트와 결과를 검증하는 critic을 별도 컨텍스트로 돌린다.
  • critic에게만 SECURITY.md를 읽게 해 오탐을 걸러낸다.
• 같은 코드를 여러 번 스캔하기
  • 모델 비결정성을 고려해 같은 디렉터리를 여러 번 돌리고 결과를 합친다.
  • 에이전트는 인터넷 차단, 허용 목록, 지정 디렉터리 읽기 전용으로 제한한다.
• PR 단계에 diff 스캔 붙이기
  • CI에서 변경분(diff)만 LLM에 보내 댕글링 포인터·숫자 오버플로 같은 위험 패턴을 표시하게 한다.
  • 결과는 자동 수정하지 말고 사람이 보는 코멘트로 남긴다.

Try It

# Claude 또는 ChatGPT에 붙여넣기 (Chrome 글의 SECURITY.md + critic 방식 간이 버전)

[역할] 너는 보안 취약점 탐지 에이전트다.
[SECURITY.md]
{{SECURITY.md 내용}}
[코드]
{{점검할 코드}}

위 신뢰 경계를 기준으로 취약점 후보를 찾아라. 각 후보마다 파일·함수, 공격 시나리오, 근거 코드 줄을 적어라.

---
(새 대화에서) 너는 critic이다. 아래 SECURITY.md와 후보 목록만 보고 각 후보가 실제 취약점인지 판정하라. 오탐이면 이유를 한 줄로 적어라.
[SECURITY.md]
{{SECURITY.md 내용}}
[후보]
{{위 결과}}

이어서 해 볼 것: 같은 코드를 3번 돌려 결과가 겹치는지 비교해 보자.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://blog.google/security/chrome-stronger-with-every-update/