AISLE, OpenAI·Anthropic이 0건이라던 curl에서 CVE 6개 발견

Who Should Read

AI 코드 보안 스캐너 도입을 저울질하는 보안·백엔드 개발자

Core Mechanics

• curl에서 프론티어 도구는 0건이었다
  • 2026년 8월 24일 Daniel Stenberg는 Mythos가 더 못 찾겠다고 했고 Codex Security는 빈 목록이라고 썼다.
  • 이때 curl의 CVE 대기 건수는 3개였다.
• AISLE은 29건을 보고했다
  • Stenberg는 다음 날 "Mythos: 0 Aisle: 29"라고 올렸다.
  • 29건 중 6건이 며칠 안에 검토되어 공개 CVE가 됐다.
• CVE 6개는 전부 Low 등급이다
  • OpenSSL provider use-after-free, OpenSSL pinning bypass, native CA store 연결 재사용이 포함된다.
  • secure 속성 우회(tab), wolfSSL CA 캐시 콜백 문제, 도메인 범위 public-suffix 쿠키 문제도 있다.
  • 전부 curl 8.22.0에서 고쳐졌고 Stanislav Fort가 제보자로 명시됐다.
• 벤치마크가 아닌 실제 프로덕션 코드였다
• CTF나 정답이 알려진 벤치마크가 아니라 현재 프로덕션 코드를 분석했다.
  • 진짜 취약점인지, CVE 감일지는 curl 메인테이너가 판단했다.
• 결과 후 CVE 대기 건수가 3개에서 10개로 늘었다
  • 8월 28일 기준으로 10개 중 6개가 AISLE 제보였다.

Community Reactions

• 기술 설명이 없는 콘텐츠 마케팅이라는 의견
  • 어떻게 했는지 없이 "우리는 했고 Mythos와 Codex는 못 했다"뿐이라는 지적이다.
  • 내부 모델이 무엇인지 안 밝혔고 Anthropic·OpenAI 모델일 수도 있다는 의견도 있다.
• 모델과 특화 harness는 비교 대상이 아니라는 의견
  • 기본 모델 대 "기본 모델+harness" 비교라서 당연한 결과라는 반응이다.
• 비교 조건이 공정하지 않다는 의견
  • 29건 중 6건만 CVE였고 모두 Low여서 오탐이 많은 튜닝일 수 있다는 의문이 나왔다.
  • OpenAI·Anthropic이 이미 curl을 오래 분석해 쉬운 건 고쳐졌으니 2023년 릴리스로 비교하자는 제안이 있었다.
• AISLE 보고서를 받아 본 메인테이너의 경험
  • libnbd 쪽에서 AISLE 보고서의 신호 대 잡음비가 꽤 좋았다는 경험이다.
  • 취약점 두 개를 연쇄로 엮어 찾았고 패치 제안도 꽤 합리적이었다고 한다.

How to Apply

• 내 레포에서 AI 스캐너 결과 비교 실험하기
  • 오늘 쓰는 코딩 에이전트에 보안 리뷰 프롬프트를 붙여 모듈 하나를 돌려 보라.
  • 나온 지적 중 재현되는 것과 오탐을 직접 세어 비율을 기록하라.
• 보고 건수 대신 채택률로 도구 평가하기
  • 도구 도입 전 후보 도구를 같은 코드에 돌려라.
  • 보고 수보다 메인테이너가 받아들인 건수와 심각도를 비교하라.
• 스캐너 지적마다 재현 절차를 요구하기
  • 지적마다 재현 방법과 영향 범위를 쓰도록 프롬프트에 강제하라.
  • 재현이 안 되면 리뷰 큐에서 제외하라.

Try It

# Claude Code 또는 ChatGPT에 붙여넣기 (원문 방법의 간이 버전: AISLE의 시스템은 비공개라 프롬프트로 흉내만 낸다)

당신은 보안 코드 리뷰어입니다. 아래 코드에서 메모리 안전성, 인증서·핀닝 검증, 쿠키·헤더 처리, 연결 재사용 관련 취약점만 찾으세요.

{{코드 또는 파일 경로}}

각 지적마다 다음을 쓰세요: 1) 위치, 2) 취약해지는 조건(설정·입력), 3) 재현 절차, 4) 예상 심각도(Low/Medium/High)와 근거, 5) 패치 제안. 재현 절차를 쓸 수 없으면 목록에서 빼세요.

이어서 해 볼 것: 지적 중 하나를 골라 실제로 재현해 보고, 오탐 비율을 기록하세요.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://aisle.com/blog/aisle-discovered-six-curl-cves-after-openai-and-anthropic-found-zero
• https://gitlab.com/nbdkit/libnbd/-/commit/e50bbd2681117c2dd8