MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서

TL;DR Highlight

NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다

Who Should Read

LLM이 학습·검색한 콘텐츠의 저작권 리스크가 걱정되는 LLM API·RAG 서비스 백엔드 개발자

Core Mechanics

MS 임원이 스크래핑을 '도둑질'이라 했다
- 2023년 1월 내부 메모에서 MS의 Brent Hecht가 '인류 역사상 최대의 노동 도둑질'이라고 썼다고 소송 서류가 인용한다.
- 이 내용은 NYT 측 브리프에서 나온 것이고 원본 증거물은 아직 봉인 상태다.
Copilot이 NYT 클릭률을 최대 93% 깎았다
- MS 자체 데이터상 Copilot 답변 엔진 이후 NYT 도메인 클릭률이 기존 Bing 검색 대비 최대 93% 떨어졌다.
- 2024년 1월 MS 내부 자료는 이를 모델과 웹 전체를 해치는 'doom loop'라고 불렀다.
페이월 우회와 저작권 표기 제거 정황
- OpenAI 직원들이 NYT 페이월을 우회하는 '핵'을 논의했고 Brockman이 '오 좋네'라고 답했다고 주장한다.
- 학습 데이터에서 저작권 고지를 일부러 지웠다는 내용도 있다. 모델이 그런 고지를 출력하길 원치 않았다는 이유다.
학습 데이터 규모가 처음 공개됐다
- OpenAI mid-training 데이터셋에만 NYT·Daily News·CIR 저작물 사본이 91,692건 넘게 들어 있다.
- Common Crawl 기반 데이터셋에는 nytimes.com 문서만 200만 건 넘게 있었다.
- Project Mango 데이터에는 뉴스 매체의 고유 저작물이 최소 160,903건 담겼다고 한다.
fair use 방어 논리와 충돌하는 발언들

Community Reactions

'사람이 책 읽고 배우는 건 합법'은 규모가 다르다는 의견
- 무한 복제 가능한 존재는 개인 학습자와 달리 원본 수요의 대부분을 대체한다는 주장이다.
- 학습에 라이선스를 요구하면 창작자가 가격을 정하는 시장이 생긴다는 의견도 있었다.
LLM은 압축기가 아니라 읽고 배우는 쪽이라는 반론
- 정보 이론상 모델 크기로는 원문을 통째로 저장할 수 없다는 주장이다.
- 배우는 것과 그대로 반복 출력하는 것은 구분해야 한다는 의견이다.
코드 학습의 카피레프트 우회 우려
- LLM이 GitHub의 오픈소스 해법을 얼마나 그대로 가져오는지, 카피레프트 라이선스를 우회하는 것이 최대 상업 이점인지 묻는 댓글이 있었다.
- Linux 커널 개발 비용이 14억 달러로 추정된 연구를 근거로 들었다.
크롤링 빈도에 대한 현장 불만
- 블로그가 두세 달에 한 번 바뀌는데 몇 분마다 긁어 간다는 경험담이 있었다.
- 결국 대형 합의로 끝나고 선의로 공개한 사람들은 빠질 것이라는 비관적 의견도 있었다.

How to Apply

RAG 소스별 라이선스 목록 만들기
- 오늘 RAG 인덱스에 들어간 문서 출처를 도메인별로 뽑아 스프레드시트에 적어라.
- 페이월·유료 콘텐츠 출처에는 '라이선스 확인 필요' 표시를 붙여라.
페이월·robots 제한 콘텐츠 크롤링 막기
- 크롤러 설정에서 페이월 도메인과 robots.txt 거부 경로를 제외 목록에 넣어라.
- 우회 로직이 있으면 제거하고 코드 리뷰에서 확인하라.
원문 인용 시 출처 링크 붙이기
- 답변에 외부 기사 내용을 쓸 때 출처 URL을 함께 반환하도록 응답 스키마에 필드를 추가하라.
- 전문 복사 대신 요약과 링크만 내보내도록 프롬프트에 규칙을 넣어라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전이 아닌, 기사 내용을 바탕으로 한 점검용 프롬프트)

나는 LLM 기반 서비스를 운영하는 개발자다. 아래는 우리 RAG 인덱스의 출처 목록이다.
{{출처 도메인 목록}}

각 출처에 대해 다음을 표로 정리해라.
1. 페이월 또는 유료 콘텐츠일 가능성이 있는가
2. 검색 근거(grounding)로 쓰려면 어떤 종류의 라이선스 확인이 필요한가
3. 답변에 원문을 그대로 인용하지 않고 요약과 링크만 내보내려면 어떤 규칙이 필요한가

확실하지 않은 항목은 추측하지 말고 '확인 필요'라고 써라.

이어서 해 볼 것: 표에서 '확인 필요'가 많은 출처부터 법무팀이나 해당 매체 약관을 확인해 보라.

Terminology

fair use허락 없이 저작물을 써도 되는 예외 규칙이다. 패러디·보도·비평 등이 해당하며, 원저작물 시장을 해치지 않아야 한다는 요건이 있다.

Common Crawl웹 페이지를 대규모로 긁어 모아 무료로 공개한 저장소다. 많은 LLM 학습 데이터의 원재료로 쓰인다.

groundingLLM이 답할 때 외부 문서를 근거로 삼게 하는 방식이다. RAG가 대표적이다.

doom loopAI가 콘텐츠 제작자의 수익을 깎고, 그 결과 좋은 콘텐츠가 줄어 AI 품질도 떨어지는 악순환을 MS 내부 자료가 부른 말이다.