AI 기업들이 희귀 도서를 잘라 스캔하고 파기한다
AI companies are shredding rare books
TL;DR Highlight
AI 기업이 책을 대량 구매해 스캔 후 파기, 판사는 fair use 판결
Who Should Read
LLM 학습 데이터의 출처와 저작권 리스크가 궁금한 LLM API·파인튜닝 담당 개발자
Core Mechanics
- 책을 잘라 스캔하고 원본은 파기한다
- AI 기업이 희귀 도서를 대량 구매해 고속 기계로 책등을 잘라 스캔한다.
- 스캔이 끝난 원본은 파쇄한다.
- ISBNdb가 최대 100만 권 주문을 중개한다
- 이 서비스는 구매자를 익명으로 유지해 준다.
- 원문은 NDA를 기능으로 제공하고 고객에게 "digital preservation"이라 부르라고 코칭한다고 주장한다.
- 2022년 이전 책이 프리미엄이다
- AI가 생성한 텍스트가 섞이지 않은 책이라는 이유다.
- 학습 데이터 오염을 피하려는 수요로 읽힌다고 원문이 말한다.
- 판사는 fair use라고 판결했다
- 원본을 없애 한 시점에 사본이 하나만 존재하게 된다는 점이 근거로 소개된다.
- 작성자는 이 판결 때문에 관행이 더 빨라질 것이라고 본다.
- Anthropic이 Google Books 출신을 영입했다
- 구글 북스 제휴 총괄이었던 인물을 채용했다고 한다.
- 목표는 "all the books in the world"를 확보하는 것이라고 쓰여 있다.
Community Reactions
- 책이 정말 희귀한지 의문이라는 의견
- 대상은 저작권이 남은 비교적 최근 책이지 중세 필사본이 아니라는 댓글이 있었다.
- 희귀 도서가 파기됐다는 증거나 책 제목을 묻는 댓글도 여럿 있었다.
- 합법적 절차일 뿐이라는 반응
- 미국 저작권법이 이런 결과를 낳았고 판사는 법대로 판단했다는 의견이 있었다.
- 소유한 책 스캔에 파기를 요구하지 않도록 법을 바꿔야 한다는 의견도 있었다.
- 비용 구조를 지적한 경험담
- 5달러에 헌책을 사서 25달러에 파괴 스캔하는 쪽이 라이선스 비용보다 싸다는 의견이 있었다.
- 도서관도 수요 없는 오래된 책을 폐기하며 그래서 스캔 업체가 싸게 구한다는 설명이다.
- 재인쇄 업체의 운영 사례
- 한 댓글 작성자는 재인쇄 업체에서 책등을 절단해 스캔한다고 밝혔다.
- 절단한 낱장은 밀봉해 보관하고 원본 스캔은 자기 디스크에 두며, AI 기업이 학습을 요청한 적은 없다고 했다.
How to Apply
- 학습·RAG 데이터 출처 목록 만들기
- 오늘 쓰는 코퍼스마다 출처와 라이선스 근거를 표로 정리하라.
- 출처를 모르는 항목에는 표시를 붙여라.
- 도서 기반 데이터셋의 법적 근거 확인하기
- 책이 포함된 데이터를 쓴다면 취득 방식과 계약 조건을 공급자에게 서면으로 물어라.
- 익명·NDA 조건의 공급자라면 사내 법무와 먼저 상의하라.
- 2022년 이전 데이터 분리 태깅하기
- 자체 데이터에 수집 시점 메타데이터를 붙여라.
- AI 생성 텍스트 혼입을 줄여야 하는 평가셋에는 2022년 이전 자료를 따로 두라.
Terminology
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다