AI 기업의 실물 도서 파괴, 희귀본은 먼저 스캔해야 할까
AI companies destroy physical books – let's scan rare books before it's too late
TL;DR Highlight
AI 기업의 도서 스캔 후 폐기 논란, 댓글은 비용과 저작권 문제로 갈렸다
Who Should Read
LLM 학습 데이터의 출처와 저작권 이슈가 궁금한 AI 서비스 개발자
Core Mechanics
- 원문은 제공되지 않았다
- 이 글은 원문 본문 없이 댓글만 주어져 원문의 주장은 확인할 수 없다
- 원문 사실은 쓰지 않는다
- 댓글에 인용된 첫 문단 내용
- 여러 AI 기업이 중고책을 중개인을 통해 대량 구입해 스캔하고 폐기한다는 내용이다
- 목적은 2022년 이전의 "기계 손이 닿지 않은" 학습 데이터 확보라고 인용돼 있다
Community Reactions
- 스캔 폐기는 비용 문제라는 의견
- 비파괴 스캔은 최대 10배 비쌀 수 있다는 의견이 있었다
- 구글은 스캔한 책을 파기하지 않았다는 지적도 나왔다
- 희귀본만 따로 보존하자는 의견
- 사본이 수천 권인 책은 잘라 스캔해도 된다는 주장이 있었다
- 유일본·한정본은 비파괴 스캔하자는 제안이었다
- 저작권 탓이라는 반론
- 저작권자가 재출간도 공개도 안 해서 AI 기업이 책을 파쇄한다는 의견이 있었다
- 스캔본을 공개하지 못하는 것도 저작권 때문이라는 의견이 있었다
- 과장이라는 의견도 있었다
- 대부분 전문서이고 이미 서가에서 먼지만 쌓인 책이라는 의견이 있었다
- 다만 스캔본이 한 기업 서버에만 남는 점은 문제라고 했다
How to Apply
- 우리 학습·RAG 데이터 출처 목록 만들기
- 오늘 코퍼스 폴더를 열어 문서별 출처와 라이선스를 표로 정리하라
- 출처 불명 문서에 표시를 달아라
- 출처 불명 데이터는 RAG에서 분리하기
- 메타데이터에 license 필드를 추가하라
- 검색 시 라이선스 불명 문서를 제외하는 필터를 걸어라
Terminology
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다