AI가 웹을 먹으면서 인터넷의 집단 기억이 사라지고 있다

Who Should Read

AI 검색 요약이나 웹 데이터를 RAG의 근거 출처로 쓰는 백엔드 개발자

Core Mechanics

• AI 요약이 해 지는 시간을 틀렸다
  • Google의 새 AI 요약이 일몰 시각을 지어냈고, 콜로라도스프링스의 한 사용자는 해가 이미 졌다는 답을 받았다.
  • 필자는 이 사례로 검색이 기본적인 사실에도 흔들린다고 말한다.
• AI가 원문 앞을 가로막는다
  • 필자는 오류가 있는 AI가 사용자와 원문 사이에 끼면 페이지가 있어도 사실상 찾을 수 없게 된다고 본다.
  • 404 Media 보도에 따르면 AI 검색 답변을 바꾸려고 Reddit에 콘텐츠를 심는 회사들이 있다.
• FiveThirtyEight 아카이브가 통째로 삭제됐다
  • 소유주 Disney는 2025년 3월 직원 해고 뒤 사이트를 더 이상 활성 자산으로 보지 않았다.
  • 그 뒤 전체 아카이브를 삭제했다.
• Wikipedia도 트래픽 감소로 흔들린다
  • AI 시스템이 Wikipedia 콘텐츠를 직접 긁어 결과에 보여 주면 사용자가 클릭하지 않는다.
  • 트래픽이 줄면 관심과 기부도 Wikipedia로 돌아오지 않는다.
• Wayback Machine의 보존 범위가 줄어든다
  • 출판사들이 Internet Archive의 디지털 대출 프로그램 소송에서 이겼다.
  • 이후 언론사들이 AI 회사의 간접 자료원이 될까 봐 Wayback Machine 크롤러를 막기 시작했다.

Community Reactions

• 문서와 레퍼런스를 못 찾는다는 경험
  • 파이썬 스크립트를 짜다 라이브러리 API 문서를 찾기 어려워 AI에게 묻게 됐다는 댓글이 있었다.
  • 이 댓글은 문서가 사실상 사라졌다고 말한다.
• AI 요약이 다른 AI의 환각을 인용한다는 경험
  • Claude에게 로마 역사를 물었더니 사실과 다른 내용을 말했다는 댓글이 있었다.
  • 따져 물으니 AI 생성 요약으로 표시된 Britannica 페이지를 출처로 들었고, 이후 그 내용이 역사적으로 뒷받침되지 않는다고 인정했다는 경험이다.
• AI 요약은 나쁘고 AI mode는 낫다는 의견
  • 검색 요약은 질문을 자주 오해하고 결과를 아래로 밀어낸다는 댓글이 있었다.
  • AI mode로 바꾸면 결과가 훨씬 낫다는 의견이다.
• 오히려 유용해졌다는 반론
  • 한 댓글은 AI mode 덕에 Google 검색이 몇 년 만에 가장 쓸 만하다고 했다.
  • 대신 AI의 오류 가능성을 알고 써야 한다는 조건을 달았다.

How to Apply

• RAG 출처에 AI 생성 표시 필터 넣기
  • 오늘 RAG 소스 목록에서 AI 요약 페이지와 출처가 불분명한 페이지를 따로 표시하라.
  • 답변에 인용되는 문서의 도메인과 수집 날짜를 함께 로그로 남겨라.
• 중요한 원문은 직접 스냅샷 저장하기
  • 답변 근거로 쓰는 외부 문서는 수집할 때 원문 사본을 저장소에 보관하라.
  • 링크가 사라져도 근거를 다시 확인할 수 있게 URL, 수집 시각, 사본 경로를 함께 기록하라.
• AI 요약을 원문 대신 쓰지 않기
  • 사용자에게 보여 주는 답변에는 원문 링크를 같이 붙여라.
  • 사실 확인이 필요한 질문은 요약만 반환하지 말고 원문 확인 단계를 두어라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (원문 취지를 적용한 간이 점검용 프롬프트)

아래는 내 RAG 시스템이 답변 근거로 쓴 문서 목록이다.
{{문서 목록: URL, 제목, 수집 날짜, 발췌}}

각 문서에 대해 다음을 표로 정리해 줘.
1. AI가 생성하거나 요약한 페이지일 가능성을 보여 주는 단서가 목록에 있는가
2. 원문 출처가 분명한가
3. 수집 날짜가 오래돼 링크가 사라졌을 위험이 있는가
목록에 없는 내용은 추측하지 말고 '알 수 없음'이라고 써 줘.

마지막으로, 사본을 저장해 두어야 할 문서 우선순위를 정해 줘.

Terminology

관련 논문

• 트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다

  선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상

• 400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다

  임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴

• EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델

  740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색

• RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격

  검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다

• 텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교

  문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다

• MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서

  NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다

• 임베딩의 보편적 기하 구조 활용: 짝 데이터 없이 임베딩 공간 간 변환

  짝 데이터 없이 임베딩을 다른 모델 공간으로 옮겼고, 벡터 DB 보안 위험이 드러났다

Related Resources

• https://thewalrus.ca/google-search-is-dying/
• https://nwu.org/nwu-denounces-cdl/
• https://github.com/cookiengineer/gozim
• https://github.com/cookiengineer/zimdex