AI 추천의 근거 출처: 사이트 3곳이 만든 21만 개 'best software' 페이지를 Perplexity가 인용한다

Who Should Read

웹 검색 기반(grounded) LLM으로 제품 추천·비교 기능을 만들고 있어 출처 품질이 걱정인 백엔드 개발자

Core Mechanics

• 인용의 60%가 인기 없는 사이트
  • 380개 소프트웨어 카테고리에서 받은 인용 7,534건 중 59.8%가 Tranco 상위 100,000위 밖 도메인이었다.
  • 23.4%는 상위 100만 위에도 없는 도메인이었다.
• Perplexity만 두 모델로 측정했다
  • perplexity/sonar와 sonar-pro를 OpenRouter로 카테고리당 한 번씩, 총 760회 호출했다.
  • 프롬프트는 상위 5개 제품을 공식 홈페이지 도메인과 함께 JSON으로 달라는 것이었다.
• 경쟁도 안 하는 회사 블로그가 3위 출처
  • 인터랙티브 데모 판매사 guideflow.com 블로그가 96개 카테고리에서 194번 인용돼 Gartner보다 앞선 3위였다.
  • 3D 렌더링, IVR, RFID 같은 자기 시장이 아닌 분야까지 근거로 쓰였다.
• 3개 사이트가 21만 5천 개 페이지를 찍어냈다
  • wifitalents.com, worldmetrics.org, gitnux.org의 /best/…-software/ 페이지가 합계 215,128개다.
  • 세 곳은 등록 시기(2023년 12월~2024년 5월), Cloudflare 네임서버, 페이지 템플릿이 같아 한 운영체로 보이지만 소유자는 확인되지 않았다.
• 홈페이지 제목이 'Facts & Grounding Page'
  • worldmetrics.org와 gitnux.org는 사람이 아니라 검색 단계의 소프트웨어를 향해 쓴 제목과 설명을 달고 있다.

Community Reactions

• LLM은 자기가 만든 글을 더 좋아한다는 경험
  • Claude에게 다른 대화에서 만든 코드와 직접 고친 코드 중 뭐가 낫냐고 물으면 항상 자기 쪽을 고른다는 댓글이 있었다.
  • Claude와 Codex 모두 검색 때 생성된 사이트를 자주 끌어오고, OpenAI·Anthropic 검색 도구는 도메인·키워드 제외가 안 된다는 불만도 있었다.
• 에이전트 트레이스에서도 같은 패턴이 보인다는 의견
  • 두 제품을 비교시키면 인용된 비교 페이지 대부분이 비교 대상 회사 자신이 올린 AI 생성 AEO(AI 검색 최적화)용이라는 댓글이 있었다.
  • 모델의 출처 회의가 부족해 지금은 악용 가능하지만 이 틈은 닫힐 것이라는 전망이었다.
• niche SaaS 운영자가 겪은 순위 판매 제안
  • 10년 된 제품인데 LLM 추천에는 안 나오고, 'best software' 사이트들이 순위별 연간 비용을 내라고 제안해 왔다는 경험이 있었다.
• 화이트리스트 검색과 조사 한계를 짚는 의견
  • Wikipedia, Reddit, arXiv 등 믿는 출처만 허용하고 싶은데 Kagi API가 대안이 될지 묻는 댓글이 있었다.
  • 이 글 자체가 AI로 쓴 것 같고 같은 제출자의 사이트들이 수상하다는 반론, Google도 이들을 인용한다는 의견도 있었다.

How to Apply

• 우리 서비스 추천 답변의 인용 도메인 뽑아보기
  • 오늘 대표 질문 20~30개를 돌려 인용 URL을 모아 도메인별로 센다.
  • 상위 10개 도메인 중 비교 대상 벤더 자신이나 처음 보는 사이트가 있는지 확인한다.
• 검색 결과에 도메인 허용·차단 목록 걸기
  • 검색 API 단에서 신뢰하는 도메인만 통과시키는 allowlist나 의심 도메인 blocklist를 둔다.
  • 도구가 도메인 제외를 지원하지 않으면 결과를 받은 뒤 코드에서 걸러낸다.
• 추천 제품 URL 생존·리다이렉트 검사 추가하기
  • 모델이 준 공식 도메인을 응답 전에 HTTP로 요청해 DNS 실패, 404, 다른 도메인 리다이렉트를 걸러낸다.
  • 리다이렉트된 도메인은 사람이 확인할 때까지 노출을 보류한다.
• 프롬프트에 출처 동기 검증 규칙 넣기
  • 비교 질문에서 벤더 자기 글과 서로 순위가 다른 템플릿형 'best' 페이지를 근거에서 제외하도록 지시한다.
  • 답변에는 어떤 유형의 출처를 근거로 썼는지 함께 적게 한다.

Try It

# Claude나 ChatGPT(웹 검색 켠 상태)에 붙여넣기 — 논문 방법의 간이 버전

아래 질문에 대해 웹 검색으로 상위 5개 제품을 JSON으로 추천해줘. 각 제품의 공식 홈페이지 도메인도 넣어줘.
질문: {{카테고리}} 중 가장 좋은 소프트웨어는?

그리고 답변에 쓴 모든 출처 URL을 따로 목록으로 줘. 각 출처를 아래 유형 중 하나로 분류해줘.
1) 독립 리뷰/매체 2) 벤더 자신의 마케팅 블로그 3) 대량 생성된 것으로 보이는 'best list' 페이지 4) 커뮤니티 글 5) 기타

마지막으로 유형 2, 3 출처를 빼고 다시 추천하면 순위가 어떻게 바뀌는지 알려줘.

이어서 해 볼 것: 같은 질문을 'best'를 'most popular'로 바꿔 다시 돌려 출처 구성이 달라지는지 비교해 보자.

Terminology

관련 논문

• 트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다

  선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상

• 400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다

  임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴

• EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델

  740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색

• RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격

  검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다

• 텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교

  문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다

• MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서

  NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다

• 임베딩의 보편적 기하 구조 활용: 짝 데이터 없이 임베딩 공간 간 변환

  짝 데이터 없이 임베딩을 다른 모델 공간으로 옮겼고, 벡터 DB 보안 위험이 드러났다

Related Resources

• https://trellner.com/reports/manufactured-sources-behind-ai-recommendations/
• https://trellner.com/data/manufactured-sources-behind-ai-recommendations/manufactured-sources-behind-ai-recommendations.pdf