Perplexity 인용의 3분의 1은 인용한 숫자가 페이지에 없다

Who Should Read

LLM 검색 API의 출처(citation)를 그대로 사용자에게 보여주는 RAG·검색 기능을 만드는 백엔드 개발자

Core Mechanics

• 인용 3건 중 1건이 증거 구실을 못 했다
  • 숫자가 든 문장에 붙은 인용 1,826건 중 34.7%가 안 열리거나, 열려도 문장의 숫자가 하나도 없었다.
  • 주장 단위로 보면 872건 중 14.4%가 실패했다(여러 출처 중 하나라도 숫자가 있으면 통과).
• 죽은 링크가 주범은 아니다
  • sonar가 인용한 고유 URL 2,915개 중 로그인·페이월·403·봇 차단이 16.1%였고 죽은 링크(404 등)는 2.5%였다.
  • 답변 단위로는 84.2%가 일반 독자가 못 여는 URL을 하나 이상 인용했다.
• 열리는 페이지도 말해 주지 않는다
  • 열리고 읽힌 페이지 중 16.1%에는 주장의 숫자가 하나도 없었다.
  • Vercel 최저 유료 요금 $20/month를 vercel.com/docs/plans에 붙였지만 그 페이지엔 $20이 없었다.
  • 본사 주소를 위키피디아에 붙였지만 Docker 등 4개 문서 모두 그 주소가 없었다.
• 현재 CEO와 본사 주소에서 가장 많이 틀린다
  • 숫자 통과율은 현재 CEO 44.3%, 본사 주소 53.0%, 인원수 82.0%였다.
  • 원문은 한 곳에 정리된 사실일수록 인용이 잘 맞는다고 해석한다.
• sonar-pro가 sonar보다 낫지 않다
  • 숫자 인용 통과율은 sonar 65.9%, sonar-pro 64.7%로 구간이 겹쳤다.

Community Reactions

• 출처 신뢰 논란이 있었다는 의견
  • 같은 날 올라온 비슷한 레이아웃의 trellner.com 리포트와 About 페이지가 같아 조율된 글 같다는 지적이 있었다.
  • 같은 사람이 비슷한 반 Perplexity 글 두 개를 올렸다는 점이 이상하다는 의견도 있었다.
• 다른 서비스도 같다는 경험
  • Google 검색 요약과 Gemini도 링크를 눌러 보면 주장을 뒷받침하지 않는 경우가 많았다는 경험이 있었다.
  • 신뢰할 만한 출처 미리보기가 붙어 있어 눌렀더니 Reddit 등 덜 믿을 곳이었다는 경험도 있었다.
• 직접 인용 장치를 쓰자는 질문
  • 자체 하네스를 만든다면 모델이 문서 일부를 링크와 함께 그대로 복사해 오는 결정적(deterministic) 도구를 주는 게 맞느냐는 질문이 나왔다.
• 법률 분야 사례가 언급됐다는 의견
  • 변호사가 AI로 판례를 검토하다 그럴듯하지만 없는 인용 때문에 문제가 된 사례가 있다는 의견이 있었다.
  • 캘리포니아에서 AI 생성 문서 검토를 의무화하는 법안이 주지사 서명을 앞두고 있다고 했다.

How to Apply

• 답변 인용 URL을 grep으로 검증하기
  • 오늘 서비스가 보여주는 답변 10개에서 숫자가 든 문장과 인용 URL 쌍을 뽑는다.
  • URL 본문을 받아 문장의 금액·연도·숫자가 하나라도 들어있는지 문자열 검사를 돌린다.
  • 숫자가 없는 쌍은 따로 모아 비율을 센다.
• 인용 마커 클릭 전 URL 상태 점검 붙이기
  • 응답 후처리에서 인용 URL을 HEAD/GET으로 열어 보고 404·410·403·로그인 벽을 표시한다.
  • 못 여는 출처는 사용자에게 '확인 불가'로 표시하거나 제외한다.
• 숫자 주장은 문장별 마커를 요구하기
  • 출처를 답변 끝 목록이 아니라 문장별 [n] 마커로 받는 API를 쓴다.
  • 문장 단위로 검증할 수 있어야 위 검사가 가능하다.
• 인용 페이지를 직접 저장해 두기
  • 중요한 답변의 인용 페이지는 응답 시점에 본문 스냅샷을 저장한다.
  • 나중에 링크가 죽어도 근거를 다시 확인할 수 있게 한다.

Try It

# Claude 또는 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 수동 인용 검증)

아래는 AI 검색 답변의 문장과 인용 페이지 본문이다.

[답변 문장]
{{문장}}

[인용 페이지 본문]
{{페이지 본문}}

다음을 수행해 줘.
1. 문장에서 금액, 퍼센트, 연도, 3자리 이상 숫자를 모두 뽑아라.
2. 각 숫자가 페이지 본문에 그대로(표기 차이 $185M = 185 million = 185000000 포함) 있는지 표로 보여라.
3. 하나라도 있으면 PASS, 하나도 없으면 FAIL로 판정해라.
4. 문장 일부만 근거가 있으면 어느 부분이 근거 없는지 적어라.

이어서 해 볼 것: 같은 형식으로 답변 10개를 돌려 FAIL 비율을 세어 보자.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://hausresearch.com/reports/perplexity-citation-audit/
• https://news.ycombinator.com/item?id=49536375
• https://hausresearch.com/about/
• https://hausresearch.com/data/perplexity-citation-audit/perplexity-citation-audit.pdf