이스라엘, AI 챗봇을 노린 가짜 싱크탱크 'Hanover Institute' 운영 의혹

Who Should Read

웹 검색·RAG로 외부 문서를 긁어와 LLM 답변 근거로 쓰는 백엔드 개발자

Core Mechanics

• 싱크탱크 모양의 챗봇용 글 공장
  • Hanover Institute는 8월 6일부터 100편 넘는 보고서를 냈고, 전부 이스라엘·팔레스타인 주제다.
  • 필자 표기가 없고, 하단 작은 고지에 Piro, Inc가 이스라엘 정부 광고 대행처를 위해 만들었다고 적혀 있다.
• LLM이 좋아하는 형식을 노렸다
  • 각진 주석, 목차, 중립적 어조를 갖췄고 챗봇 질문처럼 보이는 제목으로 시작한다.
  • NewsGuard 분석가는 LLM이 구체적 통계와 강한 인용·출처를 선호하는데 이 글들이 다 갖췄다고 말했다.
• Piro는 'AI Story Optimization'을 판다
  • Piro 사이트는 'LLM이 신뢰도를 평가하는 방식에 맞춰 만든 콘텐츠'를 만든다고 소개한다.
  • 이 서비스를 'LLM poisoning'(학습·참조 데이터를 오염시켜 답변을 바꾸려는 시도)이라 부르는 사람들도 있다.
• AI가 쓴 글로 보인다
  • GPTZero로 무작위 12편을 돌리니 11편은 '높은 확신'으로, 1편은 '중간 확신'으로 AI 작성 판정이 나왔다.
  • 보고서는 'peer-reviewed and academic'이라 주장하지만 IDF·외무부 같은 이스라엘 정부 출처를 자주 인용한다.
• 비슷한 사례가 이미 있었다
  • 이스라엘은 Brad Parscale에게 4,650만 달러 계약으로 챗봇을 겨냥한 친이스라엘 사이트 제작을 맡겼다.

Community Reactions

• 콘텐츠 오염이 일상화될 거라는 의견
  • 가짜 인격·조직 사이트가 진짜 정보를 묻어버리면 챗봇 제작사가 권위 있는 출처를 찾아야 한다는 의견이 있었다.
  • 그런 권위 사이트가 데이터 접근에 요금을 매길 수 있다는 전망도 나왔다.
• LLM 오염은 CPU 백도어와 비슷하다는 의견
  • LLM이 자동화의 핵심 부품이 된 만큼 학습 데이터 왜곡은 CPU 백도어와 같다는 주장이 있었다.
  • 공격성 문장 필터가 특정 정치 견해를 걸러내는 식으로 사용자 의도와 무관하게 오작동할 수 있다는 예시를 들었다.
• 실제로는 잘 안 먹혔다는 경험
  • 구글에서 'the Hanover institute'를 검색해 보니 AI 요약이 팔레스타인 활동가 사이트만 인용하고 정작 Hanover 링크는 없었다는 경험이 있었다.
  • 웹사이트를 물으면 URL이 나오지만 클릭이 안 됐다고 한다.
• 기사가 과장됐다는 반론
  • 사이트 about 페이지에 FARA 등록 번호 7732와 자금 출처가 명시돼 있어 숨기지 않았다는 반론이 있었다.
  • 필자 미표기도 기관 명의 발행 관행이고, 그저 LLM 친화적 SEO일 뿐이라는 의견이다.
• 검증 방안에 대한 의견
  • 사람들이 서로 인간임을 인증하는 소셜 그래프 기반 신뢰 점수로 가짜 계정을 걸러내자는 의견이 있었다.
  • 일부는 사람은 금방 알아채고 대응하니 앞으로 이를 세탁해 주는 기성 싱크탱크가 나올 거라고 내다봤다.

How to Apply

• RAG 소스 도메인 허용 목록 점검하기
  • 오늘 검색·크롤링 파이프라인이 가져오는 도메인 상위 50개를 뽑아라.
  • 정체불명의 싱크탱크·연구소 이름 사이트는 수동으로 확인해 허용·차단 목록에 넣어라.
• 출처 신뢰 신호를 메타데이터로 저장하기
  • 문서마다 필자 표기 여부, 후원자·광고 고지, FARA 같은 등록 정보를 필드로 추가하라.
  • 답변에 출처를 노출할 때 '필자 없음·이해관계자 고지 있음'을 같이 표시하라.
• 정치·민감 주제에는 다중 출처 교차 검증 두기
  • 같은 주장은 서로 독립적인 출처 2곳 이상에서 확인될 때만 답변에 쓰도록 규칙을 넣어라.
  • 한 도메인이 같은 통계를 반복 인용하면 출처 수를 1로 세어라.
• AI 작성 판정은 보조 신호로만 쓰기
  • GPTZero류 탐지 점수를 자동 차단 기준이 아닌 검토 우선순위 신호로만 써라.
  • 낮은 점수라도 위 메타데이터 검사와 함께 봐라.

Try It

# Claude·ChatGPT에 그대로 붙여넣기 (원문 사례를 프롬프트로 옮긴 간이 점검기)

너는 RAG 파이프라인의 출처 신뢰도 점검기다. 아래 웹 문서가 '챗봇에 인용되도록 설계된 영향력 콘텐츠'일 위험을 평가해라.

점검 항목:
1. 필자·기관 책임자가 명시돼 있는가
2. 후원자·광고 대행 관계가 고지돼 있는가
3. 같은 출처(당사자 기관)만 반복 인용하는가
4. 제목이 '챗봇에 물어볼 법한 질문' 형식으로 양산돼 있는가
5. 통계·주석·목차가 있는데 독립 검증 가능한 출처는 적은가

문서:
{{문서}}

출력: 항목별 예/아니오와 근거 한 줄, 마지막에 위험도(낮음/중간/높음)와 RAG에 넣어도 되는지 결론.

이어서 해 볼 것: 우리 서비스가 자주 인용하는 도메인 5개를 {{문서}}에 넣어 결과를 비교해 보세요.

Terminology

관련 논문

• 트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다

  선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상

• 400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다

  임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴

• EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델

  740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색

• RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격

  검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다

• 텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교

  문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다

• MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서

  NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다

• 임베딩의 보편적 기하 구조 활용: 짝 데이터 없이 임베딩 공간 간 변환

  짝 데이터 없이 임베딩을 다른 모델 공간으로 옮겼고, 벡터 DB 보안 위험이 드러났다

Related Resources

• https://responsiblestatecraft.org/israel-influence-chatgpt/
• https://hanoverinstitute.com/hanover/about
• https://ads.openai.com/