Anthropic의 Claude 텍스트 '워터마크'는 글쓰기를 망친다는 Gruber의 비판

Who Should Read

Claude API 출력을 사용자에게 보여주는 서비스를 운영하며 AI 텍스트 워터마크가 품질·검증에 미칠 영향이 궁금한 백엔드 개발자

Core Mechanics

• 워터마크는 숨은 문자가 아니라 단어 선택이다
  • Gruber는 처음에 보이지 않는 유니코드 문자를 숨길 거라 추측했다.
  • 실제로는 토큰 선택 시 'green' 단어를 조금 더 자주 고르게 하는 방식이다.
• 비밀 키로 green/red 목록을 정한다
  • 목록은 토큰 생성 지점마다 즉석에서 결정론적으로 나뉜다.
  • 비밀 키를 가진 쪽만 탐지할 수 있고, 특정 단어를 고정으로 선호하는 목록은 없다.
• 글이 길수록 탐지 신뢰도가 올라간다
  • 동전 던지기 횟수가 많을수록 편향 여부를 확신하는 것과 같은 원리다.
  • Anthropic은 200 토큰(약 150단어) 초과 텍스트에 적용한다고 한다.
• Anthropic은 Claude만 탐지할 수 있다
  • 키를 제공자가 갖고 있어 Claude는 Gemini의 워터마크를 못 읽는다.
  • 그 반대도 마찬가지다.
• Gruber의 핵심 반론은 동의어도 뜻이 다르다는 것이다
  • 'leaped at the chance'와 'jumped at the opportunity'도 같지 않다고 본다.
  • 개인 대화에서도 모든 출력에 적용되는 점을 문제 삼는다.

Community Reactions

• LLM은 원래 확률 분포에서 무작위로 토큰을 뽑는다는 의견
  • 워터마크는 그 난수를 시드 기반 의사난수로 바꾸는 것이라 '최선의 단어'를 깎지 않는다는 주장이다.
  • T=0이 최고의 글을 낸다는 전제가 틀렸다는 반응도 있었다.
• 탐지하려면 텍스트를 각 AI 제공자에 보내야 한다는 우려
  • 대학·변호사·편집자가 미공개 원고를 여러 회사에 보내게 된다는 지적이다.
  • 학습에 쓰일 수 있다는 걱정과 공개 또는 자체 호스팅 가능한 표준 탐지 방식을 원하는 의견이 있었다.
• EU 규정에 상호운용성 조항이 있다는 정보
  • 2027년 2월 2일까지 표준 API, 공개 신호 방식, 컨소시엄 탐지 중 하나를 구현해야 한다는 인용이 있었다.
• non-distorting 방식은 품질을 보존하지만 짧은 글에선 탐지가 약하다는 설명
  • 분포를 바꾸지 않는 SynthID 변형이라 품질은 유지된다는 주장이다.
  • 반대로 학습된 확률을 바꾸는 것이라며 우려하는 댓글도 있었다.

How to Apply

• 서비스 출력 중 200 토큰 초과 구간 파악하기
  • 오늘 로그에서 Claude 응답 길이 분포를 뽑아 200 토큰을 넘는 비율을 확인하라.
  • 워터마크 적용 대상이 되는 기능을 목록으로 만들어라.
• AI 텍스트 탐지 기능에 외부 전송 경로 점검하기
  • 탐지를 위해 원문을 제3자 API로 보내는 구조인지 확인하라.
  • 미공개 문서는 전송 전 동의·마스킹 규칙을 정하라.
• 후처리 파이프라인에서 재작성 여부 기록하기
  • 번역·요약·재작성 단계가 있으면 로그에 표시하라.
  • 탐지 결과 해석 시 원본 모델 출력과 구분해라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://daringfireball.net/2026/08/anthropics_watermark_text_adulteration_in_claude_is_a_perversion_of_writing
• https://www.nature.com/articles/s41586-024-08025-4