Anthropic이 일기 내용을 경찰에 신고, 여성은 중범죄 혐의로 기소

Claude를 일기장처럼 썼다가 Anthropic이 경찰에 신고해 중범죄 혐의를 받게 됐다

사용자 대화를 LLM API로 처리하며 로그 보관·신고 정책을 정해야 하는 서비스 개발자

원문이 없어 확인된 사실이 적다
- 이번 입력에는 기사 본문이 없고 댓글만 있다.
- 그래서 글 자체의 사실은 제목과 댓글에 인용된 내용으로만 말할 수 있다.
제목이 알려주는 사건 개요
- Anthropic이 일기 내용을 경찰에 신고했다.
- 한 여성이 중범죄 혐의로 기소될 위기에 놓였다.

법 적용이 약하다는 의견
- 플로리다 법 836.10은 다른 사람이 볼 수 있는 방식으로 위협을 전송·게시해야 한다는 조건이 있다는 댓글이 많았다.
- 챗봇에 쓴 사적 일기는 이 조건에 안 맞고 여성이 이길 것이라는 의견이 있었다.
Anthropic도 어쩔 수 없었다는 의견
- OpenAI가 비슷한 상황에서 총격범을 신고하지 않아 비난받은 사례를 봤다는 댓글이 있었다.
- 신고해도 안 해도 욕먹는 구조라는 의견이 있었다.
프라이버시 기대를 접어야 한다는 의견
- 챗봇은 친구가 아니라 빅테크와 대화하는 것이라는 댓글이 있었다.
- 일부는 오픈소스 모델을 직접 돌리라고 권했다.
롤플레이와 실제 의도를 구분할 수 없다는 경험
- 한 댓글러는 LLM에 일부러 극단적인 이야기를 해 보고 회사 내부 플래깅 시스템도 테스트해 봤다고 했다.
- 사람 검토자가 진심이 아님을 알 방법이 없다는 우려를 밝혔다.

서비스 약관에 신고 정책 명시하기
- 오늘 약관과 개인정보 처리방침에서 위협성 대화를 법집행기관에 제공하는 조건이 적혀 있는지 확인하라.
- 없으면 법무 담당자와 문구 초안을 만들어라.
대화 로그 보관 기간과 접근 권한 점검하기
- 로그를 누가 열람할 수 있는지 목록으로 정리하라.
- 불필요한 원문 로그는 보관 기간을 줄여라.

abliteration모델에서 거절 동작을 일으키는 방향을 제거해 안전 필터를 약하게 만드는 기법이다. 댓글에서 언급됐다.

Florida Statute 836.10타인이 볼 수 있는 방식으로 살해·상해·총기난사 위협을 전송하거나 게시하면 2급 중범죄로 보는 플로리다 법이다.