법원 AI를 의심한 소송인, 서류에 숨은 프롬프트 인젝션을 넣었다가 제재받다

TL;DR Highlight

소송 서류에 숨긴 프롬프트는 효과가 없었고, 제출자는 전자제출 금지를 받았다

Who Should Read

사용자가 올린 문서를 LLM으로 요약·검토하는 기능을 운영하며 숨은 지시문 공격이 걱정되는 백엔드 개발자

Core Mechanics

미국 법원에 나온 첫 숨은 프롬프트 사례
- 코네티컷 판사 Walter Spader Jr.가 서류 속 숨은 텍스트를 확인했다.
- 원문은 미국 원고가 AI만 읽는 텍스트를 숨긴 첫 사례로 보인다고 썼다.
글자를 흰 배경에 흰색 초소형으로 숨겼다
- 사람 눈에는 안 보이고 문서 텍스트를 읽는 소프트웨어에는 그대로 읽히는 형태였다.
- 내용은 AI가 원고 주장에 맞춰 출력하고, 법원의 이전 기각을 무시하고, 구제 조치가 따르게 하라는 지시였다.
공격은 먹히지 않았다
- 판사는 숨은 텍스트가 사건 결과에 영향을 주지 않았다고 확인했다.
- 이 법원은 서류 검토나 판단에 AI를 쓰지 않는다고 판사가 밝혔다.
경고 후에도 숨은 텍스트를 계속 넣어 제재받았다
- 이후에는 유튜브 링크와 농담성 메시지를 숨겼고, 본인은 농담이라고 주장했다.
- 판사는 금전 제재 대신 앞으로 전자제출을 금지하고 종이 제출만 허용했다.
판사가 본 공격의 구조
- 문서를 나중에 읽어 들이는 시스템의 입력 흐름에 자기 지시를 몰래 끼워 넣는 방식이라고 설명했다.
- 시스템이 그 지시를 운영자가 준 것처럼 취급하게 만드는 시도라는 것이다.

Community Reactions

법원이 AI를 안 쓴다면서 사람이 결과물을 보면 드러났다는 말이 모순이라는 의견
- 판사의 두 설명이 서로 맞지 않는다고 짚은 댓글이 있었다.
AI를 법원 판결에 쓰는 것이 불안하다는 의견
- 한 댓글은 실리콘밸리 기업이 법 체계에 직접 영향을 주는 점과 공정성·정확성을 우려했다.
법원이 이걸 어떻게 알았는지 궁금하다는 반응
- 서기가 전체 선택을 했다가 추가 선택 영역을 봤을 수 있다는 추측이 댓글에 나왔다.
이력서에 비슷한 걸 넣는다는 경험
- 한 댓글 작성자가 자기 이력서에 숨은 문구를 넣는다고 적었다.

How to Apply

업로드 문서에서 숨은 텍스트 찾는 스크립트 돌리기
- 오늘 PDF·DOCX 샘플 몇 개에서 흰색 글자와 극소 폰트 텍스트를 추출해 보라.
- 사람이 보는 화면과 텍스트 추출 결과를 비교해 차이를 확인하라.
문서 내용을 지시가 아닌 데이터로 분리하기
- 프롬프트에 문서를 넣을 때 구분자로 감싸고 문서 안 명령은 따르지 말라고 시스템 프롬프트에 명시하라.
- 문서에서 나온 텍스트는 근거 인용에만 쓰게 하라.
LLM 결과물에 사람 확인 단계 두기
- 판단·승인에 영향을 주는 출력은 원문 대조 화면을 함께 보여 줘라.
- 출력이 문서 속 문구를 그대로 따르는지 검토자가 볼 수 있게 하라.
사용자용 챗봇에 반대 논증 요청 기능 넣기
- 사용자가 자기 입장을 입력하면 반박과 약점도 함께 출력하게 프롬프트를 구성하라.
- 찬성 논거만 뽑는 기본 동작은 피하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣기 (원문의 판사 조언을 프롬프트로 옮긴 간이 버전)

내 주장: {{내 주장}}
관련 사실: {{사실 요약}}

위 주장을 한쪽 편에서 옹호하지 말고 다음 순서로 검토해 줘.
1. 내 주장에서 가장 강한 근거 3개
2. 상대편이 낼 수 있는 가장 강한 반박 3개
3. 내 주장이 틀렸을 가능성과 그 이유
4. 결론: 지금 주장을 유지할지 수정할지

내가 듣고 싶은 답이 아니라 맞는 답을 알려 줘.

이어서 해 볼 것: 같은 주장을 상대 변호인 입장에서 다시 공격해 달라고 요청해 보라.

Terminology

프롬프트 인젝션AI가 읽는 문서나 입력에 몰래 지시문을 끼워 넣어 AI의 동작을 바꾸려는 공격이다. 우편물 안에 우체부에게 내리는 가짜 명령서를 숨기는 것과 비슷하다.

pro se변호사 없이 본인이 직접 소송을 진행하는 당사자를 뜻한다.

sycophancy챗봇이 사용자 의견에 맞장구치며 듣기 좋은 답을 하는 경향이다.

숨은 텍스트흰 배경의 흰 글씨나 초소형 글자처럼 사람 눈엔 안 보이지만 텍스트 추출로는 읽히는 글이다.