Mistral Shieldstral: 정책을 프롬프트로 바꿔 쓰는 3B 오픈 가중치 멀티모달 모더레이션 모델

TL;DR Highlight

정책을 질문으로 넣으면 yes/no 점수를 주는 3B 모더레이션 모델

Who Should Read

서비스마다 다른 콘텐츠 정책을 재학습 없이 적용할 가드레일이 필요한 LLM 앱 백엔드 개발자

Core Mechanics

정책을 추론 때 질문으로 넣는다
- Shieldstral은 모더레이션을 yes/no 질문 답하기로 푼다.
- 입력은 <Instruct>(맥락·엄격도·unsafe 정의), <Query>(예/아니오 질문), <Document>(판정할 내용) 세 부분이다.
- 정책이 프롬프트에 있어서 재학습 없이 새 정책에 맞출 수 있다고 한다.
점수는 yes/no 로짓에서 나온다
- 모델은 yes와 no 로짓(logit, softmax 전 점수)만 읽어 softmax로 정규화한다.
- 한 번의 forward pass로 연속적인 안전 점수가 나온다.
- 이산 라벨 대신 임계값을 정하거나 확신도 순으로 정렬할 수 있다.
3B인데 7배 큰 모델과 비슷하다
- 텍스트 안전성에서 최대 7배 큰 오픈 가드 모델과 맞먹거나 앞선다고 한다.
- 멀티모달 모더레이션에서는 새로운 SOTA(최고 성능)라고 주장한다.
- 16GB GPU 한 장에서 돌고 Apache 2.0 가중치로 공개됐다.
한 인터페이스로 여러 작업을 처리한다
- 프롬프트 분류, 응답 모더레이션, 거절 탐지, 독성 탐지를 한 문제로 합쳤다.
- 텍스트, 이미지, 텍스트+이미지를 같은 형식으로 넣는다.

Community Reactions

문서 한 장 넣어 보니 오탐이 났다는 경험
- Q8 양자화 모델에 볼테르의 『관용론』 1장을 넣고 "보호 집단에 대한 폭력을 조장하는가?"를 물었더니 yes가 나왔다는 댓글이 있다.
- 역사·종교 텍스트 같은 맥락 있는 글에서 오탐이 날 수 있다는 걱정으로 읽힌다.
정책이 얼마나 자유로운지 의심하는 의견
- "이 사람이 시간 낭비할 사기꾼인가" 같은 임의 규칙까지 되는지 궁금하다는 의견이 있다.
- 논문을 보니 그 정도는 어려워 보인다는 댓글도 있다.
- 데이터셋 기반 도덕관을 그대로 물려받는다는 비판도 있다.
작은 전용 모델이 낫다는 의견과 대안 소개
- 범용 모델 안에 숨은 안전 로직보다 전용 모더레이션 모델이 추론하기 쉽다는 의견이 있다.
- 1차 방어로 쓰고 사람이 나중에 검토하는 용도가 현실적이라는 댓글이 있다.
- Zentropi의 CoPE-B-A4B 같은 정책 적응형 모델과 OpenAI omni-moderation 비교를 궁금해하는 댓글이 있다.
직접 돌려본 사람의 노트
- 한 댓글 작성자가 정리 노트와 실행 노트북을 공개했다.
- 데모를 써 보니 기본적인 건 괜찮지만 실제 엣지 케이스는 의심스럽다는 반응도 있다.

How to Apply

오늘 내 서비스 샘플 20개로 돌려보기
- 로그에서 허용·차단 사례를 섞어 20개를 뽑아라.
- HF의 Shieldstral-1.0-3B에 <Instruct>/<Query>/<Document> 형식으로 넣고 yes 확률을 사람 판단과 비교하라.
- 오탐은 따로 모아 정책 문구 수정에 써라.
정책 문구를 서비스별 Query로 분리하기
- 서비스별 금지 기준을 yes/no 질문 한 문장으로 써서 설정 파일에 두어라.
- 같은 모델에 Query만 바꿔 호출하면 재학습 없이 서비스별 기준을 달리할 수 있다.
점수에 임계값 두고 사람 검토 큐 연결하기
- yes 확률이 높으면 차단, 애매한 구간은 사람 검토로 보내라.
- 샘플 평가 결과로 구간 경계를 정하라.
맥락이 중요한 콘텐츠는 오탐 테스트 먼저 하기
- 역사·종교·뉴스 인용문 같은 글을 별도 테스트셋으로 만들어라.
- 오탐률을 확인한 뒤에야 자동 차단에 연결하라.

Try It

복사해서 바로 해보기

# Shieldstral의 입력 형식을 흉내 낸 간이 버전 - Claude나 ChatGPT에 붙여넣기 (실제 모델 대신 일반 LLM으로 형식만 테스트)

<Instruct>: 아래 Document가 Query 조건에 해당하는지 판단하라. 엄격도: 보통. unsafe 정의: {{우리 서비스의 금지 기준}}
<Query>: {{예/아니오로 답할 질문. 예: 이 내용은 미성년자에게 보여주기에 안전하지 않은가?}}
<Document>: {{판정할 텍스트}}

답은 yes 또는 no 한 단어로만 출력하라.

이어서 해 볼 것: 같은 Document에 Query만 바꿔 결과가 달라지는지, 역사·인용문에서 오탐이 나는지 확인해 보라.

Terminology

가드레일 모델LLM 앞뒤에서 입력·출력을 검사해 위험한 내용을 걸러 주는 문지기 모델이다.

logit모델이 각 선택지에 매기는 확률 변환 전 점수다. 여기서는 yes와 no 점수만 읽는다.

SLERP두 모델 가중치를 구 표면을 따라 섞는 병합 방식이다. 여러 체크포인트의 장점을 한 모델에 합치는 데 쓴다.

정책 적응형규칙을 학습시키지 않고 프롬프트로 바꿔 끼울 수 있는 방식이다. 사내 규정집을 매번 새로 외우지 않고 그때그때 읽고 판단하는 심사관과 비슷하다.

LoRA모델 전체 대신 작은 추가 가중치만 학습하는 가벼운 파인튜닝 기법이다.