Heretic: 언어 모델의 거부(refusal) 제한을 제거하는 도구

명령 한 줄로 오픈 웨이트 모델의 제한을 풀어 주는 도구 Heretic

로컬 오픈 웨이트 LLM이 정상적인 보안·리버싱 작업까지 거절해서 막힌 개발자

Heretic은 모델 제한을 없앤다
- 언어 모델에서 제한을 제거해 지시를 항상 따르게 만든다고 소개한다.
- 공식 사이트 문구가 이렇다.
설치와 실행은 두 줄이다
- pip install -U heretic-llm으로 설치한다.
- heretic Qwen/Qwen3.5-4B처럼 모델 이름을 넘겨 실행한다.
라이선스는 AGPL v3 이상이다
- 자유 소프트웨어로 공개되어 있다.
- 저작권자는 Philipp Emanuel Weidmann과 기여자들이다.
문서와 커뮤니티 채널이 있다
- Tutorial, Installation, Configuration, Security 페이지가 있다.
- GitHub, Hugging Face, Discord, Matrix 링크가 있다.
원문에는 동작 원리나 수치가 없다
- 사이트 본문에는 성능 수치나 비교 결과가 나와 있지 않다.

내 기기 리버싱에는 쓸모 있었다는 경험
- 중국산 IP 카메라의 CVE를 이용해 제어권을 되찾으려 했는데 상용 모델이 모두 거절했다는 경험이다.
- 그래서 abliterated 모델이 필수였다고 한다.
지식이 애초에 없을 수 있다는 반론
- 학습 데이터가 거부 중심으로 짜여 있으면 정답 지식 자체가 모델에 없을 수 있다는 의견이다.
- 거부를 막아도 환각이 나올 수 있고 무관한 질문의 품질이 떨어질 수 있다고 한다.
지표가 과장됐다는 의견
- 거부 횟수와 KL divergence만 내세워 결과가 더 극적으로 보인다는 의견이다.
- KL divergence 차트는 특정 주제에서는 정보가 적다고 한다.
제거 후 답변이 어색해졌다는 경험
- 이전에 거절하던 질문에 답은 하지만 품질이 형편없었다는 경험이다.
- 어설픈 뇌수술을 받은 것 같다고 표현했다.

작은 모델로 거부율 먼저 재 보기
- 오늘 Qwen/Qwen3.5-4B로 heretic을 실행해 보자.
- 평소 거절당하던 합법 프롬프트 10개 전후로 전후 응답을 비교하자.
합법적 보안 작업 질문 세트 만들기
- 본인 기기 리버싱, 본인 네트워크 CVE PoC 같은 질문을 모으자.
- 원본과 수정본에 같은 질문을 넣어 거절 여부와 정확도를 함께 기록하자.
무관한 작업 품질도 같이 평가하기
- 코드 생성이나 요약 같은 일반 작업 회귀 테스트를 돌리자.
- 거부율만 보지 말고 정답 품질 저하를 확인하자.
AGPL 조건을 먼저 확인하기
- 사내 서비스에 통합하기 전에 AGPL v3 이상 조건을 법무와 확인하자.

복사해서 바로 해보기

# 터미널(셸)에 붙여넣기: 원문 설치·실행 예시 그대로

pip install -U heretic-llm

heretic Qwen/Qwen3.5-4B

# 이어서 해 볼 것: 원본 모델과 수정된 모델에 같은 질문 10개를 넣어 거절 여부와 답변 품질을 비교해 보기

abliteration모델 안에서 거절을 일으키는 방향을 찾아 약하게 만드는 기법을 가리키는 말이다. 댓글에서는 이 방식의 모델을 abliterated라고 부른다.

open weights모델 가중치 파일을 내려받아 직접 돌릴 수 있게 공개한 모델이다. 레시피는 안 주고 완성된 요리만 주는 셈이다.

KL divergence수정 전후 모델의 출력 분포가 얼마나 달라졌는지 재는 값이다. 값이 작을수록 원래 모델과 비슷하다는 뜻이다.

refusal모델이 요청을 안 들어주겠다고 답하는 동작이다.