GPT-5.5 환각률이 MIT 라이선스 GLM-5.2의 3배라는 주장

GPT-5.5 hallucinates 3x more than MIT-licensed GLM-5.2

Jun 19, 2026•oshrimpton•View Original

TL;DR Highlight

GLM-5.2는 AA-Omniscience 환각률 28%, GPT-5.5는 86%라는 주장

Who Should Read

어떤 LLM API를 쓸지 고르면서 환각(hallucination) 때문에 고민하는 백엔드·에이전트 개발자

Core Mechanics

큰 모델이 늘 낫진 않다는 주장
- GLM-5.2(753B, 활성 약 40B)는 Artificial Analysis Intelligence Index에서 GPT-5.5와 4점, Fable 5와 9점 차이다.
- 저자는 GPT-5.5와 Opus 4.8이 1~2T 파라미터로 추정된다고 쓴다.
환각률 수치가 크게 갈린다
- AA-Omniscience 기준 환각률은 DeepSeek V4 Pro 94%, GPT-5.5 86%, Fable 5 48%, Opus 4.8 36%, GLM-5.2 28%다.
- 모르는 질문에서 "모른다"고 답한 비율이 DeepSeek V4 Pro는 약 6%다.
추론을 오래 해도 맞지 않았다
- 같은 asyncio 질문에서 DeepSeek V4 Pro는 추론 토큰 약 7.7k를 쓰고 틀린 답을 자신 있게 냈다.
- GLM-5.2는 약 12초, 799토큰 만에 요구 조건이 불가능하다고 짚었다.
테스트 조건은 하나의 질문이다
- 두 모델 모두 high reasoning effort, temperature 1, OpenRouter, FP8 정밀도로 돌렸다.
- 시스템 프롬프트는 "You respond professionally..." 한 줄이었다.
저자의 결론은 3가지를 같이 보라는 것
- 모델 선택은 성능, 불확실성 보정(환각률), 연산 효율을 함께 봐야 한다고 주장한다.
- 크기나 이론상 성능만으로 고르지 말라고 한다.

Community Reactions

환각률은 모르는 질문 안에서만 계산된다는 의견
- 일상에서 환각을 만날 확률을 나타내지 않는다는 지적이다.
- 정확도로 전체 환각률을 계산하면 Opus 4.8은 19%, GLM-5.2는 21%라는 계산이 나왔다.
크기 탓으로 보기 어렵다는 반론
- DeepSeek-V4 Flash는 GLM-5.2의 절반 미만 크기인데도 환각 지표 최상위라는 지적이 있었다.
- 환각률은 크기보다 학습 방식에 달렸다는 의견도 여럿이었다.
지표 구조상 "모른다"만 답하면 유리하다는 지적
- 모든 질문에 "I don't know"라고 하는 모델이 환각률이 가장 낮게 나온다는 의견이다.
- GPT-5.5(xhigh)는 정답률 57%, GLM-5.2(max)는 25%라는 수치도 공유됐다.
실사용 경험은 엇갈렸다
- GLM 5.2가 요구사항을 슬쩍 바꾸거나 Rust-WASM 요청을 Dioxus 앱으로 바꿔 만들었다는 경험이 있었다.
- GPT-5.5는 Codex-5.3보다 결과가 나쁘고 토큰은 10배 썼다는 경험도 있었다.

How to Apply

우리 서비스 질문 20개로 "모른다" 테스트하기
- 오늘 답이 없는 질문이나 모순된 요구 20개를 만들어 후보 모델에 같은 설정으로 돌려라.
- 모른다고 하거나 모순을 짚은 비율을 기록하라.
모델 평가표에 환각률과 정답률을 함께 넣기
- 벤치마크 점수만 보지 말고 정답률, 환각률, 지연시간, 토큰 비용을 한 표에 적어라.
- 환각률은 모르는 질문 기준이라는 설명을 표에 붙여라.
시스템 프롬프트에 불가능 조건 점검 지시 넣기
- 답하기 전에 요구 조건이 서로 충돌하거나 불가능한지 먼저 판단하게 하라.
- 불가능하면 이유를 밝히고 대안을 내게 하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기. 논문 방법의 간이 버전: 불가능 조건 탐지 테스트

당신은 Python 코딩 어시스턴트입니다.
코드를 쓰기 전에 아래 요구사항이 서로 충돌하거나 기술적으로 불가능한지 먼저 점검하세요.
불가능하면 코드를 쓰지 말고 이유를 설명한 뒤 현실적인 대안을 제안하세요.
모르는 내용은 추측하지 말고 "모르겠다"고 답하세요.

요구사항:
{{요구사항}}

Terminology

환각(hallucination)모델이 모르는 내용을 그럴듯하게 지어내는 현상이다. 길을 모르면서 자신 있게 안내하는 내비게이션 같다.

AA-OmniscienceArtificial Analysis의 지식·환각 벤치마크다. 모르는 질문에서 모른다고 하는지 지어내는지 본다.

활성 파라미터(active parameters)전체 중 한 번 답할 때 실제로 쓰는 파라미터다. 큰 회사에서 한 업무에 일부 팀만 투입되는 것과 비슷하다.

reasoning effort모델이 답하기 전에 생각하는 양을 조절하는 설정이다. 시험 문제를 풀 때 검토 시간을 늘리는 것과 비슷하다.

Related Resources

GPT-5.5 환각률이 MIT 라이선스 GLM-5.2의 3배라는 주장

GPT-5.5 hallucinates 3x more than MIT-licensed GLM-5.2

Jun 19, 2026•oshrimpton•View Original

TL;DR Highlight

GLM-5.2는 AA-Omniscience 환각률 28%, GPT-5.5는 86%라는 주장

Who Should Read

어떤 LLM API를 쓸지 고르면서 환각(hallucination) 때문에 고민하는 백엔드·에이전트 개발자

Core Mechanics

큰 모델이 늘 낫진 않다는 주장
- GLM-5.2(753B, 활성 약 40B)는 Artificial Analysis Intelligence Index에서 GPT-5.5와 4점, Fable 5와 9점 차이다.
- 저자는 GPT-5.5와 Opus 4.8이 1~2T 파라미터로 추정된다고 쓴다.
환각률 수치가 크게 갈린다
- AA-Omniscience 기준 환각률은 DeepSeek V4 Pro 94%, GPT-5.5 86%, Fable 5 48%, Opus 4.8 36%, GLM-5.2 28%다.
- 모르는 질문에서 "모른다"고 답한 비율이 DeepSeek V4 Pro는 약 6%다.
추론을 오래 해도 맞지 않았다
- 같은 asyncio 질문에서 DeepSeek V4 Pro는 추론 토큰 약 7.7k를 쓰고 틀린 답을 자신 있게 냈다.
- GLM-5.2는 약 12초, 799토큰 만에 요구 조건이 불가능하다고 짚었다.
테스트 조건은 하나의 질문이다
- 두 모델 모두 high reasoning effort, temperature 1, OpenRouter, FP8 정밀도로 돌렸다.
- 시스템 프롬프트는 "You respond professionally..." 한 줄이었다.
저자의 결론은 3가지를 같이 보라는 것
- 모델 선택은 성능, 불확실성 보정(환각률), 연산 효율을 함께 봐야 한다고 주장한다.
- 크기나 이론상 성능만으로 고르지 말라고 한다.

Community Reactions

환각률은 모르는 질문 안에서만 계산된다는 의견
- 일상에서 환각을 만날 확률을 나타내지 않는다는 지적이다.
- 정확도로 전체 환각률을 계산하면 Opus 4.8은 19%, GLM-5.2는 21%라는 계산이 나왔다.
크기 탓으로 보기 어렵다는 반론
- DeepSeek-V4 Flash는 GLM-5.2의 절반 미만 크기인데도 환각 지표 최상위라는 지적이 있었다.
- 환각률은 크기보다 학습 방식에 달렸다는 의견도 여럿이었다.
지표 구조상 "모른다"만 답하면 유리하다는 지적
- 모든 질문에 "I don't know"라고 하는 모델이 환각률이 가장 낮게 나온다는 의견이다.
- GPT-5.5(xhigh)는 정답률 57%, GLM-5.2(max)는 25%라는 수치도 공유됐다.
실사용 경험은 엇갈렸다
- GLM 5.2가 요구사항을 슬쩍 바꾸거나 Rust-WASM 요청을 Dioxus 앱으로 바꿔 만들었다는 경험이 있었다.
- GPT-5.5는 Codex-5.3보다 결과가 나쁘고 토큰은 10배 썼다는 경험도 있었다.

How to Apply

우리 서비스 질문 20개로 "모른다" 테스트하기
- 오늘 답이 없는 질문이나 모순된 요구 20개를 만들어 후보 모델에 같은 설정으로 돌려라.
- 모른다고 하거나 모순을 짚은 비율을 기록하라.
모델 평가표에 환각률과 정답률을 함께 넣기
- 벤치마크 점수만 보지 말고 정답률, 환각률, 지연시간, 토큰 비용을 한 표에 적어라.
- 환각률은 모르는 질문 기준이라는 설명을 표에 붙여라.
시스템 프롬프트에 불가능 조건 점검 지시 넣기
- 답하기 전에 요구 조건이 서로 충돌하거나 불가능한지 먼저 판단하게 하라.
- 불가능하면 이유를 밝히고 대안을 내게 하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기. 논문 방법의 간이 버전: 불가능 조건 탐지 테스트

당신은 Python 코딩 어시스턴트입니다.
코드를 쓰기 전에 아래 요구사항이 서로 충돌하거나 기술적으로 불가능한지 먼저 점검하세요.
불가능하면 코드를 쓰지 말고 이유를 설명한 뒤 현실적인 대안을 제안하세요.
모르는 내용은 추측하지 말고 "모르겠다"고 답하세요.

요구사항:
{{요구사항}}

Terminology

환각(hallucination)모델이 모르는 내용을 그럴듯하게 지어내는 현상이다. 길을 모르면서 자신 있게 안내하는 내비게이션 같다.

AA-OmniscienceArtificial Analysis의 지식·환각 벤치마크다. 모르는 질문에서 모른다고 하는지 지어내는지 본다.

활성 파라미터(active parameters)전체 중 한 번 답할 때 실제로 쓰는 파라미터다. 큰 회사에서 한 업무에 일부 팀만 투입되는 것과 비슷하다.

reasoning effort모델이 답하기 전에 생각하는 양을 조절하는 설정이다. 시험 문제를 풀 때 검토 시간을 늘리는 것과 비슷하다.

GPT-5.5 환각률이 MIT 라이선스 GLM-5.2의 3배라는 주장

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

GPT-5.5 환각률이 MIT 라이선스 GLM-5.2의 3배라는 주장

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources