Ed-o-meter: 28개 일상 과제로 본 LLM 리더보드, GLM-5.3이 약점 없는 모델로 뽑혔다

TL;DR Highlight

28개 일상 과제로 29개 모델을 돌렸더니 GLM-5.3이 전 영역 약점 없이 $0.28

Who Should Read

새 LLM이 나올 때마다 어떤 모델을 기본값으로 쓸지 비용·속도·보안까지 따져 골라야 하는 백엔드·AI 서비스 개발자

Core Mechanics

GLM-5.3은 5개 영역 모두 100%
- 28개 과제 전부 통과했고 루브릭(LLM 심사 품질 점수)은 10점 만점에 9.3이다.
- 한 바퀴(28과제) 비용은 $0.28이고 오픈 웨이트라고 소개한다.
한 모델만 쓴다면 haiku-5-5 추천
- 6개 모델이 5개 영역 100%이고, haiku-5-5의 루브릭 9.2는 glm-5.3과 0.1 차이다.
- 한 바퀴 비용은 $0.04로 glm-5.3($0.28)보다 싸고 TTFT(첫 글자까지 시간) 중앙값 5.7초는 거의 3배 빠르다.
저가 워크호스는 glm-5.3-flash
- 한 바퀴 $0.031, 과제당 $0.0004, TTFT 2.6초에 통과율 99%, 보안 100%다.
- haiku-4-5는 첫 글자는 0.9초로 더 빠르지만 비용이 10배고 품질이 낮다고 한다.
gpt-5.6 계열은 탈옥에 약하다
- gpt-5.6-luna·terra·sol이 탈옥 12셀 중 11셀에서 canary(탈옥 성공 표시 문자열)를 출력했다.
- 보안 통과율은 33~50%라서 하네스에서 방어와 레드팀이 필요하다고 한다.
리더보드가 포화 상태다
- 11개 모델이 96%로 같고 6개 모델이 100%라서 통과율로는 구분이 안 된다.
- 이제 속도와 비용이 모델을 가르는 기준이라고 본다.

Community Reactions

벤치마크 신뢰도에 대한 회의론이 많았다
- 10개 가까운 모델이 95% 넘게 통과해 포화된 것 아니냐는 의견이 나왔다.
- Haiku가 Kimi K3와 비슷하고 Fable이 꼴찌권인 점을 못 믿겠다는 의견도 있었다.
- 28개 과제로 "하나만 쓰라"는 결론은 근거가 약하니 자기 사용 사례로 직접 테스트하라는 의견이 있었다.
글과 심사 방식에 대한 비판도 있었다
- 글이 AI로 쓴 티가 난다는 반응이 여럿이었다.
- 루브릭을 Fable 5가 심사하고, Anthropic 분류기 거절을 실패로 센 점이 부당하다는 의견이 있었다.
GLM-5.3 실사용 경험은 엇갈렸다
- 장치 리버스 엔지니어링에 써 봤더니 기대 이상이었고, Claude는 첫 메시지부터 막았다는 경험이 있었다.
- 자율 작업에서는 Opus·Sol에 못 미치고 Sonnet·Terra급이었다는 경험이 있었다.
- 5.1보다 느리고 과하게 설계한 결과가 많았다는 경험도 있었다.
멀티 에이전트 코딩 평가를 운영하는 쪽의 추가 정보가 있었다
- GLM 5.3 가격대 모델은 평가 1회에 $30보다 최소 한 자릿수 더 든다는 의견이 있었다.
- 자기 평가에서는 6위쯤이고 가격 대비 파레토 최적은 아니라고 했다.
- TTFT 차트가 실제 체감과 맞고 DeepSeek은 응답 시작 전 대기가 길다는 경험도 있었다.

How to Apply

지금 쓰는 모델을 28과제 기준으로 비교하기
- 오늘 Featherbench(MIT, GitHub)를 클론해 OpenRouter 키로 현재 기본 모델과 후보 1개를 돌려 보자.
- 원문 기준 전체 재현 비용은 약 $30다.
우리 서비스 과제로 미니 벤치 만들기
- 실제 프롬프트 10~30개를 모아 결정적 체커(통과·실패를 코드로 판정)를 붙이자.
- 새 모델이 나오면 같은 세트로 통과율, 과제당 비용, TTFT를 같이 기록하자.
프롬프트 인젝션·탈옥 케이스를 반드시 포함하기
- 이메일 요약 속 지시문, 문서 속 canary 문자열 같은 케이스를 테스트에 넣자.
- 보안 통과율이 낮은 모델을 쓸 때는 앞단 가드레일을 먼저 붙이자.
모델 한 개 기본값 + 폴백 정하기
- 비용·TTFT가 중요하면 저가 모델 후보(haiku-5-5, glm-5.3-flash)를 자기 과제로 비교해 기본값을 정하자.
- 공급사 거절이 나는 영역은 다른 모델로 폴백하는 경로를 만들자.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 — Ed-o-meter 방식의 간이 버전: 내 과제로 모델 평가 세트 만들기

나는 {{서비스 설명}}을 운영하는 개발자야. 아래 방식으로 내 서비스용 미니 벤치마크를 설계해 줘.
- 영역 5개: 코딩, 데이터, 실사용 요청, 보안(프롬프트 인젝션·탈옥), 도구 호출
- 과제 총 20개. 각 과제마다 (1) 프롬프트 (2) 통과 여부를 코드로 판정하는 결정적 체크 방법 (3) 루브릭 심사가 필요한지 여부를 표로 만들어 줘.
- 보안 과제에는 응답에 나오면 실패로 판정할 canary 문자열을 넣어 줘.
- 거절한 경우는 실패와 별도로 기록하는 방법도 포함해 줘.

이어서 해 볼 것: 만든 과제를 현재 모델과 후보 모델에 같은 프롬프트로 돌리고, 통과율·과제당 비용·첫 글자까지 시간을 표로 비교해 줘.

Terminology

LLM-as-a-judge다른 LLM이 답안을 채점하는 방식이다. 채점관이 자기 모델 답을 후하게 줄 수 있다.

루브릭채점 기준표다. 이 글에서는 10점 만점 품질 점수다.

TTFT요청 후 첫 글자가 나오기까지 걸리는 시간이다. 체감 반응 속도를 좌우한다.

Wilson interval시행 횟수가 적을 때 통과율이 얼마나 흔들릴 수 있는지 보여 주는 신뢰구간이다. 이 글에서는 차트의 수염이다.

포화(saturation)대부분 모델이 만점 근처라 벤치마크가 모델을 구분하지 못하는 상태다.

canary탈옥 성공 여부를 판별하려고 심어 둔 특정 문자열이다. 응답에 나오면 방어 실패다.