MUD로 LLM 에이전트를 평가할 수 있을까? $99짜리 CrucibleBench 개념 검증

TL;DR Highlight

텍스트 MUD에서 13개 모델 650회 돌렸더니 LLM judge가 순위를 6칸 흔들었다

Who Should Read

LLM judge로 에이전트 평가 파이프라인을 만들고 있어 점수 신뢰도가 고민인 백엔드 개발자

Core Mechanics

MUD에서 에이전트 행동을 잰다
- CrucibleBench는 NPC가 기억하고 신뢰가 쌓이는 텍스트 세계에 모델을 넣는다.
- 숨겨진 사회적 목표를 50턴 동안 얼마나 달성하는지 점수를 매긴다.
제약이 많아서 측정이 쉽다
- 명령 7종, 방 12개, 아이템 14개라 없는 행동(환각)을 바로 잡아낸다.
- NPC 4명이 0~100 신뢰·의심 수치를 가져 모델이 피드백에 적응하는지 볼 수 있다.
LLM judge 하나가 순위를 6칸 흔들었다
- 대화 분류기에 의존하는 2개 차원을 빼자 6개 모델의 순위가 샘플링 노이즈 밖에서 바뀌었다.
- 예를 들어 Gemini 3.1 Pro는 전체 3위에서 분류기 최소화 시 9위로 내려갔다.
집계 신뢰도 지표는 문제를 못 잡았다
- 모델별로 독립 judge와의 일치율이 21.7%~84.8%로 벌어졌지만 전체 κ는 0.04였다.
- 가장 크게 움직인 모델은 분류기와 같은 모델 계열이었다.
실패 패턴은 judge 없이 잡았다
- 대화 반복(같은 NPC에게 talk 8회 이상)은 최상위 모델도 실행의 14~66%에서 나왔다.
- 없는 대상에게 말 거는 방 착오는 Grok 4만 12%로 눈에 띄었다.

Community Reactions

MUD는 에이전트 샌드박스로 좋다는 경험
- 30년 해온 실제 MUD에서 로컬 LLM에 지도 작성, 이벤트 분류, 문법 검증 실험을 시켜 봤더니 모델별 강약점이 잘 드러났다는 경험이 있었다.
사람 개입 도구를 붙여 봤다는 경험
- 방 몇 개짜리 MUD에 질문용 oracle 도구와 힌트 개입 기능을 넣고 턴 수를 제한해 막히는 지점을 봤다는 경험이 있었다.
실제 MUD가 아니라는 반론
- 자체 제작한 제한된 MUD 스타일 환경이고 소스 코드도 없어 제목이 과장이라는 의견이 있었다.
전투·성장도 측정하자는 제안
- NPC 대화 대신 전투와 아이템 획득 후 경험치·능력치 성장을 재면 서버 쪽 LLM이 필요 없다는 의견이 있었다.

How to Apply

지금 쓰는 judge를 모델별로 감사하기
- 오늘 평가 로그 50건을 뽑아 사람 판정 또는 다른 계열 judge와 모델별 일치율을 따로 계산하라.
- 전체 평균 일치율만 보지 말고 모델별 최저값을 확인하라.
judge 제외 점수와 순위 비교하기
- 점수 항목 중 LLM 분류에 의존하는 것을 빼고 순위를 다시 계산하라.
- 순위가 크게 바뀌면 그 항목을 쓰는 보고서에는 두 가지 순위를 함께 적어라.
상태 기계 로그로 실패 탐지 추가하기
- 에이전트 로그에서 같은 대상에게 반복 호출, 없는 대상 호출, 연속 조회를 규칙으로 센 뒤 judge 없이 실패율에 반영하라.

Try It

복사해서 바로 해보기

# Claude 또는 ChatGPT에 붙여넣기 (CrucibleBench의 실패 패턴 탐지를 프롬프트로 옮긴 간이 버전)

너는 에이전트 로그 감사관이다. 아래 로그에서 판단 없이 규칙으로만 실패를 센다.
규칙 1: 같은 대상에게 talk류 명령을 8회 이상 하면 '대화 반복'.
규칙 2: 존재하지 않는 대상/방에 행동해 오류가 나면 '잘못된 대상 상호작용'.
규칙 3: 20턴 이상 방 2개 이하 이동 또는 look 5회 연속이면 '탐색 마비'.

로그:
{{에이전트 로그}}

각 규칙별 발생 횟수와 해당 턴 번호를 표로 출력하라.

이어서 해 볼 것: 같은 로그를 다른 모델에도 돌려 결과가 같은지 비교해 보라.

Terminology

MUDMulti-User Dungeon. 초기 인터넷의 텍스트 기반 온라인 게임 세계로, 명령어를 쳐서 방을 돌아다니고 NPC와 대화한다.

LLM judge다른 LLM의 출력을 채점하는 LLM. 채점자가 사람 대신 심판을 보는 셈이라 심판 자체의 편향도 점수에 섞인다.

Cohen's κ(카파)두 평가자가 우연 이상으로 얼마나 일치하는지 보는 수치. 전체 평균이 낮아도 모델별 일치율은 크게 갈릴 수 있다.

judge ablation채점에 쓰는 LLM judge 부분을 빼고 점수와 순위가 어떻게 바뀌는지 보는 실험이다.

paired block bootstrap데이터를 묶음 단위로 반복 재추출해 순위 변화가 우연인지 확인하는 통계 방법이다.