MTG Bench: LLM이 매직 더 개더링 규칙대로 턴을 시뮬레이션하는지 재 본 벤치마크

MTG Bench: Testing how well LLMs can play Magic

Jun 11, 2026•CallumFerg•View Original

TL;DR Highlight

규칙 엔진 없이 LLM에 MTG 턴을 시켰더니 gpt-5.5 medium이 95.4점으로 1위

Who Should Read

MCP 서버로 에이전트 루프를 돌리면서 모델별 비용과 도구 호출 실수가 고민인 백엔드 개발자

Core Mechanics

규칙 엔진 없이 LLM이 직접 턴을 돈다
- 원작자는 LLM이 매직을 잘 두면 규칙 엔진이 필요 없다는 전제로 만들었다.
- 라이브러리 조작(드로우, 덱 아래로 보내기, 셔플)만 MCP 서버의 기본 도구로 제공한다.
- scry나 surveil 같은 복잡한 동작은 모델이 도구를 여러 번 호출해 직접 만든다.
점수는 gpt-5.5 medium이 가장 높았다
- gpt-5.5 medium 95.4점, claude-fable-5 medium 90.3점, gpt-5.4 medium 88.6점 순이다.
- claude-opus-4-8 medium은 39.8점, deepseek-v4-pro high는 12.8점이었다.
- 같은 모델도 effort에 따라 달랐다: gpt-5.5 low 84.5점, medium 95.4점이다.
비싸다고 잘하는 게 아니었다
- 턴당 비용은 gpt-5.5 medium $0.10, claude-fable-5 medium $0.30, claude-opus-4-8 medium $0.19였다.
- claude-opus-4-8은 $0.19에 39.8점이라 gpt-5.5 medium보다 비싸고 점수는 낮았다.
- gpt-5.4-nano는 $0.01에 68.2점이었다.
도구를 너무 성급히 부르면 되돌릴 수 없다
- 카드를 뽑은 뒤 실수였다고 덱에 되돌려도 이미 카드를 봤기 때문에 시뮬레이션이 불법이 된다.
- 대표적 실패는 도구 호출을 시작한 뒤 실수를 깨닫고도 고칠 방법이 없는 경우였다.
- 모든 라이브러리 함수에 필수 reason 필드를 뒀고, Opus 4.8이 'noop', 'stop' 같은 이유로 카드 'x'를 반환하려 한 사례가 나왔다.
채점은 gpt-5.5 medium이 맡았다
- 합법성 검사와 점수 계산을 모두 gpt-5.5 (medium)로 했다.
- 작성자 테스트에서 LLM은 턴을 합법적으로 수행하는 것보다 합법인지 평가하는 것을 훨씬 잘했다.
원격 MCP는 OpenAI와 Anthropic 과금이 달랐다
- OpenAI는 원격 MCP 서버를 쓴 API 한 번 호출에서 입력 프롬프트를 한 번만 과금한다.
- Anthropic은 도구를 한 번 쓸 때마다 캐시된 시스템 프롬프트 입력비를 다시 낸다.
- 턴당 평균 입력 토큰은 gpt-5.5 (medium) 11,386, claude-fable-5 (medium) 51,610이었다.

Community Reactions

규칙 엔진을 붙여 서로 대결시키자는 의견
- 불법 수와 승리·미완료 게임을 세는 편이 낫고 LLM 채점은 신뢰하기 어렵다는 의견이 있었다.
- Card Forge를 LLM용으로 바꾸면 어떨지 궁금하다는 댓글도 있었다.
xMage 규칙 엔진으로 직접 돌려 봤다는 경험
- Elves vs Goblin 듀얼 덱으로 LLM끼리 xMage 위에서 대결시켰더니 비용이 너무 커서 deepseek 모델만 돌릴 수 있었다는 경험이 있었다.
- 이 모델들이 심각한 실수를 가끔 하고 하네스 구축이 쉽지 않다고 했다.
mage-bench로 로컬 모델을 돌려 봤다는 경험
- RTX 5090에서 로컬 모델 4개로 토너먼트를 했더니 Qwen 3.6 27B가 Gemma 4를 근소하게 이겼다는 경험이 있었다.
채점 편향과 벤치마크 이름에 대한 지적
- gpt-5.5로 채점하니 자기와 비슷하게 생각하는 모델에 유리할 수 있다는 의견이 있었다.
- 상대가 없어서 '얼마나 잘 두는가'가 아니라 규칙을 지키는지만 재는 것 아니냐는 지적도 있었다.

How to Apply

도구 호출 전에 reason 필드 필수로 만들기
- 오늘 쓰는 MCP 도구 스키마에 required 문자열 reason을 추가해라.
- 상태를 바꾸는 도구부터 적용하고, 로그에서 'noop' 같은 의미 없는 이유가 나오는지 확인해라.
되돌릴 수 없는 도구는 호출 전 확인 단계 넣기
- 호출 취소가 불가능한 도구(결제, 삭제, 비밀 조회)를 목록으로 뽑아라.
- 이런 도구는 호출 전에 한 번 더 계획을 점검하는 단계를 프롬프트에 넣어라.
에이전트 루프 비용을 모델별로 직접 재기
- 원격 MCP를 쓰는 요청에서 입력 토큰 사용량을 OpenAI와 Anthropic 각각 기록해라.
- 시스템 프롬프트가 크면 도구 호출 횟수별 과금 차이를 비교해 모델을 고르라.
실행 결과 검증은 생성과 분리하기
- 에이전트 작업 로그를 별도 모델 호출로 넘겨 규칙 위반을 검사하게 해라.
- 검증 모델은 실행 모델과 다르게 두어 편향을 줄여라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 별도 호출로 턴 합법성 검사)

당신은 카드 게임 시뮬레이션 심판이다. 아래는 에이전트가 도구를 호출하며 진행한 턴 로그다.

규칙:
- 한 번 본 카드는 덱에 되돌려도 정보가 노출된 것으로 본다.
- 되돌릴 수 없는 도구 호출 뒤에 취소나 재시작이 있으면 불법이다.
- 각 호출의 reason이 실제 행동과 맞는지 확인한다.

로그:
{{턴 로그}}

출력 형식:
1. 판정: 합법 / 불법
2. 불법이면 문제가 된 호출 번호와 이유
3. 에이전트가 스스로 실수를 보고했는지 여부

Terminology

MCPLLM이 외부 도구를 부르는 표준 규격이다. USB 포트처럼 도구 서버를 꽂아 쓴다.

원격 MCP 서버API 요청에 MCP 서버 URL을 넘기면 OpenAI나 Anthropic이 도구 호출 루프를 대신 돌려 준다.

캐시된 입력 토큰같은 앞부분 프롬프트를 다시 보낼 때 싸게 과금되는 입력이다. 할인이지만 호출마다 붙는다.

goldfishing상대 없이 혼자 덱을 돌려 보며 손패와 전개를 확인하는 연습이다.

scry덱 맨 위 카드를 보고 아래로 보낼지 정하는 매직 동작이다.

Related Resources

MTG Bench: LLM이 매직 더 개더링 규칙대로 턴을 시뮬레이션하는지 재 본 벤치마크

MTG Bench: Testing how well LLMs can play Magic

Jun 11, 2026•CallumFerg•View Original

TL;DR Highlight

규칙 엔진 없이 LLM에 MTG 턴을 시켰더니 gpt-5.5 medium이 95.4점으로 1위

Who Should Read

MCP 서버로 에이전트 루프를 돌리면서 모델별 비용과 도구 호출 실수가 고민인 백엔드 개발자

Core Mechanics

규칙 엔진 없이 LLM이 직접 턴을 돈다
- 원작자는 LLM이 매직을 잘 두면 규칙 엔진이 필요 없다는 전제로 만들었다.
- 라이브러리 조작(드로우, 덱 아래로 보내기, 셔플)만 MCP 서버의 기본 도구로 제공한다.
- scry나 surveil 같은 복잡한 동작은 모델이 도구를 여러 번 호출해 직접 만든다.
점수는 gpt-5.5 medium이 가장 높았다
- gpt-5.5 medium 95.4점, claude-fable-5 medium 90.3점, gpt-5.4 medium 88.6점 순이다.
- claude-opus-4-8 medium은 39.8점, deepseek-v4-pro high는 12.8점이었다.
- 같은 모델도 effort에 따라 달랐다: gpt-5.5 low 84.5점, medium 95.4점이다.
비싸다고 잘하는 게 아니었다
- 턴당 비용은 gpt-5.5 medium $0.10, claude-fable-5 medium $0.30, claude-opus-4-8 medium $0.19였다.
- claude-opus-4-8은 $0.19에 39.8점이라 gpt-5.5 medium보다 비싸고 점수는 낮았다.
- gpt-5.4-nano는 $0.01에 68.2점이었다.
도구를 너무 성급히 부르면 되돌릴 수 없다
- 카드를 뽑은 뒤 실수였다고 덱에 되돌려도 이미 카드를 봤기 때문에 시뮬레이션이 불법이 된다.
- 대표적 실패는 도구 호출을 시작한 뒤 실수를 깨닫고도 고칠 방법이 없는 경우였다.
- 모든 라이브러리 함수에 필수 reason 필드를 뒀고, Opus 4.8이 'noop', 'stop' 같은 이유로 카드 'x'를 반환하려 한 사례가 나왔다.
채점은 gpt-5.5 medium이 맡았다
- 합법성 검사와 점수 계산을 모두 gpt-5.5 (medium)로 했다.
- 작성자 테스트에서 LLM은 턴을 합법적으로 수행하는 것보다 합법인지 평가하는 것을 훨씬 잘했다.
원격 MCP는 OpenAI와 Anthropic 과금이 달랐다
- OpenAI는 원격 MCP 서버를 쓴 API 한 번 호출에서 입력 프롬프트를 한 번만 과금한다.
- Anthropic은 도구를 한 번 쓸 때마다 캐시된 시스템 프롬프트 입력비를 다시 낸다.
- 턴당 평균 입력 토큰은 gpt-5.5 (medium) 11,386, claude-fable-5 (medium) 51,610이었다.

Community Reactions

규칙 엔진을 붙여 서로 대결시키자는 의견
- 불법 수와 승리·미완료 게임을 세는 편이 낫고 LLM 채점은 신뢰하기 어렵다는 의견이 있었다.
- Card Forge를 LLM용으로 바꾸면 어떨지 궁금하다는 댓글도 있었다.
xMage 규칙 엔진으로 직접 돌려 봤다는 경험
- Elves vs Goblin 듀얼 덱으로 LLM끼리 xMage 위에서 대결시켰더니 비용이 너무 커서 deepseek 모델만 돌릴 수 있었다는 경험이 있었다.
- 이 모델들이 심각한 실수를 가끔 하고 하네스 구축이 쉽지 않다고 했다.
mage-bench로 로컬 모델을 돌려 봤다는 경험
- RTX 5090에서 로컬 모델 4개로 토너먼트를 했더니 Qwen 3.6 27B가 Gemma 4를 근소하게 이겼다는 경험이 있었다.
채점 편향과 벤치마크 이름에 대한 지적
- gpt-5.5로 채점하니 자기와 비슷하게 생각하는 모델에 유리할 수 있다는 의견이 있었다.
- 상대가 없어서 '얼마나 잘 두는가'가 아니라 규칙을 지키는지만 재는 것 아니냐는 지적도 있었다.

How to Apply

도구 호출 전에 reason 필드 필수로 만들기
- 오늘 쓰는 MCP 도구 스키마에 required 문자열 reason을 추가해라.
- 상태를 바꾸는 도구부터 적용하고, 로그에서 'noop' 같은 의미 없는 이유가 나오는지 확인해라.
되돌릴 수 없는 도구는 호출 전 확인 단계 넣기
- 호출 취소가 불가능한 도구(결제, 삭제, 비밀 조회)를 목록으로 뽑아라.
- 이런 도구는 호출 전에 한 번 더 계획을 점검하는 단계를 프롬프트에 넣어라.
에이전트 루프 비용을 모델별로 직접 재기
- 원격 MCP를 쓰는 요청에서 입력 토큰 사용량을 OpenAI와 Anthropic 각각 기록해라.
- 시스템 프롬프트가 크면 도구 호출 횟수별 과금 차이를 비교해 모델을 고르라.
실행 결과 검증은 생성과 분리하기
- 에이전트 작업 로그를 별도 모델 호출로 넘겨 규칙 위반을 검사하게 해라.
- 검증 모델은 실행 모델과 다르게 두어 편향을 줄여라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 별도 호출로 턴 합법성 검사)

당신은 카드 게임 시뮬레이션 심판이다. 아래는 에이전트가 도구를 호출하며 진행한 턴 로그다.

규칙:
- 한 번 본 카드는 덱에 되돌려도 정보가 노출된 것으로 본다.
- 되돌릴 수 없는 도구 호출 뒤에 취소나 재시작이 있으면 불법이다.
- 각 호출의 reason이 실제 행동과 맞는지 확인한다.

로그:
{{턴 로그}}

출력 형식:
1. 판정: 합법 / 불법
2. 불법이면 문제가 된 호출 번호와 이유
3. 에이전트가 스스로 실수를 보고했는지 여부

Terminology

MCPLLM이 외부 도구를 부르는 표준 규격이다. USB 포트처럼 도구 서버를 꽂아 쓴다.

원격 MCP 서버API 요청에 MCP 서버 URL을 넘기면 OpenAI나 Anthropic이 도구 호출 루프를 대신 돌려 준다.

캐시된 입력 토큰같은 앞부분 프롬프트를 다시 보낼 때 싸게 과금되는 입력이다. 할인이지만 호출마다 붙는다.

goldfishing상대 없이 혼자 덱을 돌려 보며 손패와 전개를 확인하는 연습이다.

scry덱 맨 위 카드를 보고 아래로 보낼지 정하는 매직 동작이다.

MTG Bench: LLM이 매직 더 개더링 규칙대로 턴을 시뮬레이션하는지 재 본 벤치마크

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

MTG Bench: LLM이 매직 더 개더링 규칙대로 턴을 시뮬레이션하는지 재 본 벤치마크

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources