JevMan: AI 의사결정 모델로 팩맨을 플레이하는 벤치마크

Who Should Read

빠른 응답이 필요한 라우팅·제어 로직에 LLM 대신 작은 의사결정 모델을 붙일지 고민하는 백엔드 개발자

Core Mechanics

• 모델마다 팩맨 100판을 돌린다
  • 각 모델은 고전 스크립트 고스트를 상대로 목숨 3개를 다 잃을 때까지 100판을 한다.
  • 판은 5분으로 제한되지만 가장 긴 판도 2분 24초였다.
• 교차로마다 방향 확률을 답한다
  • 게임은 미로·펠릿·고스트 상태를 JSON으로 보내고 모델은 방향별 확률을 돌려준다.
  • 팩맨은 그 확률로 방향을 고른다.
• 2초 넘으면 백업 규칙이 대신 움직인다
  • 답이 2초보다 늦으면 단순 백업 규칙이 대체하고 이는 backup moves로 집계된다.
  • 직접 돌린 Claude Haiku 5.5는 답의 3분의 2가 늦어 순위표에 올리지 못했다.
• 순위는 평균 점수와 오차 범위로 정한다
  • 평균 점수에 95% 오차 범위(표준오차 2배)를 쓰고 범위가 겹치면 공동 순위다.
  • 최고 점수는 한 모델의 가장 좋은 한 판이다.
• 텍스트를 쓰는 모델은 순위에서 빠진다
  • 한 번에 모든 선택지의 확률만 답하는 의사결정 모델만 순위에 오른다.
  • 일반 챗 LLM과 모델 없는 규칙은 참고용으로 Chat·Base 표시와 점수만 보인다.

Community Reactions

• 교차로가 아니라 매 틱마다 돌려야 하지 않냐는 의견
  • 팩맨은 어느 지점에서든 방향을 바꿀 수 있다는 지적이다.
• 작성자가 커뮤니티 기여로 모델 수를 두 배로 늘렸다는 업데이트
  • 새 모델이 1위를 차지했고 의사결정 모델 고스트를 상대로 1000판 넘게 플레이됐다고 한다.
• 로컬 CPU 모델도 테스트하느냐는 질문과 직접 학습해 보겠다는 경험담
  • 한 댓글러는 작은 모델로 Doom을 플레이하게 만든 적이 있고 이번 벤치마크용도 학습해 볼 계획이라고 했다.
• 일반 LLM을 기준선으로 넣으면 좋겠다는 의견
  • 모바일 조작이 불편하다는 의견과 한 판에 2센트가 든다는 농담도 있었다.

How to Apply

• 내 서비스의 지연 한도를 2초로 정해 로깅하기
  • 오늘 LLM을 호출하는 의사결정 지점 하나를 골라 응답 시간을 기록한다.
  • 2초를 넘는 비율이 얼마인지 확인한다.
• LLM 호출에 백업 규칙 폴백 붙이기
  • 타임아웃을 정하고 넘으면 단순 규칙이 대신 결정하게 한다.
  • 폴백 발동 횟수를 지표로 남긴다.
• 선택지별 확률 출력 형식으로 바꿔 보기
  • 분류·라우팅 프롬프트가 설명 없이 선택지별 확률만 JSON으로 답하게 한다.
  • 기존 텍스트 답변 방식과 지연·정확도를 비교한다.
• 점수는 평균과 오차 범위로 비교하기
  • 모델 A/B를 비교할 때 최소 100회 돌려 평균과 ±2 표준오차를 계산한다.
  • 범위가 겹치면 같은 수준으로 본다.

Try It

# Claude/ChatGPT에 붙여넣기 — 원문 방법의 간이 버전(확률만 답하는 의사결정 프롬프트)

너는 의사결정 모델이다. 설명 없이 JSON만 출력해라.
상황: {{상황 설명}}
선택지: {{선택지 목록 예: up, down, left, right}}
각 선택지가 최선일 확률을 합이 1이 되도록 {"up":0.0,"down":0.0,"left":0.0,"right":0.0} 형식으로 답해라.

이어서 해 볼 것: 같은 상황을 20번 돌려 확률이 얼마나 흔들리는지, 응답 시간이 2초 안인지 확인해 보자.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://opper.ai/jevman-benchmark/
• https://opper.ai/jevman-benchmark/#leaderboard
• https://github.com/nicobrenner/jeffy