StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

Who Should Read

코딩 에이전트를 고를 때 기존 벤치마크 점수가 실제 체감과 다르다고 느끼는 LLM 실무 개발자

Core Mechanics

• 1시간 동안 봇을 짜게 했다
  • 각 LLM은 C++로 Protoss 봇을 1시간 안에 작성한다.
  • 점수는 사람이 만든 봇 로스터를 상대로 한 평균 승률(0~100)이다.
• GPT-6 Astra가 1위다
  • 2위 GPT-6.1 Sol보다 확실히 앞선다.
  • Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37~39점 사이에서 사실상 동률이다.
• 강한 봇과 연습한 모델이 점수가 높다
  • 점수를 가장 잘 예측한 요소는 강한 봇 7개와 연습한 게임 수다.
  • Claude Fable 5.1은 약한 봇과만 연습하고도 37점을 받은 예외다.
• GPT-6.1 Sol은 가성비가 좋다
  • 2위 점수를 GPT-6 Astra의 비용 10분의 1을 조금 넘는 수준으로 냈다.
  • 가성비가 좋은 사분면에 들어간 유일한 모델이다.
• 최강 사람 봇에는 아직 못 이긴다
  • Stardust, PurpleWave, BananaBrain 상대로 GPT-6 Astra의 승률은 7%다.
  • 포화 신호가 없다는 게 저자의 결론이다.

Community Reactions

• 벤치마크 순위가 GoBench와 같다는 의견
  • 한 댓글은 9x9 바둑 GoBench 순위가 이 순위와 정확히 일치한다고 전했다.
  • 문제는 달라도 모델 순서는 같다는 이야기다.
• 학습 데이터 암기 대결이라는 반론
  • GitHub에 봇 구현이 많아서 학습 데이터를 떠올리는 대결일 뿐이라는 의견이 있었다.
  • 어떻게 사전학습 데이터 활용을 막았는지 궁금하다는 댓글도 있었다.
• 하니스가 성능을 크게 좌우한다는 의견
  • 같은 모델도 하니스, 허용 도구, thinking 수준에 따라 성능이 크게 달라진다는 의견이 있었다.
  • 웹 검색이 꺼진 상태에서 문서를 어떻게 참고하는지 궁금하다는 지적도 있었다.
• 무엇을 측정하는지 불분명하다는 의견
  • 코드 생성 속도, 논리 분석, 게임 플랫폼 이해, 전략 수립이 섞여 있다는 댓글이 있었다.
• Opus 5.5가 더 낫더라는 경험
  • ModernUO 서버에 봇을 채워 보니 GPT-6.1 Sol과 GPT-6 Astra는 일주일간 진전이 없었다는 경험담이 있었다.
  • Opus 5.5로 바꾸자 하룻밤에 제대로 다시 만들었다고 한다.

How to Apply

• 내 업무로 코딩 에이전트를 직접 비교하기
  • 오늘 실제 이슈 하나를 골라 후보 모델 2~3개에게 같은 시간 제한으로 맡겨라.
  • 각 모델이 제공하는 CLI 하니스로 돌리고 결과를 비교해라.
• 에이전트에게 강한 상대와 연습시키기
  • 에이전트 작업에 테스트나 평가 루프가 있다면 쉬운 케이스에서 어려운 케이스까지 단계별로 두어라.
  • 어려운 케이스를 일찍 돌리도록 프롬프트에 명시해라.
• 같은 모델을 여러 번 돌려 편차 확인하기
  • 중요한 에이전트 작업은 같은 설정으로 5회 돌려라.
  • 평균과 최고·최저 차이를 함께 기록해라.
• 범용 벤치마크 대신 내 과제로 모델 고르기
  • 범용 리더보드 점수와 별개로 사내 과제 몇 개를 고정 로스터로 만들어라.
  • 새 모델이 나오면 같은 로스터로 승률을 매겨라.

Try It

# Claude Code 또는 Codex에 붙여넣는 프롬프트 (논문 방법의 간이 버전)

너는 1시간 안에 {{과제: 예: 이 저장소의 느린 API 엔드포인트 최적화}}를 끝내야 한다.
규칙:
1. 먼저 쉬운 테스트부터 어려운 테스트 순서로 목록을 만든다: {{테스트 목록}}
2. 초반에 어려운 테스트를 한 번 돌려 현재 실패하는 지점을 확인한다.
3. 실패 원인을 고치고 다시 돌리는 루프를 반복한다.
4. 시간이 끝날 때 코드가 항상 빌드되는 상태여야 한다.
5. 반복마다 무엇을 연습(테스트)했고 무엇을 고쳤는지 한 줄씩 기록한다.

마지막에 어려운 테스트 통과율과 고친 내용을 요약해라.

이어서 해 볼 것: 같은 프롬프트를 모델별로 3~5번 돌려 통과율의 평균과 편차를 비교해 보자.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

• Parsimony: AI 모델이 코드를 얼마나 덧붙이는지 재는 오픈소스 벤치마크

  SWE-bench 패치를 구문 단위로 세어, 코드를 덜 늘리는 AI 모델 순위를 매겼다

Related Resources

• https://starskirmish.com/bench/v0-2/
• https://rolandgao.com/blog/gobench/
• https://replicated.live/blog/games
• https://broodbench.com
• https://news.ycombinator.com/item?id=49766966
• https://aiarena.net