GPT-5.6 Sol, 평화 모드 Factorio를 13.5시간에 클리어
GPT-5.6 Sol can beat Factorio on peaceful mode
TL;DR Highlight
GPT-5.6 Sol이 Codex 낮은 사고 수준으로 평화 모드 Factorio 로켓 발사까지 갔다
Who Should Read
에이전트에게 장시간 작업을 맡기며 하네스(실행 환경) 설계와 모델 평가 방법을 고민하는 개발자
Core Mechanics
- Sol이 평화 모드 Factorio를 클리어했다
- Codex에서 low thinking level로 게임 시간 13.5시간 만에 완주했다.
- 비전쟁(biter 없음) 모드 기준이다.
- 게임 관리자가 파이썬 라이브러리를 제공했다
- 모델은 작은 라이브러리로 게임을 코드로 조작했다.
- 플레이어 도달 거리와 시야 안개 같은 사람 GUI의 제약이 똑같이 적용됐다.
- 후반엔 확장 문제가 터졌다
- 저자가 예상한 블루 사이언스 단계의 확장 문제가 더 뒤에 나타났다.
- 진행 속도가 눈에 띄게 느려졌다.
- 로켓은 수작업 운반으로 발사했다
- 일부 생산 시스템을 연결하지 못했다.
- 구역 사이로 물자를 반복해서 직접 날라 메웠다.
- GPT-5.5보다 나아졌다
- 이전 GPT-5.5 시도는 운송 벨트를 아예 못 썼다.
- 저자는 Factorio가 프로그래밍과 비슷하면서 일반인도 보기 쉬워 모델 능력 직관을 쌓기 좋다고 본다.
Community Reactions
- 벨트 대신 상자와 직접 운반이 많다는 의견
- 핵심 메커닉인 벨트 연결은 일부에서만 쓰고 대부분 상자와 플레이어 운반에 의존했다는 지적이 있었다.
- 수작업이 아니라 엔지니어를 자동화 유닛으로 본 것 같다는 의견
- 영상 약 12분 지점에서 충돌하는 courier(손으로 먹이는) 스크립트를 취소하는 트레이스가 보인다는 댓글이 있었다.
- 스크립팅 레이어로 게임을 다루면 막기 어려운 허점이라는 의견이었다.
- 평화 모드와 학습 데이터가 한계라는 의견
- 평화 모드라 응답 시간이 문제가 안 되고, 모델이 공략 글과 영상을 이미 학습했다는 지적이 있었다.
- 비슷하지만 다른 게임에서는 성능이 나쁠 수 있다는 의견이었다.
- Civ 6 Deity에서는 금방 진다는 경험
- 최근 모델 몇 개를 Civ 6 Deity에 돌려 봤더니 모두 빠르게 졌다는 경험이 올라왔다.
- 하네스에 관심이 있다는 반응
- 하네스를 장기 멀티플레이 기지의 관리자로 쓰면 좋겠다는 의견이 있었고, 블루프린트 지원 계획을 묻는 질문도 있었다.
How to Apply
- 에이전트 평가에 게임형 테스트 환경 만들기
- 오늘 쓰는 에이전트가 장시간 작업을 잘하는지 보려면 규칙이 명확한 시뮬레이션을 하나 고른다.
- 사람과 같은 제약(도달 거리, 시야 등)을 코드로 강제한다.
- 에이전트의 우회 행동 기록하기
- 실행 로그에서 목표 대신 수작업 반복 같은 우회 패턴을 찾는다.
- 완료 판정과 별개로 어떻게 달성했는지도 점검 항목에 넣는다.
- 모델 비교는 같은 하네스에서 하기
- 모델과 사고 수준만 바꾸고 하네스·프롬프트는 고정해 비교한다.
- 생산량 같은 시계열 지표를 수집해 마일스톤별로 비교한다.
Try It
# Claude나 ChatGPT에 붙여넣기 — 원문 방법의 간이 버전(에이전트 우회 행동 점검)
당신은 에이전트 실행 로그를 검토하는 평가자입니다. 아래 로그에서 목표를 정식 방법 대신 수작업 반복이나 우회로 달성한 부분을 찾아주세요.
[목표]
{{에이전트 목표}}
[실행 로그]
{{로그}}
각 우회 행동마다 (1) 어떤 정식 방법을 못 썼는지 (2) 언제 시작됐는지 (3) 하네스에서 막을 방법을 표로 정리해 주세요.
이어서 해 볼 것: 같은 로그를 다른 모델에 돌려 결과를 비교해 보세요.Terminology
관련 논문
AI가 SRE를 대체하는 게 아니라 실력을 깎아먹는다
인시던트 95%를 AI에 맡기자 나머지 5%를 다룰 SRE의 실력이 녹슬 수 있다
Cursor Marketplace의 Claude Code 확장에 심어진 SSH 백도어
Cursor Marketplace의 변조된 Claude Code 확장이 SSH 백도어를 심었다
AI-native 엔지니어링 조직 만들기: FurtherAI 9개월 회고
배포 전 과정을 단계별로 자동화하자 엔지니어 1인당 일일 머지가 약 5배 늘었다
Minecraft·Mindustry에서 AI 에이전트 군집 50마리를 돌려 봤다
에이전트 50개를 Minecraft에 풀었더니 배급 장부와 관료제가 생겼다
Cursor Agent SDK 출시: 에이전트를 코드로 정의하고 한 줄로 배포
Cursor가 에이전트를 코드로 정의·배포하는 Agent SDK를 정식 공개했다
에이전트가 코드를 짜는 시대, 엔지니어가 여전히 알아야 할 것: 기초·폭넓은 지식·필요할 때 깊이 파기
에이전트가 짠 코드의 오너십은 기초, 폭넓은 지식, 즉시 깊이 파는 능력에 달렸다
AI가 일을 줄여준다더니, 이렇게 많이 일한 적이 없다
에이전트를 병렬로 돌렸더니 GitHub 활동이 엔지니어 시절 수준으로 돌아왔다
Beyond Belief: LLM은 가짜 공지를 의심하면서도 도구를 실행한다
가짜 공지를 "신뢰 낮음"으로 평가한 LLM도 27~99%는 해로운 도구 호출을 실행했다