LLM 16종이 TIS-100 퍼즐을 풀었다: 커뮤니티 기록을 깬 모델들
LLMs Play Zachtronics' TIS-100
TL;DR Highlight
LLM 16종에 TIS-100을 풀게 했더니 18개 퍼즐에서 새 최적점 133개가 나왔다
Who Should Read
에이전트에 코드 실행·피드백 루프를 붙여 성능을 끌어올리려는 LLM 앱 개발자
Core Mechanics
- 16개 모델이 55퍼즐에 도전
- 모델마다 퍼즐당 한 번(pass@1), 난이도별 10~45분이 주어졌다.
- 커뮤니티 리더보드와 정확한 기록은 모델에게 숨겼다.
- 새 최적점 133개, 퍼즐 18개
- 새 최적점은 사이클·노드·명령어 세 점수에서 기존 커뮤니티 해답이 동시에 같거나 앞서지 못하는 해답이다.
- 그중 18개는 커뮤니티 기록을 완전히 넘었고, 나머지 115개는 새로운 절충안이다.
- Opus 5.5와 GPT-6 Astra가 공동 선두
- 둘 다 55퍼즐을 전부 풀었고 11개 퍼즐에서 새 최적점을 냈다.
- 새 점수는 Opus 5.5가 72 대 32로 많았고, 기록 근접도는 GPT-6 Astra가 78.0 대 77.2로 높았다.
- 푸는 능력과 최적화 능력은 별개
- Gemini 3.8 Flash는 53개를 풀고 새 최적점은 1개 퍼즐이었다.
- Fable 5.1은 52개를 풀고 5개 퍼즐에서 새 최적점을 냈다.
- 비용이 품질을 보장하지 않는다
- GPT-6.1 Sol은 퍼즐당 약 $0.75로 근접도 75.6이었다.
- Opus 5.5는 $5.08로 77.2라서 비용은 7배, 점수는 2점 높았다.
- Fable 5.1은 $7.19로 가장 비싼데 70.2였다.
- 속도(사이클)가 가장 어렵다
- 모델 평균 근접도는 노드 72, 명령어 56, 사이클 45였다.
- 새 최적점은 어려운 퍼즐 14개, 중간 4개에서 나왔고 쉬운 퍼즐에는 없었다.
- 진단 정보를 주니 전부 좋아졌다
- 별도 실험(6퍼즐)에서 목표 기록, 사이클별 프로파일, 10,000개 무작위 테스트, 최대 60분을 줬다.
- 5개 모델 모두 평균 근접도가 올랐고, 30쌍 중 28쌍에서 점수가 상승했다.
- 정보·도구·시간을 함께 바꿨기 때문에 무엇이 가장 효과적이었는지는 알 수 없다고 한다.
Community Reactions
- 풀이가 인터넷에 널리 공개돼 있는데도 모델 성적이 의외로 낮았다는 의견
- 일부 모델이 퍼즐을 많이 못 푼 점이 인상적이라는 반응이다.
- 사람 리더보드가 있는 Zachtronics류 게임이 앞으로도 가능할지 묻는 의견
- LLM이 최적화 퍼즐을 풀게 되면 사람 순위 경쟁이 유지될 수 있을지 걱정하는 질문이다.
- TIS-100을 직접 해 봤더니 머리가 확장되는 느낌이었다는 경험
- 20번째 퍼즐 즈음까지만 갔고 웹이나 TUI 샌드박스 포팅이 있으면 좋겠다는 의견도 있었다.
How to Apply
- 코드 실행 에이전트에 실패 진단을 돌려주기
- 오늘 쓰는 코드 실행 툴이 "실패"만 반환한다면 불일치한 출력, 레지스터, 막힌 포트 같은 상세 정보를 같이 반환하게 바꾸자.
- 모델이 다음 수정을 증거 기반으로 하게 된다.
- 최고 결과를 저장하는 get_best 툴 만들기
- 에이전트가 반복 개선하는 작업이라면 통과한 결과를 따로 저장하고 언제든 복구할 수 있게 하자.
- 위험한 수정을 해도 이전 성과가 날아가지 않는다.
- 조기 종료 시 리마인더 넣기
- 모델이 일찍 끝내려 하면 "계속 테스트하라"는 문구만 보내자.
- 해법 힌트는 넣지 않는다.
- 모델 선택은 비용 대비 점수로 비교하기
- 자체 평가셋에서 모델별 비용과 점수를 같이 기록하자.
- 이 벤치마크처럼 비싼 모델이 항상 더 좋지는 않다.
Try It
# Claude나 ChatGPT 대화창에 붙여넣기 (논문 방법의 간이 버전: 진단 기반 반복 개선)
너는 코드 최적화 에이전트다. 아래 {{문제}}를 푼다.
규칙: 통과하는 해답을 먼저 만들고, 이후 한 번에 한 가지만 바꿔 개선한다.
매 단계마다 다음을 기록한다.
- 현재 최고 해답과 점수 (속도, 메모리, 코드 길이)
- 이번 수정이 어떤 병목을 겨냥했는지
- 실패하면 어떤 입력에서 틀렸는지
{{문제}}
이어서 해 볼 것: 단계마다 내가 {{실행 결과나 프로파일}}을 붙여 주면 그걸 근거로 다음 수정을 제안하게 해 보자.Terminology
관련 논문
Claude는 대규모 단백질 서열로 학습됐다: next-amino-acid 테스트 결과
연구가 안 된 단백질의 다음 아미노산을 맞히자 최신 Claude만 통했다
짧게 기억됐다: 저장된 선호가 의사결정에 필수적인 정보를 조용히 지운다
메모리에 '짧게' 선호가 저장되면 경고가 조용히 빠지고, 2단계 답변이 내용을 되살렸다
AI가 생성한 코드는 전부 오픈소스여야 한다는 주장
AI가 쓴 코드는 오픈소스로 공개해야 한다는 주장에 HN 댓글은 대체로 반대했다
수천 개 대화가 LLM 내부에서 어떻게 보이는가: Qwen3-1.7B 상태 지도
Qwen3-1.7B 내부 상태를 시각화했더니 중국어만 영어와 확연히 떨어졌다
AI로 코드는 빨라졌는데 왜 배포는 안 빨라질까: 활동과 성과의 간극
AI가 코드 작성은 빠르게 했지만 배포 속도는 그만큼 오르지 않았다는 발표
AI가 만든 코드베이스는 왜 쉽게 깨지는가
AI로 코드를 100% 생성했더니 얕은 테스트·복잡한 코드·이해 부족이 쌓인다는 경험담
통과했지만 틀렸다: API 마이그레이션 후 LLM 코드 수리의 조용한 실패
릴리스 노트 기반 엣지 입력 하나로 틀린 수리 통과율이 0.410에서 0.065로 줄었다
노트북의 Qwen 3.8 27B도 모델 가중치를 해석한다
로컬 Qwen 3.8 27B에 가중치 숫자만 줬더니 게임 3종을 맞혔다