GPT-5.6, Grok 4.5, Claude, and Muse Spark build the same 4 apps

TL;DR Highlight

12개 LLM 모델에게 레이캐스터 미로, 루빅스 큐브, 계산기, Game of Life 앱을 각각 5번씩 만들게 해서 성공률·비용·속도를 비교한 실전 벤치마크다. GPT-5.6 Sol이 전반적으로 가장 일관된 결과를 냈고, Grok 4.5는 가성비 면에서 눈에 띄었다.

Who Should Read

LLM을 코드 생성에 활용하고 있는 개발자, 또는 여러 AI 모델 중 어떤 것을 선택해야 할지 고민 중인 풀스택/프론트엔드 개발자.

Core Mechanics

이번 테스트는 GPT-5.6의 세 가지 티어(Sol, Terra, Luna)가 출시되고, Meta가 코딩 특화 모델인 Muse Spark 1.1을 깜짝 공개한 시점에 맞춰 진행됐다. 총 12개 모델, 4가지 앱, 모델당 5번 시도라는 규모로 이전보다 훨씬 넓게 테스트했다.
오픈 가중치(open-weights) 모델로는 GLM-5.2, Qwen 3.7 Plus, DeepSeek V4 Pro, Kimi K2.6을 Fireworks를 통해 서빙해서 포함시켰다. 이전 테스트에서 오픈 모델이 없다는 커뮤니티 피드백을 반영한 것이다.
Doom 스타일 레이캐스터(1인칭 3D 미로 게임) 태스크에서는 GPT-5.6 Sol과 Luna가 5/5로 가장 높은 성공률을 기록했다. Grok 4.5도 5/5를 달성했는데, 5번 실행 비용이 $0.27에 평균 62초라 가성비 면에서 가장 돋보였다.
GLM-5.2는 레이캐스터에서 0/5를 기록했다. 시각적 디테일은 잘 렌더링했지만 어떤 시도에서도 캐릭터가 움직이지 않았다. 이는 GLM 계열 모델이 벤치마크 수치에 비해 실제 코드 생성 능력은 떨어진다는 'benchmaxxing(벤치마크 수치만 부풀리는 현상)' 의혹과 맞닿아 있다.
루빅스 큐브(3D, 스크램블+솔브 애니메이션) 태스크에서는 Claude Fable 5가 유일하게 5/5 클린 솔브를 기록했다. Claude Opus 4.8은 0/5로 의외로 부진했고, 큐브 색상이 계속 바뀌는 버그가 나타났다.
GPT-5.6 세 티어 중 Terra는 Sol 대비 비용과 시간이 절반 수준이면서 품질은 비슷하다는 평가가 나왔다. 반면 Luna는 가장 저렴하지만($0.15/5회) 품질은 Sol이나 GPT-5.5에 미치지 못한다는 평가다.
Muse Spark 1.1은 작동했을 때는 Claude Fable이나 GPT-5.6 Sol과 비슷한 수준의 결과물을 냈지만, 5번 중 3번은 완전히 망가진 결과물이 나와 일관성이 낮았다. '작동하면 훌륭하지만 신뢰하기 어렵다'는 평가.
DeepSeek V4 Pro는 레이캐스터 평균 응답 시간이 318초로 모든 모델 중 가장 느렸다. 비용($0.30)은 저렴하지만 속도가 큰 단점으로 작용한다.

Evidence

글이 AI로 작성된 것으로 보인다는 지적이 여러 댓글에서 나왔다. '두 문장짜리 관찰을 왜 직접 타이핑하지 않냐'는 비판이 있었지만, 반대로 '읽는 데 문제없고 이런 실전 테스트 방식이 다른 벤치마크보다 훨씬 낫다'는 옹호도 있었다.
LMArena가 본질적으로 이와 같은 방식의 벤치마크이며, 현재 Fable과 GPT-5.6이 web dev 리더보드에서 나란히 상위권이라는 댓글이 있었다. 이는 이번 빌드오프 결과와 일치하는 외부 검증이다.
GLM-5.2의 부진한 성적을 두고 'GLM이 벤치마크 수치는 높지만 실제 능력은 그에 못 미치는 전형적인 benchmaxxing 사례'라는 의견이 나왔다.
arena.logic.inc에서 GPT-5.6 Sol/Terra/Luna로 52개 앱을 26개 모델로 빌드한 별도 아레나를 운영 중이라는 댓글이 있었다. 여기서 흥미로운 데이터가 공유됐는데, Terra는 Sol 대비 벽시계 시간이 절반이지만 Luna는 오히려 Sol보다 23% 더 느렸다. 비용은 여전히 저렴하지만 시간만 따지면 Terra가 가장 효율적이라는 분석이다.
프롬프트가 공개되지 않은 점을 문제로 지적하는 댓글이 있었다. 특히 GLM-5.2가 SVG 렌더링에서 완전히 실패한 것이 모델 자체의 한계인지 프롬프트 방식 때문인지 알 수 없다는 것이다. 한 댓글러는 자신의 GLM-5.2 SVG 프롬프트 결과물을 직접 공유하며 모델이 아예 못 하는 건 아니라고 시사했다.

How to Apply

일관성이 중요한 프로덕션 코드 생성 작업(예: 컴포넌트 자동 생성 파이프라인)을 운영 중이라면, GPT-5.6 Sol이 가장 안정적인 선택이다. 단, 비용이 높으므로 Terra로 먼저 테스트하고 품질이 충분하면 Terra를 채택하는 방식이 효율적이다.
비용을 최소화하면서도 실용적인 수준의 코드 생성이 필요한 경우(예: 프로토타입 생성, 내부 도구 자동화), Grok 4.5는 5번 실행에 $0.27이면서 레이캐스터 5/5 달성이라 가성비 최고 옵션으로 고려할 만하다.
오픈 가중치 모델 도입을 검토 중이라면, Qwen 3.7 Plus가 비용($0.07~0.13/5회)과 속도(24~43초) 면에서 가장 경쟁력 있었다. 단, 성공률이 2/5 수준이므로 재시도 로직과 결과 검증 단계를 반드시 함께 설계해야 한다.
GLM-5.2, DeepSeek V4 Pro처럼 벤치마크 수치가 높은 중국 오픈 모델을 도입 전에는 실제 코드 생성 태스크로 직접 테스트해봐야 한다. 이번 결과에서 GLM-5.2는 레이캐스터 0/5, 루빅스 큐브 0/5로 벤치마크 수치와 실제 성능 간 큰 괴리를 보였다.

Terminology

raycaster벽에 거리에 따른 음영을 적용해 3D처럼 보이게 만드는 고전적인 렌더링 기법. 둠(Doom) 같은 게임에서 사용했던 방식이다.

open-weights모델 가중치(파라미터 값)가 공개된 모델. 직접 서버에 배포하거나 파인튜닝할 수 있다. GPT나 Claude처럼 API로만 쓰는 모델과 반대 개념.

benchmaxxing실제 능력은 그다지 뛰어나지 않지만 특정 벤치마크 테스트에서만 높은 점수를 내도록 과적합(overfitting)된 모델을 가리키는 커뮤니티 표현.

wall-clock time실제로 시계로 잰 경과 시간. GPU 연산 시간만이 아닌 네트워크 지연, 큐 대기 등 모든 시간을 포함한 사용자 체감 응답 시간이다.

one-shot여기서는 수정 없이 단 한 번의 프롬프트로 완성된 앱을 만들어내는 것을 의미한다. 이터레이션 없이 바로 완성본을 요구하는 방식이라 난이도가 높다.

CoTChain of Thought의 약자. 모델이 최종 답 전에 단계별 추론 과정을 거치도록 유도하는 기법. 복잡한 문제일수록 정확도가 높아지는 경향이 있다.