Show HN: High-Res Neural Cellular Automata

TL;DR Highlight

EPFL과 Google Research가 공동 개발한 Neural Cellular Automata(NCA)를 고해상도로 확장하는 기법으로, 기존 NCA의 해상도 한계를 경량 신경망 디코더로 극복한 SIGGRAPH 2026 논문이다.

Who Should Read

생성 모델이나 절차적 텍스처 합성에 관심 있는 그래픽스/ML 엔지니어, 또는 자기조직화 시스템과 인터랙티브 데모 구현에 관심 있는 연구 개발자.

Core Mechanics

Neural Cellular Automata(NCA)는 동일한 셀들이 학습된 로컬 업데이트 규칙을 반복 적용해 복잡한 패턴으로 자기조직화하는 생물학에서 영감받은 동적 시스템인데, 기존에는 해상도가 낮은 출력에만 머물러 있었다.
기존 NCA가 고해상도에 취약한 이유는 세 가지다. 그리드 크기에 따라 학습 시간과 메모리가 제곱으로 늘어나고, 정보가 로컬하게만 전파되어 장거리 통신이 어려우며, 고해상도 실시간 추론에 연산 부담이 크다.
이 논문은 NCA가 coarse(거친) 격자 위에서 동작하게 하고, 셀 상태와 로컬 좌표를 입력받아 색상이나 노멀 같은 속성을 출력하는 경량 MLP인 LPPN(Local Pattern Producing Network)을 디코더로 붙였다. 덕분에 동일한 모델로 임의 해상도 출력이 가능하다.
LPPN과 NCA 업데이트가 모두 로컬하게 동작하기 때문에 추론이 고도로 병렬화된다. 즉, 고해상도로 확장해도 실시간 성능을 유지할 수 있다.
고해상도 출력을 효율적으로 학습하기 위해 형태 생성(씨앗에서 성장하는 morphogenesis)과 텍스처 합성에 각각 맞춤형 task-specific loss를 도입했고, 추가 메모리와 연산 오버헤드는 최소화했다.
2D 그리드, 3D 그리드, 메쉬(3D 모델 표면) 도메인 모두에서 실험했고, MeshNCA라는 이름으로 3D 메쉬 표면에 실시간 텍스처를 자기조직화 방식으로 입히는 것도 시연했다.
데모 사이트에서 브러시로 직접 캔버스를 교란시키면 NCA가 손상된 패턴을 스스로 재생하는 것을 확인할 수 있으며, coarse NCA 셀 상태와 LPPN이 생성하는 최종 출력을 실시간으로 비교해볼 수 있다.
이 연구는 SIGGRAPH 2026에 채택됐으며, EPFL과 Google Research의 공동 연구로 arXiv에 논문이 공개되어 있고 GitHub 코드도 제공된다.

Evidence

브러시로 안정화된 이미지를 지나치게 덧칠하면 NCA가 이미지를 완전히 망가뜨린다는 사용자 보고가 있었다. 가로로 5번 스와이프하면 고양이 이미지가 사라진다며 영상을 공유했는데, 이는 NCA의 로컬 업데이트 특성상 교란이 너무 크면 재생이 따라가지 못하는 한계로 보인다.
NCA가 결국 텍스처 샘플링을 로컬 룰로 흉내 내는 것 아니냐는 의문이 제기됐다. 이미지에서 학습한 규칙으로 픽셀을 생성한다면 텍스처 메모리 참조와 다를 게 없지 않냐는 것인데, 차이는 좌표를 직접 조회하는 것이 아니라 오직 로컬 정보만으로 패턴을 재현한다는 점이라는 설명이 이어졌다.
NCA의 strictly local 업데이트가 고해상도에 병목이 된다는 논문의 주장에 대해, GPU의 CAM(Content-Addressable Memory) 스타일의 이웃 전용 트래픽으로 오히려 속도 이점을 얻을 수 있지 않냐는 반론이 제기됐다. 이에 대한 구체적인 답변은 이어지지 않았지만, 흥미로운 최적화 방향으로 주목받았다.
이 연구의 컨셉을 인프라에 적용하고 싶다는 아이디어가 나왔다. 클러스터 일부가 장애를 일으켜도 시스템이 스스로 재생하는 '바이오 영감 Kubernetes(별칭: Bionettes)' 같은 것이 가능하지 않겠냐는 상상이었다.
2020년 Distill.pub에 공개된 원조 논문 'Growing Neural Cellular Automata(https://distill.pub/2020/growing-ca/)'가 기초를 이해하기에 더 좋은 자료라는 추천이 있었고, 해당 글이 잘 쓰여졌다는 평가가 따랐다.

How to Apply

절차적 텍스처 생성 파이프라인을 구축 중이라면, 이 논문의 MeshNCA 방식을 참고해 3D 메쉬 표면에 자기조직화 텍스처를 실시간으로 입히는 렌더링 시스템을 설계할 수 있다. coarse NCA + LPPN 구조로 임의 해상도 출력을 지원하면서도 실시간 성능을 유지할 수 있다.
재생 가능한 패턴 생성 시스템이 필요하다면, NCA의 regeneration 특성을 활용해 일부가 손상돼도 스스로 복구하는 동적 비주얼 에셋이나 인터랙티브 시각화를 구현해볼 수 있다. 데모 사이트의 브러시 교란 후 복구 거동을 참고하면 된다.
논문의 LPPN 개념(경량 MLP로 coarse 격자 상태를 고해상도로 업샘플링)은 다른 도메인에도 적용할 수 있다. 예를 들어 저해상도 시뮬레이션 결과를 고해상도로 업샘플링하는 neural upscaler를 만들 때 이 구조를 참고할 수 있다.
데모를 직접 실행해보려면 cells2pixels.github.io의 인터랙티브 데모에서 브러시 모드, 타겟 이미지 변경, LPPN 스케일 조정 등을 바로 체험할 수 있다. Google Colab 링크도 제공되므로 코드 레벨 실험도 가능하다.

Terminology

Neural Cellular Automata (NCA)Conway의 생명 게임처럼 각 셀이 이웃 셀만 보고 규칙에 따라 상태를 업데이트하는데, 그 규칙 자체를 신경망으로 학습한 시스템. 전체를 중앙에서 제어하지 않아도 복잡한 패턴이 자연스럽게 나타난다.

LPPN (Local Pattern Producing Network)coarse(거친) NCA 셀 상태와 로컬 좌표를 입력받아 최종 픽셀 색상이나 노멀 등을 출력하는 경량 MLP. 저해상도 정보를 고해상도로 변환하는 디코더 역할을 한다.

Morphogenesis씨앗처럼 작은 초기 상태에서 시작해 복잡한 구조로 성장하는 과정. 생물의 배아 발생에서 따온 개념으로, NCA에서는 단일 셀에서 전체 이미지 패턴이 자라나는 것을 의미한다.

Coarse Grid전체 출력 해상도보다 훨씬 낮은 해상도의 격자. NCA는 이 거친 격자에서만 연산하고, LPPN이 그 사이를 채워 최종 고해상도를 만든다.

MeshNCA3D 모델의 표면(메쉬) 위의 꼭짓점들을 NCA 셀로 삼아, 메쉬 표면에 직접 텍스처를 자기조직화 방식으로 생성하는 이 논문의 확장 기법.

Euler Integration시간에 따른 상태 변화를 근사 계산하는 수치 방법. 스텝이 너무 크면 계산이 발산(overshooting)할 수 있어, 논문에서는 격자 간격(Δx, Δy) 변경 시 시간 스텝(Δt)을 자동 조정한다.