고해상도 Neural Cellular Automata: 세포에서 픽셀로

Who Should Read

생성 모델이나 절차적 텍스처 합성에 관심 있는 그래픽스/ML 엔지니어, 또는 자기조직화 시스템과 인터랙티브 데모 구현에 관심 있는 연구 개발자.

Core Mechanics

• Neural Cellular Automata(NCA)는 동일한 셀들이 학습된 로컬 업데이트 규칙을 반복 적용해 복잡한 패턴으로 자기조직화하는 생물학에서 영감받은 동적 시스템인데, 기존에는 해상도가 낮은 출력에만 머물러 있었다.
• 기존 NCA가 고해상도에 취약한 이유는 세 가지다. 그리드 크기에 따라 학습 시간과 메모리가 제곱으로 늘어나고, 정보가 로컬하게만 전파되어 장거리 통신이 어려우며, 고해상도 실시간 추론에 연산 부담이 크다.
• 이 논문은 NCA가 coarse(거친) 격자 위에서 동작하게 하고, 셀 상태와 로컬 좌표를 입력받아 색상이나 노멀 같은 속성을 출력하는 경량 MLP인 LPPN(Local Pattern Producing Network)을 디코더로 붙였다. 덕분에 동일한 모델로 임의 해상도 출력이 가능하다.
• LPPN과 NCA 업데이트가 모두 로컬하게 동작하기 때문에 추론이 고도로 병렬화된다. 즉, 고해상도로 확장해도 실시간 성능을 유지할 수 있다.
• 고해상도 출력을 효율적으로 학습하기 위해 형태 생성(씨앗에서 성장하는 morphogenesis)과 텍스처 합성에 각각 맞춤형 task-specific loss를 도입했고, 추가 메모리와 연산 오버헤드는 최소화했다.
• 2D 그리드, 3D 그리드, 메쉬(3D 모델 표면) 도메인 모두에서 실험했고, MeshNCA라는 이름으로 3D 메쉬 표면에 실시간 텍스처를 자기조직화 방식으로 입히는 것도 시연했다.
• 데모 사이트에서 브러시로 직접 캔버스를 교란시키면 NCA가 손상된 패턴을 스스로 재생하는 것을 확인할 수 있으며, coarse NCA 셀 상태와 LPPN이 생성하는 최종 출력을 실시간으로 비교해볼 수 있다.
• 이 연구는 SIGGRAPH 2026에 채택됐으며, EPFL과 Google Research의 공동 연구로 arXiv에 논문이 공개되어 있고 GitHub 코드도 제공된다.

Evidence

• 브러시로 안정화된 이미지를 지나치게 덧칠하면 NCA가 이미지를 완전히 망가뜨린다는 사용자 보고가 있었다. 가로로 5번 스와이프하면 고양이 이미지가 사라진다며 영상을 공유했는데, 이는 NCA의 로컬 업데이트 특성상 교란이 너무 크면 재생이 따라가지 못하는 한계로 보인다.
• NCA가 결국 텍스처 샘플링을 로컬 룰로 흉내 내는 것 아니냐는 의문이 제기됐다. 이미지에서 학습한 규칙으로 픽셀을 생성한다면 텍스처 메모리 참조와 다를 게 없지 않냐는 것인데, 차이는 좌표를 직접 조회하는 것이 아니라 오직 로컬 정보만으로 패턴을 재현한다는 점이라는 설명이 이어졌다.
• NCA의 strictly local 업데이트가 고해상도에 병목이 된다는 논문의 주장에 대해, GPU의 CAM(Content-Addressable Memory) 스타일의 이웃 전용 트래픽으로 오히려 속도 이점을 얻을 수 있지 않냐는 반론이 제기됐다. 이에 대한 구체적인 답변은 이어지지 않았지만, 흥미로운 최적화 방향으로 주목받았다.
• 이 연구의 컨셉을 인프라에 적용하고 싶다는 아이디어가 나왔다. 클러스터 일부가 장애를 일으켜도 시스템이 스스로 재생하는 '바이오 영감 Kubernetes(별칭: Bionettes)' 같은 것이 가능하지 않겠냐는 상상이었다.
• 2020년 Distill.pub에 공개된 원조 논문 'Growing Neural Cellular Automata(https://distill.pub/2020/growing-ca/)'가 기초를 이해하기에 더 좋은 자료라는 추천이 있었고, 해당 글이 잘 쓰여졌다는 평가가 따랐다.

How to Apply

• 절차적 텍스처 생성 파이프라인을 구축 중이라면, 이 논문의 MeshNCA 방식을 참고해 3D 메쉬 표면에 자기조직화 텍스처를 실시간으로 입히는 렌더링 시스템을 설계할 수 있다. coarse NCA + LPPN 구조로 임의 해상도 출력을 지원하면서도 실시간 성능을 유지할 수 있다.
• 재생 가능한 패턴 생성 시스템이 필요하다면, NCA의 regeneration 특성을 활용해 일부가 손상돼도 스스로 복구하는 동적 비주얼 에셋이나 인터랙티브 시각화를 구현해볼 수 있다. 데모 사이트의 브러시 교란 후 복구 거동을 참고하면 된다.
• 논문의 LPPN 개념(경량 MLP로 coarse 격자 상태를 고해상도로 업샘플링)은 다른 도메인에도 적용할 수 있다. 예를 들어 저해상도 시뮬레이션 결과를 고해상도로 업샘플링하는 neural upscaler를 만들 때 이 구조를 참고할 수 있다.
• 데모를 직접 실행해보려면 cells2pixels.github.io의 인터랙티브 데모에서 브러시 모드, 타겟 이미지 변경, LPPN 스케일 조정 등을 바로 체험할 수 있다. Google Colab 링크도 제공되므로 코드 레벨 실험도 가능하다.

Terminology

관련 논문

• AI Compute Extensions (ACE) Specification — x86 CPU에 ML 연산 가속 명령어 추가

  x86 Ecosystem Advisory Group이 행렬 곱셈과 저정밀도 데이터 포맷을 하드웨어 수준에서 가속하는 새로운 x86 명령어 확장 스펙 ACE를 공개했다. ML 워크로드를 CPU에서 더 효율적으로 돌리기 위한 ISA(명령어 집합 구조) 수준의 변화라 향후 AI 추론 환경에 영향을 줄 수 있다.

• Claude API 전체 모델 오류 급증 사고 (해결 완료)

  2026년 6월 16일 약 2시간 동안 Claude의 Sonnet, Opus, Haiku 모델 전반에 걸쳐 10% 수준의 오류율이 발생한 인시던트 보고서. Claude API에 의존하는 서비스 운영자에게 장애 대응 방식과 신뢰성 문제를 다시 생각하게 만드는 사건.

• Claude/GPT 대신 로컬 모델로 일상 코딩을 완전히 대체한 사람 있나요?

  Hacker News에서 Claude/GPT를 로컬 LLM으로 완전 대체한 개발자들의 실제 셋업과 성능 경험담을 공유한 스레드로, Qwen3.6 35B를 중심으로 구체적인 하드웨어·속도·한계점까지 담겨 있어 로컬 AI 코딩 도입을 고민하는 개발자에게 현실적인 참고 자료가 된다.

• Claude 웹 UI에서 대화 기록을 일괄 삭제하는 JavaScript 스크립트

  claude.ai의 '전체 선택' 버튼이 화면에 보이는 항목만 선택하는 한계를 내부 API를 직접 호출해 우회하는 스크립트로, 모든 대화를 한 번에 삭제할 수 있다.

• DiffusionGemma: 기존 대비 4배 빠른 텍스트 생성 모델

  Google이 토큰을 순차적으로 생성하는 기존 LLM 방식 대신 256토큰 블록을 한 번에 생성하는 diffusion 방식으로 최대 4배 빠른 추론 속도를 달성한 오픈 실험 모델 DiffusionGemma를 공개했다. Apache 2.0 라이선스로 배포되며 소비자용 GPU에서도 실행 가능해 엣지 디바이스와 실시간 인터랙티브 워크플로우에 새로운 가능성을 열어준다.

• KAN(Kolmogorov-Arnold Networks)으로 FPGA에서 초고속 머신러닝 구현하기

  기존 MLP 대신 KAN 아키텍처를 FPGA에 최적화해 나노초 단위 추론과 온라인 학습을 가능하게 한 석사 논문 소개. FPGA 2026 Best Paper를 수상했고 고빈도 거래처럼 초저지연이 필수인 환경에서 주목할 만하다.

Related Resources

• 원문 프로젝트 페이지 (cells2pixels)
• Growing Neural Cellular Automata (Distill.pub, 2020)
• 브러시 교란 영상 (imgur)