Neural Computer: AI 자체가 컴퓨터가 되는 새로운 패러다임

2026년 4월, Meta AI와 KAUST 연구팀이 Neural Computer라는 새로운 개념을 공개했습니다. AI가 컴퓨터를 "사용"하는 것이 아니라, 신경망 자체가 컴퓨터가 되는 패러다임입니다. 19명의 연구자가 참여했으며, arXiv 논문과 오픈소스 코드가 동시에 공개되었습니다.

Neural Computer란 무엇인가

Neural Computer(NC)는 계산, 메모리, I/O를 학습된 런타임 상태로 통합하는 새로운 기계 형태입니다. 기존 컴퓨터가 명시적 프로그램을 실행하고, AI 에이전트가 외부 컴퓨터를 도구로 사용하는 것과 달리, NC는 모델 자체를 실행 중인 컴퓨터로 만드는 것을 목표로 합니다.

핵심 아이디어는 비디오 디퓨전 모델(Wan2.1 기반)을 사용하여, 명령어 + 현재 화면 + 사용자 액션으로부터 다음 화면 프레임을 예측하는 방식으로 컴퓨터를 "실행"하는 것입니다.

두 가지 프로토타입

연구팀은 두 가지 프로토타입을 공개했습니다.

NCCLIGen은 터미널/CLI 환경의 Neural Computer입니다. 약 1,100시간의 학습 데이터로 훈련되었으며, 터미널 명령어와 출력을 시뮬레이션합니다.

NCGUIWorld는 그래픽 데스크톱(GUI) 환경의 Neural Computer입니다. 1,510시간의 학습 데이터를 사용하여, 마우스 클릭과 키보드 입력에 반응하는 데스크톱 환경을 시뮬레이션합니다.

아키텍처: Neural Latent Stack

Neural Computer의 아키텍처는 기존 컴퓨터 스택을 완전히 재정의합니다.

기존 컴퓨터에서 CPU가 하는 연산을 모델 가중치가 대체하고, RAM 역할을 학습된 잠재 상태가 수행합니다. 프로그래밍은 코드 작성 대신 파인튜닝으로 이루어집니다.

기존 패러다임과의 비교

Neural Computer는 기존의 컴퓨팅 패러다임과 근본적으로 다릅니다.

기존 컴퓨터는 폰 노이만 아키텍처로, 명시적 프로그램을 순차적으로 실행합니다. Neural Computer는 이 명시적 프로그램 실행을 학습으로 대체합니다.

AI 에이전트(Claude Code, GPT 등)는 기존 컴퓨터 위에서 동작하며, API를 호출하고 터미널 명령어를 실행합니다. 컴퓨터는 여전히 도구입니다. Neural Computer에서는 모델 자체가 컴퓨터입니다.

월드 모델은 환경의 역학을 예측하는 데 초점을 맞춥니다. Neural Computer는 예측을 넘어 계산 자체를 실행하는 것을 목표로 합니다.

Neural Turing Machines은 RNN에 미분가능한 메모리를 추가한 것입니다. Neural Computer는 범용 OS 환경 전체를 학습합니다.

연구팀과 연구 맥락

리드 연구자는 KAUST 박사과정의 Mingchen Zhuge입니다. 지도교수는 LSTM(Long Short-Term Memory) 발명자로 유명한 Jurgen Schmidhuber 교수입니다.

Zhuge는 20편 이상의 탑 티어 논문을 발표했고 5,000회 이상의 인용을 기록했습니다. ICLR 2024/2025/2026, ICML 2024에서 6편의 구두 발표를 했습니다.

같은 연구 조직(metauto-ai)의 다른 프로젝트도 주목할 만합니다:

• GPTSwarm: 최초 자기개선 에이전틱 솔루션 (ICML 2024 Oral, 상위 1.5%)
• Agent-as-a-Judge: 에이전트를 평가자로 활용하는 프레임워크
• Mindstorm: 자기조직화 마인드 소사이어티(NLSOM v2)

현재 한계와 주의사항

Neural Computer는 아직 초기 연구 단계입니다.

현재 프로토타입은 화면 프레임 생성이 가능하지만, 임의의 프로그램을 안정적으로 실행하는 것은 아직 불가능합니다. 환경당 1,000시간 이상의 비디오 데이터가 학습에 필요하며, 학습된 모델 가중치는 아직 공개되지 않았습니다. 오픈소스로 공개된 것은 데이터 파이프라인뿐입니다.

연구팀 자체도 Completely Neural Computer(CNC) 목표가 장기적임을 명시하고 있습니다.

커뮤니티 반응

발표 이후 여러 기술 미디어에서 주목했습니다.

• ByteBytego(80만+ 구독자)가 2026년 Top AI GitHub Repos에 선정
• SemiEngineering이 CNC를 향한 엔지니어링 로드맵 상세 분석
• 36kr에서 "에이전트와 월드 모델을 넘어서" 분석 기사 게시
• OpenReview에 등록되어 피어리뷰 진행 중

마치며

Neural Computer는 당장 실용화될 기술이 아닙니다. 하지만 컴퓨팅의 근본적인 질문을 다시 던지는 연구입니다. "소프트웨어와 하드웨어의 경계가 사라지면 무엇이 가능한가?"

현재 AI 에이전트가 기존 컴퓨터 위에서 API를 호출하고 파일을 읽는 방식에서, 모델 자체가 컴퓨터로 작동하는 미래로의 전환을 상상하게 합니다. 아직 먼 길이지만, 연구의 방향성과 Meta AI + KAUST라는 연구 역량을 고려하면 주시할 가치가 있습니다.

GitHub 레포와 arXiv 논문에서 직접 확인할 수 있습니다: metauto-ai/NeuralComputer