닌텐도 게임기의 CPU를 AI 모델 가중치로 구현해 게임 실행까지 확인한 프로젝트가 공개됐다. 네스포머(nesformer)는 약 1GB의 큐원(Qwen) 3.5 모델 가중치를 학습시키는 대신 계산으로 만들어, NES의 6502 CPU와 작업용 RAM, 게임 카트리지의 프로그램을 모델 안에서 구동한다. 화면은 모델 바깥의 호스트 프로그램이 그려 저장하고 소리는 구현하지 않았으며, 함께 제공한 게임의 실행 기록과 화면을 기존 에뮬레이터와 대조했다. 언어모델의 구조를 계산 회로처럼 쓸 수 있다는 점과, 그 방식이 얼마나 느린지도 함께 보여주는 실험이다.
핵심요약
- 네스포머는 학습 없이 계산한 가중치로 NES의 CPU를 구현했으며, 게임 실행 중 CPU 기록은 모델이 토큰 단위로 생성한다.
- 2KB 작업용 RAM과 카트리지 프로그램도 모델의 내부 상태에 담지만, 화면 출력과 컨트롤러 입력은 외부 프로그램이 맡는다.
- 제공된 테스트 게임의 실행 기록과 저장된 화면은 기준 에뮬레이터 결과와 일치해, 단순한 화면 흉내가 아니라 명령 실행을 검증할 수 있다.
- 같은 가중치로 여러 NROM 게임을 실행할 수 있지만, 지원 범위는 제한적이고 속도는 실제 NES보다 150~290배 느리다.
- 토론에서는 검증 자료를 활용한 제작 과정에 주목하는 의견과, 일반 프로그램에 비해 계산 비용이 지나치게 크다는 평가가 함께 나왔다.
학습 대신 계산으로 만든 CPU
네스포머는 닌텐도(Nintendo)의 게임기 NES에서 쓰인 6502 CPU를 표준 큐원 3.5 모델 형식의 체크포인트(모델 가중치와 설정을 담은 파일 묶음) 안에 구현했다. NES의 2A03 칩에서 CPU에 해당하는 부분과 2KB 작업용 RAM, 카트리지의 프로그램 ROM이 실행 대상이다. 가중치는 게임 플레이 데이터를 학습해 얻은 것이 아니라 컴파일러가 각각의 값을 계산해 만들었다. 게임을 돌리면 모델은 다음 CPU 실행 기록을 한 토큰씩 예측한다.
이 작업은 디비안시 아그라왈(Divyansh Agrawal)의 퀀퓨터(Qwenputer)를 토대로 한다. 퀀퓨터는 앞서 CHIP-8과 RISC-V CPU를 큐원 3.5-4B에 구현했고, 네스포머는 그 컴파일러와 내부 상태를 메모리로 쓰는 방법을 이어받았다. 따라서 새 게임을 모델에 익히게 하는 방식이 아니라, 만들어 둔 CPU 회로에 게임의 데이터를 넣어 실행하는 방식에 가깝다. 약 1GB라는 크기보다 중요한 대목은 범용 모델 형식의 가중치를 명령 실행 회로로 바꿨다는 점이다.
화면은 밖에서, CPU 기록은 안에서
게임기 전체가 가중치에 들어간 것은 아니다. 모델 바깥의 호스트(화면과 입출력을 맡는 프로그램)가 CPU 기록을 받아 그림을 그리고, 컨트롤러 입력을 읽고, 화면 갱신에 필요한 수직 귀선 인터럽트도 일으킨다. CPU의 레지스터와 RAM은 호스트가 직접 들여다보지 않으며 실행 기록을 통해서만 확인한다. 프로젝트 설명은 실행 과정의 CPU 토큰이 모두 모델에서 나왔다고 밝힌다.
사용자는 Python 3.11 이상에서 필요한 패키지와 배포된 가중치를 설치한 뒤, 명령줄 도구에 게임 ROM을 지정해 실행할 수 있다. 터미널에 프레임을 표시하고 실행이 끝나면 애니메이션 GIF를 저장하는 기능도 있다. 컨트롤러 입력은 시작 버튼이나 방향키, 점프 버튼을 누를 프레임 구간을 미리 적어 넣는 방식이다. 프레임은 전원을 켠 시점부터 초당 60개로 세므로, 600프레임은 게임 속 시간으로 10초에 해당한다.
델타넷 상태에 담긴 RAM과 카트리지
메모리 구현의 중심에는 게이티드 델타넷(Gated DeltaNet·토큰을 처리하며 내부 상태를 갱신하는 구조)이 있다. 각 헤드는 128×128 크기의 상태 행렬을 유지하고, 모델은 이 행렬의 행을 메모리 칸처럼 읽고 쓴다. 갱신 위치와 조회 위치를 하나씩 지정하면 특정 행의 값을 바꾸거나 다시 가져올 수 있다. 카트리지 데이터와 RAM, CPU 레지스터가 이 방식으로 내부 상태에 자리 잡는다.
실행을 시작할 때 프로그램은 카트리지와 레지스터, RAM의 초기 값을 델타넷 상태에 기록한다. 그다음 모델은 매 단계 가장 가능성이 높은 토큰을 고르는 방식으로 실행 기록을 이어 간다. 같은 가중치로 다른 NROM 방식의 게임을 실행할 수 있는 이유는 게임 ROM을 시작할 때 상태에 적재하기 때문이다. 가중치를 게임마다 다시 만들 필요는 없지만, 현재 지원하는 카트리지 방식에는 한계가 있다.
배포된 체크포인트는 일반 허깅페이스(Hugging Face) 모델 폴더 형식이며, 별도의 모델 구현 코드 없이 표준 큐원 3.5 모델 클래스로 불러올 수 있다. 함께 들어 있는 설정 파일에는 기계의 각 부분을 어느 층과 헤드가 맡는지가 기록돼 있다. 이는 화면만 그럴듯하게 생성하는 데모와 구별되는 지점이다. 모델의 내부 상태가 실제 명령 실행에 필요한 저장 공간으로 쓰인다.
명령 하나가 실행 기록이 되는 과정
모델이 생성하는 토큰은 게임 화면의 픽셀이 아니라 CPU 명령의 실행 기록이다. 명령 하나가 하나 이상의 토큰으로 표현되고, 마지막 토큰이 해당 명령의 처리를 확정한다. 실제 게임 코드에서는 명령당 평균 1.1~1.3개 토큰이 나온다고 프로젝트는 설명한다. 실행 기록에는 메모리 읽기와 쓰기, 분기, 스택 처리, 입출력 같은 동작이 나타난다.
프로그램 카운터(다음에 실행할 명령의 주소)를 기록하는 방식도 간접적이다. 마지막 토큰에 명령어 길이를 담고, 델타넷의 카운터 세 개가 마지막 점프 이후 길이별 명령 수를 센다. 점프 목표 주소에 그 결과를 더해 현재 실행 위치를 구한다. 기존 퀀퓨터의 RISC-V 구현에서 사용한 방식을 NES CPU에 적용한 것이다.
기준 에뮬레이터와 맞춰 본 실행 결과
검증은 자체 기준 CPU부터 시작한다. 이 CPU는 NES 테스트 기록의 명령 3,348개와 일치했고, 게임 코드의 명령 570만 개에 대해서도 파이65(py65) 에뮬레이터와 결과가 맞았다. 이어 컴파일된 회로는 테스트 전체와 두 게임의 시작 구간 28만 3,610개 위치에서 기준 토큰을 예측했다. 표준 모델 실행 환경에서도 테스트와 게임의 2,651개 위치를 비교해 불일치를 찾지 못했다.
가중치가 스스로 토큰을 이어 생성하는 실행도 점검했다. 공식 명령어 테스트는 토큰 4,586개를 생성해 예상한 정지 지점에 도달했고, 제공된 게임 가운데 ‘스웨이트(Thwaite)’는 600프레임, ‘풀 게임(Full Game)’은 420프레임까지 실행했다. 두 게임에서 각각 저장한 화면 300장과 210장이 기준 결과와 모두 일치했다. 프로젝트는 대기 반복 구간을 건너뛰는 최적화도 화면, 입출력 기록, 사이클 시각을 바꾸지 않는다고 설명한다.
10초를 재생하는 데 약 25분
정확한 실행과 별개로 속도는 느리다. 처음 실행할 때는 넘바(Numba)로 엔진을 컴파일하는 데 약 20초가 들고, 이후에도 한 프레임을 처리하는 데 1~6초가 걸린다. 게임 속 10초에 해당하는 600프레임을 돌리는 데는 약 25분이 필요하다. 미리 적어 둔 버튼 입력이 유용한 이유도 이 속도에서 실시간 조작을 기대하기 어렵기 때문이다.
기본 엔진은 CPU 코어 하나에서 초당 약 1,650토큰을 처리했다고 프로젝트는 밝힌다. 일반 넘파이(NumPy) 엔진은 약 210토큰, 표준 트랜스포머스(Transformers) 실행은 약 10토큰인 반면, 실제 NES 속도를 내려면 초당 약 70만 토큰이 필요하다. 호스트는 아무 메모리나 입출력도 바꾸지 않는 대기 반복을 발견하면 다음 화면 처리 시점 직전으로 시간을 진행시킨다. 이 방법으로 토큰 수를 2.64.2배 줄여도 전체 실행은 실제 게임기보다 150290배 느리다.
아직 실행하지 못하는 게임과 기능
현재 실행 대상은 NROM, 즉 iNES 매퍼 0 방식을 쓰는 카트리지다. 슈퍼 마리오 브라더스(Super Mario Bros.), 동키콩(Donkey Kong), 익사이트바이크(Excitebike) 같은 게임이 예시로 제시되지만, 사용자가 ROM을 직접 준비해야 한다. 네스포머가 함께 배포하는 것은 자유 라이선스가 붙은 테스트 ROM 세 개뿐이다. 다른 방식의 게임을 지정하면 실행을 멈추고 제한 사항을 알린다.
CPU가 한 번에 볼 수 있는 프로그램 ROM은 32KB이며, 현재 모델 안의 ROM 읽기도 고정된 32KB 표를 사용한다. 더 큰 게임에서 사용하는 뱅크 전환 칩을 지원하려면 전체 ROM과 뱅크 레지스터를 상태에 넣고, CPU 주소를 실제 ROM 주소로 바꾸는 단계를 추가해야 한다. 비공식 CPU 명령이나 RAM으로의 실행 위치 이동은 정지 처리되며, 일부 인터럽트와 입출력 동작도 빠져 있다. 화면 처리 장치인 PPU와 소리 처리 장치인 APU 역시 가중치 안에 없어서 소리가 나지 않고, 화면 효과 일부는 근사적으로만 재현된다.
커뮤니티 의견
한 사용자는 이번 작업에서 AI 모델이 참고할 수 있었던 자료의 질에 주목했다. 그에 따르면 오퍼스(Opus) 5.5에 퀀퓨터 자료를 살펴보게 한 뒤 게임기 구현을 요청하는 두 차례의 지시로 작동하는 가중치와 코드가 나왔다. 오랜 에뮬레이터 개발 과정에서 축적된 명세와 정답이 있는 테스트, 기존 퀀퓨터 컴파일러가 그 과정을 떠받쳤다는 평가다.
다른 사용자는 같은 기법으로 작은 가상 머신을 모델 가중치 안에 구현할 가능성을 제기했다. 그 안에서 인터프리터나 셸 도구를 실행하면 외부 도구를 호출할 때마다 토큰을 생성하는 방식과 다른 경로가 열릴 수 있다는 생각이다. 모델의 계산 과정을 한 단계씩 살펴보는 디버깅 도구까지 상상했지만, 실제로 구현됐다는 주장은 아니었다.
효율을 기준으로 보면 감탄과 우려가 동시에 나온다는 의견도 있었다. 한 사용자는 이런 제작 실험을 좋아하면서도 어셈블리 프로그램의 간결함에 익숙한 눈에는 계산 비용이 충격적이라고 했다. 결정적으로 짜인 일반 프로그램이 얼마나 효율적인지 다시 보게 된다는 반응이다.
실제 NES보다 150~290배 느리다는 수치에 주목한 사용자는 LLM과 보통 프로그램 사이의 계산량 차이를 강조했다. 게임기 실행을 가중치 안에 구현할 수 있다는 사실과 그것을 실용적인 속도로 돌릴 수 있다는 것은 별개라는 지적이다. 답글에서는 이번 결과가 개념 증명인 만큼 최적화할 여지는 있다는 반론도 나왔다.
CPU만 흉내 낼 줄 알았다가 RAM과 ROM까지 모델 내부 상태에 들어간다는 점에 놀란 의견도 있었다. 이 사용자는 초기화 뒤 게임 실행에 필요한 외부 입력이 사실상 컨트롤러 동작이라는 점을 흥미롭게 봤다. 화면은 호스트가 맡더라도 명령 실행에 필요한 저장 공간이 모델 안에 있다는 구분을 짚은 반응이다.
반면 디지털 논리 회로를 가중치로 바꿀 수 있다는 사실 자체는 새롭지 않다는 회의론도 나왔다. 이에 대해 다른 사용자는 결과가 언어모델 실행이 반드시 불확정적이어야 한다는 인식을 되짚게 한다고 답했다. 기술적 흥미를 크게 느끼지 못한다는 더 날 선 평가도 있어, 구현의 난도와 연구적 가치를 다르게 보는 시각이 드러났다.
프로젝트 설명 문서의 작성 방식에 불만을 표한 사용자도 있었다. 그는 문서가 AI로 쓰인 듯해 읽기 어려웠다고 주장하며, 제작자가 직접 쓴 설명이 아니라면 자신도 시간을 들여 읽고 싶지 않다고 했다. 실행 결과와 별개로, 복잡한 실험을 전달하는 문서의 가독성을 문제 삼은 반응이다.
마지막으로 한 사용자는 매번 가장 가능성이 높은 토큰을 고르는 현재 방식 대신 무작위성을 넣으면 어떻게 될지 물었다. 게임 실행이 뜻밖의 방향으로 바뀔지, 아니면 유효한 명령 기록을 이어 가지 못하고 멈출지가 궁금하다는 것이다. 답글에서는 올바른 명령을 계속 생성하기가 어려울 것이라는 예상이 나왔다.
핵심통찰
네스포머가 바꾼 것은 NES를 빠르게 실행하는 방법이 아니라, 모델 가중치를 바라보는 방식이다. 학습된 문장 생성 능력 대신 계산으로 만든 회로와 갱신되는 내부 상태를 이용해 CPU와 메모리를 구동했고, 긴 실행 기록을 기준 에뮬레이터와 맞춰 확인했다. 동시에 화면은 모델 바깥에서 그려지고 소리는 구현되지 않았으며, 속도도 실제 게임기와 큰 차이가 난다. 앞으로 볼 지점은 더 많은 게임을 지원하는 것만이 아니라, 이런 내부 실행이 외부의 일반 프로그램을 쓰는 방식보다 유리해지는 작업이 실제로 있는지다.
원본: GitHub - dbreunig/nesformer: An NES CPU compiled into the weights of a stock Qwen3.5 model
토론: Hacker News