파일로랩스(PhiloLabs)는 문장·사진·영상으로 받은 요청을 브라우저에서 걸어 다닐 수 있는 3D 공간으로 만드는 ‘페이블 5.1 월드(Fable 5.1 Worlds)’ 프로젝트를 공개했다. 결과물은 완성된 영상을 재생하는 방식이 아니라, 클로드 페이블 5.1(Claude Fable 5.1) 에이전트들이 조사하고 작성한 코드로 실행되는 Three.js 앱이다. 샌프란시스코의 광장, 교토의 거리, 영화 속 우주 전투를 나란히 보여주며, AI가 공간을 ‘그리는’ 데서 그치지 않고 어떻게 구성하고 검증하는지 살펴볼 만한 사례를 제시한다.
핵심 요약
- 파일로랩스는 짧은 글·사진·영상 클립을 입력받아 조사, 모델링, 렌더링, 검증을 거친 Three.js 공간을 만드는 과정을 공개했다.
- 샌프란시스코 유니언스퀘어와 교토 히가시야마, 영화 속 데스스타 참호를 구현해 현실 장소와 허구의 장면 모두에 같은 제작 흐름을 적용했다.
- 프로젝트는 GPT-6 아스트라(GPT-6 Astra) 결과물과 같은 카메라 경로·촬영 시점의 비교 영상을 제공하지만, 영상만으로 실행 성능이나 공간의 정확도를 모두 판단할 수는 없다.
- 지형과 거리의 출처, 고정 시점 스크린샷 비교, 독립 검토자의 결함 보고서를 남기는 방식은 그럴듯한 장면보다 수정 가능한 제작 과정을 강조한다.
- 토론에서는 높은 폴리곤 수와 메시 구조, 제작 비용, 실제 활용성을 묻는 반응이 나와 시연의 인상과 실무에서의 유용성을 구분해야 한다는 문제를 드러냈다.
입력 한 장에서 걸어 다니는 공간으로
파일로랩스가 내세운 출발점은 간단하다. 장소나 장면을 한 문장, 사진 한 장, 영상 클립으로 설명하면 여러 AI 에이전트가 이를 나눠 조사하고, 공간을 모델링하고, 화면에 그린 뒤 결과를 점검한다. 완성물은 브라우저에서 열리는 Three.js(웹에서 3D 장면을 그리는 라이브러리) 앱이며, 전용 게임 엔진이나 독점 3D 지도 타일을 쓰지 않는다고 설명한다. 건물부터 간판, 나무, 신호등까지 각 공간을 이루는 요소는 저장소에 있는 코드로 생성한다.
프로젝트의 표현인 ‘코드로 만든 세계’는 결과를 이미지 한 장으로 고정하지 않는다는 뜻이다. 거리와 건물을 어떤 규칙으로 배치하고 무엇을 그릴지 코드와 데이터로 남겨, 브라우저가 실행할 때 장면을 구성한다. 파일로랩스는 모든 공개 사례가 원샷(한 차례의 제작 시도로 얻은 결과)이라고 밝히며, 각 단계도 다시 실행할 수 있다고 설명한다. 다만 ‘한 번에 만들었다’는 말은 짧은 입력만으로 즉시 완성됐다는 뜻이 아니라, 조사와 자체 점검을 포함한 제작 흐름 전체를 가리킨다.
입력은 글·영상·이미지로 달라도 뒤에서 돌아가는 제작 흐름은 같다는 게 프로젝트의 설명이다. 요청에는 대상뿐 아니라 표현 방식도 담을 수 있다. 같은 거리를 셀 애니메이션처럼 그릴 수도, 사진에 가까운 재구성이나 야경으로 만들 수도 있다는 것이다. 정해진 화면 효과 목록에서 하나를 고르기보다 세계마다 렌더러(3D 장면을 화면에 그리는 코드)를 작성한다는 점을 차이로 제시한다.
유니언스퀘어를 같은 카메라로 비교하다
첫 공개 사례는 미국 샌프란시스코의 유니언스퀘어다. 프로젝트는 클로드 페이블 5.1의 결과와 같은 요청을 받은 GPT-6 아스트라의 결과를 나란히 보여준다. 비교 영상은 59초이며, 왼쪽에 GPT-6 아스트라, 오른쪽에 클로드 페이블 5.1이 나온다. 파일로랩스는 상대 결과물을 페이블 시연의 카메라 동선과 촬영 시점에 맞춰 촬영했고, 두 영상을 편집 없이 붙였다고 설명한다.
별도로 공개한 페이블의 단독 탐색 영상은 1920×1080 해상도다. 공중 시점에서 광장으로 내려가 닌텐도 매장과 아래층, 애플 매장 쪽으로 이어지는 경로를 보여준다. 이 사례에서 중요한 것은 건물 외관 하나의 닮은 정도만이 아니다. 보는 위치가 바뀔 때 거리의 층위와 상점, 주변 물체가 이어져야 ‘걸어 다닐 수 있는 공간’이라는 주장이 성립한다.
같은 동선의 영상은 두 결과를 살펴보는 출발점이지만, 평가의 전부는 아니다. 영상에는 카메라가 지나간 구간만 보이고, 공개된 비교 장면만으로 보이지 않는 길의 연결이나 앱 안에서의 상호작용을 확인하기는 어렵다. 프로젝트가 빌드와 코드를 함께 공개한 이유도 화면에 나타난 모습뿐 아니라 공간을 구성한 방식을 들여다볼 수 있게 하는 데 있다. 토론에서 이동하는 사람과 차량의 동작 방식에 질문이 나온 것도 이 지점이다.
교토의 일곱 장면과 지형의 단서
두 번째 사례는 교토 히가시야마다. 파일로랩스는 기온에서 석양 무렵의 기요미즈데라까지 이어지는 일곱 장면을 1920×1080 탐색 영상으로 제시했다. 약 53.9초짜리 비교 영상에서는 왼쪽에 코덱스(Codex)·GPT-6 아스트라 결과, 오른쪽에 클로드 페이블 5.1 결과를 놓았다. 두 쪽의 빌드와 코드·뷰어도 확인할 수 있도록 연결했다.
교토처럼 거리의 흐름과 높낮이가 함께 중요한 곳에서는 건물 몇 채를 닮게 그리는 것만으로 공간을 설명하기 어렵다. 이 프로젝트의 조사 단계는 지도상 건물과 도로의 형태, 고도, 교통 및 거리의 규격, 상점 분포를 각각 살핀다. 자료마다 출처와 신뢰 수준을 붙인다는 설명도 있다. 따라서 완성 화면뿐 아니라 어떤 정보를 근거로 공간을 배치했는지가 결과를 읽는 데 중요한 부분이 된다.
사진과 지도를 참고하는 제작 방식에는 화면에 보이는 인상과 실제 위치 관계 사이의 간격이 남는다. 프로젝트는 같은 위치에서 찍은 사진과 앱의 고정 시점 화면을 대조한다고 설명하지만, 이 과정이 곧 모든 거리와 건물의 일치를 보증하는 것은 아니다. 실제로 토론에서는 겹쳐 보여주는 비교 이미지의 시점이 맞지 않는다는 지적이 나왔다. 공개된 점검 절차와 개별 결과의 정확도는 따로 살펴야 한다는 문제 제기다.
데스스타 참호도 코드로 다시 그리다
세 번째 사례는 현실 지도가 아니라 영화 클립에서 출발한 ‘데스스타 참호 비행’이다. 약 28.2초짜리 비교 영상은 왼쪽 GPT-6 아스트라, 오른쪽 클로드 페이블 5.1의 결과를 보여준다. 페이블 쪽 단독 영상은 접근, 기체 날개 전개, 요격, 급강하, 참호 비행, 어뢰 발사와 폭발까지 장면의 순서를 따라간다. 입력 매체가 달라도 같은 제작 흐름을 적용할 수 있다는 프로젝트의 주장을 보여주는 사례다.
파일로랩스는 이 장면을 공식 협업이 아닌 팬 작업이라고 명시한다. 영화 영상이나 음향, 모델, 텍스처를 가져와 배포하지 않았고, 참고 클립은 촬영 장면의 순서와 화면 분위기를 정하는 데 썼다고 설명한다. 우주선과 참호 등을 이루는 자산은 함께 공개한 코드가 절차적으로 생성한다. 절차적 생성은 완성된 3D 모델을 내려받아 배치하는 대신 규칙과 코드로 형태를 만들어 내는 방식이다.
이 사례는 프로젝트가 말하는 ‘세계’의 범위를 분명히 한다. 현실 공간에서는 지도와 고도 자료가 뼈대를 제공하지만, 영화 장면에서는 영상에서 읽어낸 동선과 미술 방향이 그 자리를 차지한다. 두 경우 모두 최종적으로는 브라우저에서 움직일 수 있는 공간을 만든다. 다만 특정 장면을 재현하는 일과 영화 전체의 세계를 자유롭게 탐험할 수 있게 만드는 일은 규모가 다른 과제다.
조사 에이전트가 공간의 뼈대를 잡는다
제작 흐름의 첫 단계는 정찰에 해당하는 조사다. 병렬로 움직이는 에이전트들이 지도상의 형태와 지형 높이, 교통, 거리 시설의 규격, 상점 현황을 모은다. 프로젝트는 수집한 사실마다 출처와 신뢰 수준을 기록한다고 밝혔다. 에이전트가 그럴듯한 건물을 임의로 채우기 전에 공간의 배치 근거를 모으는 단계다.
현실 장소의 형태를 만드는 데는 오픈스트리트맵(OpenStreetMap), 미국 지질조사국의 USGS 3DEP, 일본 국토지리원의 고도 서비스가 쓰인다. 지도 정보와 고도 정보는 각기 다른 질문에 답한다. 무엇이 어디에 있는지뿐 아니라, 길이 어떻게 오르내리고 주변 건물과 어떤 높이 관계를 이루는지가 이동 시점의 장면을 바꾼다. 프로젝트가 사진과 짧은 설명 외에 지리 자료를 조사하는 이유다.
조사의 결과는 화면 뒤편에 숨겨진 일회성 메모로 끝나지 않는다. 이어지는 자산 생성과 실행 단계에서 사용할 규격으로 전달되고, 나중에 화면을 검증할 때도 근거가 된다. 프로젝트가 공간을 ‘코드’로 만들었다고 강조하는 이유에는 이렇게 수집·구성·수정의 경로를 남긴다는 뜻도 있다. 눈에 띄는 장면을 만드는 작업과 근거를 추적할 수 있게 하는 작업을 한 제작 흐름에 묶은 셈이다.
건물과 차량을 조립하는 실행 단계
조사 다음에는 각 공간에 필요한 자산을 만든다. 스크립트가 건물 외벽의 부품, 가로 시설물, 차량, 식생과 각종 설비를 생성한다. 어떤 공간은 별도 바이너리 자산 없이 실행할 때 모든 텍스처(물체 표면의 색과 무늬를 표현하는 자료)를 그린다고 프로젝트는 설명한다. 미리 준비된 모델 묶음을 가져다 붙이기보다 그 장소에 필요한 부품을 코드로 만든다는 접근이다.
실행 단계에서는 Three.js 앱이 JSON(데이터를 구조화해 적는 형식) 규격을 읽어 지형과 도로, 건물 외벽, 소품, 군중과 교통을 조립한다. 이 구성은 완성된 한 장면을 보여주는 것과 달리, 카메라를 움직였을 때도 같은 배치가 이어져야 한다. 프로젝트가 결과물을 ‘영상’이 아니라 ‘걸어 나올 수 있는 세계’라고 부르는 배경이다. 각 세계에 맞는 렌더러를 작성한다는 설명도 정해진 스타일을 입히는 수준을 넘어 화면 표현 자체를 조정한다는 뜻이다.
동시에 코드로 물체를 만들었다는 사실만으로 게임이나 전문 제작 현장에 곧바로 쓸 수 있는 자산이 되는 것은 아니다. 토론에서는 단순한 형태에도 폴리곤(3D 표면을 이루는 다각형)이 많고, 메시의 연결 구조가 정리되지 않아 활용이 어렵다는 의견이 나왔다. 움직이는 사람과 차가 어떤 규칙으로 동작하는지 궁금하다는 반응도 있었다. 실행되는 공간이라는 장점과 자산의 효율·편집 용이성은 별개의 평가 항목인 셈이다.
사진 대조와 독립 검토자의 결함 보고서
검증 단계에서는 플레이라이트(Playwright)로 실제 앱을 열어 정해진 시점의 화면을 촬영한다. 이렇게 얻은 스크린샷을 같은 위치에서 촬영한 사진과 비교해 차이를 확인한다. 건축, 지리, 테크니컬 아트, 상호작용 분야의 검토 에이전트도 각자 보고서를 작성하고, 그 결과가 다음 수정 작업으로 이어진다. 파일로랩스는 제작자가 자기 결과물을 직접 채점하지 않는다고 설명한다.
각 세계에는 발견된 결함을 포함한 품질검증(QA) 보고서가 따라붙는다. 이는 흠이 없는 결과라고 주장하기보다 어디를 고쳐야 하는지 기록하는 방식이다. 특히 한 장의 인상적인 스크린샷으로 끝내기 쉬운 3D 시연에서는 고정 시점 비교와 결함 목록이 결과를 다시 살펴볼 실마리가 된다. 반대로 사진과 화면의 구도 자체가 어긋난다면 차이 비교의 설득력도 떨어지므로, 검증 방법 역시 검토 대상이다.
파일로랩스는 코드와 생성 자산에는 MIT 라이선스를 적용한다고 밝혔다. 지리 정보에는 오픈스트리트맵의 ODbL 등 원천 자료의 조건이 따르며, 참고 사진은 저장소에서 재배포하지 않고 세계별로 출처를 기록한다. 현실 상점의 이름과 로고는 해당 위치의 사업체를 식별하는 요소로 쓰였고 권리는 각 소유자에게 있다고 명시했다. 코드가 공개돼 있다는 사실과 화면에 등장하는 모든 요소를 같은 조건으로 쓸 수 있다는 뜻은 구별해야 한다.
커뮤니티 의견
한 사용자는 자신이 만드는 실시간 전략 게임에서도 비슷한 방식을 시험했다며, 결과가 보기에는 좋아도 단순한 물체에 폴리곤이 지나치게 많다고 지적했다. 게임에 쓸 자산이라면 AI로 저폴리곤 윤곽을 만들고 창문·문 같은 세부 사항은 텍스처로 표현하는 편이 낫다는 제안이다. 다른 모델도 비슷한 결과를 더 저렴하게 낼 수 있다고 봤으며, 이런 최적화를 AI가 스스로 처리하려면 추가 학습이 필요하다고 주장했다.
다른 사용자는 영상에서 보이는 사람과 차량의 밀도가 인상적이라며, 이들이 정해진 경로만 따라 움직이는지 궁금해했다. 시연 영상은 결과의 분위기를 빠르게 전달하지만 군중과 교통이 실제로 어떻게 동작하는지는 드러내지 못한다는 취지다. 답글에는 관련 코드를 가리키는 링크가 달렸다. 관심이 화면의 모양에서 앱 내부의 움직임으로 옮겨간 반응이다.
비교 자료를 문제 삼는 의견도 나왔다. 한 사용자는 사진과 생성 화면을 겹친 이미지가 서로 제대로 맞지 않는다며, 이를 정확도의 증거처럼 제시하기 어렵다고 지적했다. 같은 위치를 비교한다는 절차가 유효하려면 시점과 구도가 먼저 맞아야 한다는 논리다. 시연 자체에 감탄하는 반응과 별개로 검증 자료의 품질을 따져 보자는 목소리다.
‘월드 모델’이라는 이름이 기대와 다르다는 반응도 있었다. 한 사용자는 최소한 세계를 시뮬레이션할 수 있어야 그 이름에 걸맞는다고 봤다. 또 다른 답글은 인간이 가진 감각적·물리적 세계 이해와 생성된 생각을 대조하는 능력을 떠올리며, 이 프로젝트에는 같은 용어를 쓰지 말아야 한다고 주장했다. 걸어 다닐 수 있는 3D 장면과 세계의 작동 원리를 이해하는 모델을 구별하자는 의견이다.
실용성을 두고도 의견이 갈렸다. 한 사용자는 이런 결과물이 늘 인상적이지만 복잡한 메시 구조와 텍스처 작업 때문에 시연이나 단순한 게임을 넘어 쓰기 어렵다고 말했다. 반면 다른 사용자는 전문 작업에서도 유용하게 쓰고 있다고 답했다. 또 다른 답글은 영화와 게임의 장면도 제작 과정에서 점진적으로 다듬어진다며, 초기 결과를 완성품의 기준으로만 보지 말자고 했다.
제작 시간과 비용을 묻는 사용자는 실패한 시도가 몇 번이었는지, 사람이 중간에 얼마나 손을 봐야 했는지도 알고 싶어 했다. 이에 달린 답글은 유니언스퀘어 사례의 긴 프롬프트에 하위 에이전트 사용과 자체 점검 절차를 자세히 지시했다고 설명했다. 답글에 제시된 수치는 약 2시간, 총 800만 토큰, API 비용 약 33달러다. ‘원샷’이라는 표현 뒤에도 상당한 실행량과 구체적인 작업 지시가 있다는 점을 보여준다.
한 사용자는 이런 방식으로 도시 전체를 만들되 훨씬 저렴한 모델을 쓰고 싶다고 했다. 답글에서는 가격이 낮은 다른 모델이라면 3D 모델링에서 어떤 결과를 낼지 궁금하다는 반응이 이어졌다. 개별 광장이나 거리를 넘어 규모를 키우려면 장면 하나의 완성도뿐 아니라 반복 제작 비용이 중요하다는 관점이다.
비슷한 공간을 만든 경험을 공유한 사용자도 있었다. 그는 오픈스트리트맵을 우선 자료로 삼고 스크린샷을 보며 화면의 미감을 조정하는 방식이 효과적이었다고 말했다. 이어 Three.js와 페이블 5.1의 반복 수정만으로 화면의 충실도를 어디까지 높일 수 있을지 궁금해했다. 지도 기반 구조와 시각적 조정을 결합하는 방법이 이번 프로젝트만의 일회성 발상은 아니라는 의견이다.
핵심 통찰
페이블 5.1 월드의 흥미로운 지점은 AI가 보기 좋은 3D 화면을 만들었다는 사실보다, 조사 자료와 생성 코드, 실행 앱, 결함 보고서를 하나의 제작 과정으로 묶었다는 데 있다. 그 덕분에 결과를 감상하는 데서 멈추지 않고 배치 근거와 수정 지점을 따져볼 수 있다. 앞으로는 같은 카메라로 찍은 영상의 인상보다 비교 사진의 정렬, 이동 물체의 동작, 자산의 효율, 반복 제작의 비용을 봐야 한다. 코드로 걸어 다닐 공간을 만드는 능력이 실무의 도구가 될지는 그 항목들을 얼마나 안정적으로 개선하느냐에 달렸다.
원본: GitHub - PhiloLabs/fable51-worlds: worlds via code, from fable 5.1
토론: Hacker News