지니 4, 실시간으로 바꾸는 AI 세계의 가능성과 빈틈

구글 딥마인드(Google DeepMind)가 화면 속 세계를 실시간으로 만들고, 사용자의 지시에 따라 바꾸는 월드 모델(가상 환경의 변화와 반응을 생성하는 AI) 지니 4(Genie 4)를 공개했다. 이용자가 장면을 탐색하는 동안 날씨나 등장인물을 바꾸면 영상과 소리도 함께 이어진다는 것이 구글의 설명이다. 창작 도구를 넘어 로봇과 AI 에이전트의 훈련 환경으로 쓰겠다는 구상도 담겼다. 다만 공개된 시연을 본 개발자들은 화면 밖 사물이 달라지는 문제를 짚으며, 그럴듯한 장면 생성과 안정적인 세계 시뮬레이션 사이의 거리를 물었다.

핵심요약

  • 지니 4는 사용자의 이동과 텍스트 지시에 맞춰 영상과 소리를 실시간으로 생성해, 미리 만들어 둔 장면을 재생하는 방식과 다른 탐색 경험을 내세운다.
  • 구글은 제미나이(Gemini) 모델이 장면의 흐름을 살피고 작업 순서를 계획하도록 결합해, 여러 단계에 걸친 사건을 시뮬레이션하려 한다.
  • 영화 장면 구상, 옛 사진의 공간화, 게임 시제품 제작, 로봇 훈련용 시나리오 생성이 시험 중이지만, 지니 4는 아직 신뢰할 수 있는 테스터 대상 연구 미리보기다.
  • 구글은 짧은 세션의 일관성을 강조하면서도, 시간이 지나거나 시점을 옮기면 사물의 모습과 위치가 달라질 수 있다고 인정했다.
  • Hacker News 토론에서는 발전 속도를 높이 평가하는 의견과, 화면 밖 사물의 지속성이 부족한 모델을 ‘세계 시뮬레이션’이라 부를 수 있느냐는 반론이 맞섰다.

장면을 만들고 그 안으로 들어간다

구글 딥마인드는 지니 4가 사진처럼 보이는 장면, 자연스러운 움직임, 소리를 한꺼번에 생성한다고 소개했다. 이용자는 일반적인 키보드 조작으로 이동하거나 카메라를 돌리고, 텍스트 지시로 진행 중인 장면을 바꿀 수 있다. 구글이 공개한 영상은 이렇게 실시간으로 상호작용한 결과를 녹화한 것이다. 완성된 영상 한 편을 요청하는 생성 모델보다, 만들어지는 환경 안에서 다음 행동을 정한다는 점에 초점을 맞췄다.

이용자가 사건을 시작하면 모델은 주변이 어떻게 반응하고 어떤 소리가 나며 등장인물이 어떻게 움직이고 말할지를 이어서 생성한다. 구글은 제미나이 계열의 능력을 활용해 장면의 외형과 행동을 현실에 가깝게 잡고, 별도 모델의 추론으로 흐름의 일관성을 돕는다고 설명했다. 이는 로봇과 에이전트의 훈련 환경부터 새로운 형태의 상호작용 경험까지 염두에 둔 설계다. 다만 지금 공개된 것은 폭넓게 쓸 수 있는 완성품이 아니라 제한된 연구 미리보기다.

문장으로 날씨와 카메라를 바꾼다

첫 번째로 강조한 능력은 진행 중인 장면을 자연어로 수정하는 것이다. 이용자가 날씨를 바꾸거나 카메라를 이동시키고 새 사람이나 물체를 넣으라고 하면, 제미나이가 주변 맥락에 맞게 지시를 해석한다. 지시가 없는 동안에도 제미나이는 장면을 살피며 흐름이 이어지도록 조정한다. 입력할 때만 반응하는 도구가 아니라, 그 사이에도 세계가 계속 진행되는 경험을 목표로 한다.

구글은 호수 위에 떠 있는 구조물과 색소폰 연주자, 초원 위에서 바람에 흔들리는 분홍색 천, 남극 상공의 열기구 등 서로 다른 장면을 예로 들었다. 예시 지시에는 첫 화면의 구도와 재질, 카메라 움직임, 소리까지 촘촘하게 적혀 있다. 색소폰 장면은 연주자의 손가락과 몸짓을 자연스럽게 유지하면서 카메라가 호수 위를 독립적으로 움직이도록 요구한다. 실시간 수정 능력과 함께, 원하는 결과를 얻기 위해 얼마나 세밀한 지시가 필요한지도 드러나는 대목이다.

바람과 충돌, 사람의 움직임

구글은 지니 4가 공기역학과 충돌 같은 물리 현상을 다룰 수 있으며, 특히 사람의 행동을 더 자연스럽게 시뮬레이션한다고 주장했다. 등장인물이 환경에 반응하고 이용자의 개입에 따라 움직임을 바꿀 수 있다는 설명이다. 시연에는 돌 받침대 위 수박, 떨어지는 단풍나무 씨앗, 승객으로 붐비는 1980년대 일본 시골 역 같은 장면이 포함됐다. 각 사례는 물체의 운동뿐 아니라 군중의 이동과 공간의 밀도까지 시험하려는 구성이다.

역 장면의 지시는 빨간 열차가 카메라에 가장 가까운 선로를 차지하고, 승강장에는 짐을 든 승객이 빽빽하게 서 있어야 한다고 반복해서 명시한다. 빈 승강장이나 멀리 있는 열차는 피하라는 조건도 붙었다. 생성 결과가 단순히 분위기만 닮는 데 그치지 않고, 물체의 위치와 사람들의 행동까지 유지해야 한다는 뜻이다. 이런 조건은 뒤이어 토론에서 제기된 ‘시야를 벗어난 뒤에도 같은 세계가 남아 있는가’라는 질문과 맞닿아 있다.

풍경의 소리에서 대화까지

지니 4는 구글의 실시간 월드 모델 가운데 소리를 자체적으로 생성하는 첫 모델이다. 구글은 나무 사이의 바람이나 해변의 파도처럼 장면에 어울리는 환경음뿐 아니라, 상황에 따라 바뀌는 등장인물의 대화도 지원한다고 밝혔다. 이용자의 입력이나 장면 속 사건에 맞춰 인물이 말하고 반응하는 방식이다. 화면과 오디오를 따로 덧붙이기보다 같은 세계의 일부로 생성한다는 데 무게를 뒀다.

예시의 폭도 넓다. 모든 사물이 유리로 만들어진 입체 풍경은 공간 전체에서 동일한 미술 양식을 유지하도록 지시한다. 용을 타고 달리는 장면은 탑승자의 눈으로만 보이는 시점과 날갯짓, 강풍, 주변 소리를 요구한다. 구글이 제시한 목표는 예쁜 화면이나 효과음 하나가 아니라, 시점과 움직임과 소리가 탐색 내내 서로 어긋나지 않는 경험이다.

제미나이가 목표를 쪼개고 결과를 확인한다

복잡한 사건에는 지니 4와 제미나이 모델이 역할을 나눠 참여한다. 구글의 설명에 따르면 제미나이 3.8 플래시(Gemini 3.8 Flash)는 생성되는 화면을 계속 관찰하면서 목표를 단계별로 나누고, 들어오는 화면을 검토해 각 단계가 끝났는지 확인한다. 장면이 변하거나 이용자가 끼어들면 계획도 그 자리에서 수정한다. 구글은 이를 통해 연속적인 원인과 결과, 절차에 따른 행동, 여러 단계의 추론을 구현하려 한다.

구글은 제미나이 4 아르곤(Gemini 4 Argon)과 지니 4를 결합하는 실험도 소개했다. 아르곤이 이용자의 과제를 단계로 나누면, 그 지시가 시뮬레이션 도중 텍스트로 지니 4에 전달되는 방식이다. 예시로는 앱트로닉(Apptronik)의 휴머노이드 아폴로(Apollo)가 체커 게임을 하는 과정을 단계별로 생성했다. 지니가 눈앞의 장면을 만들고 제미나이가 할 일을 계획한다는 분업이 구글이 그리는 월드 모델의 방향이다.

촬영 초안부터 옛 사진 속 공간까지

구글은 창작, 저널리즘, 교육, 게임, 공학 분야의 신뢰할 수 있는 테스터와 활용법을 살피고 있다. 영화 제작자는 장면의 카메라 각도와 조명, 대사, 동작을 바꿔 가며 여러 촬영안을 시험할 수 있다. 사진기자는 한 장의 옛 사진을 탐색 가능한 공간으로 바꾸는 방식을 실험하고 있다. 돌발 홍수나 산불처럼 짧은 시간에 주변 환경이 바뀌는 사건을 시각화하는 시도도 소개됐다.

게임 개발자와 창작 기술자는 엔진 코드를 작성하기 전에 아이디어를 탐색 가능한 시제품으로 만들어 시각 양식과 상호작용 방식을 확인한다. 로봇 연구와 별개로 기업 협력사들은 새로운 상황을 빠르게 생성하는 도구로서의 가능성을 평가 중이다. 구글은 장기적으로 코드·언어 모델의 구조적인 추론과 픽셀 단위 시뮬레이션의 감각적 표현을 합친 하이브리드 월드 모델을 구상한다. 제미나이가 계획과 시간적 흐름을 맡고 지니가 보이고 들리는 순간을 만드는 현재의 결합을 그 첫걸음으로 제시했다.

연구 미리보기의 안전장치와 빈틈

구글은 공개에 앞서 유해하거나 악의적인 콘텐츠 생성을 막기 위한 내부 안전 평가를 진행했다고 밝혔다. 지니 4가 만든 영상과 소리에는 AI 생성물을 식별하는 디지털 워터마크인 신스ID(SynthID)를 넣을 계획이다. 우선 신뢰할 수 있는 테스터에게 사용을 열어 피드백을 모으고, 이후 프로젝트 지니(Project Genie)의 구글 AI 울트라(Google AI Ultra) 구독자와 제미나이 API·구글 AI 스튜디오(Google AI Studio)의 조기 접근 협력사로 범위를 넓힌다.

구글이 직접 밝힌 한계도 뚜렷하다. 짧은 이용 시간에는 장면을 비교적 일관되게 유지하지만, 시간이 길어지거나 복잡한 수정을 거듭하고 공간을 돌아다니면 사물의 모습과 존재 여부가 달라질 수 있다. 복잡한 물리적 상호작용, 실시간 소리의 정확도, 읽을 수 있는 글자, 공간적 정확성과 장기 일관성도 연구 과제로 남아 있다. 몰입감 있는 시연을 실제 훈련 환경이나 지속적인 가상 세계로 연결하려면 바로 이 빈틈을 줄여야 한다.

커뮤니티 의견

한 사용자는 용 비행 장면에서 성이 새로 나타나고, 기차역에서 카메라를 등진 사람들이 달라지며, 오토바이 탑승자의 헬멧도 바뀐다고 지적했다. 화면에 계속 잡히는 대상은 잘 유지하지만 시야를 벗어난 대상까지 같은 사물로 보존하지는 못한다는 주장이다. 답글에서는 문제를 줄이려면 보이지 않는 공간까지 다뤄야 하며, 특히 가려진 뒤에도 사물이 유지되는 ‘객체 영속성’이 핵심이라고 설명했다.

반대로 한 사용자는 눈에 띄는 오류만으로 발전을 낮게 평가해서는 안 된다고 했다. 과거 AI 생성 영상의 어색한 모습과 비교하면 이번 결과는 큰 진전이며, 완벽하지 않아도 개선 자체는 인상적이라는 의견이다. 이에 대한 반론은 영상의 기술적 품질이 높아지는 것과 일관된 세계를 이해하는 것은 별개의 문제라고 봤다.

소리에도 의문이 제기됐다. 한 사용자는 색소폰을 요청한 시연에서 클라리넷처럼 들리는 소리가 난다고 평했다. 다른 이용자는 음소거 상태로 봐도 연주자의 손가락 움직임이 거의 없어 실제 연주처럼 느껴지지 않았다고 했다. 장면 속 행동과 생성된 소리가 맞물리는지가 평가 기준으로 떠오른 셈이다.

한 사용자는 이런 기술이 게임과 영화 콘텐츠의 제작 방식, 가상 세계와 상호작용하는 방식을 바꿀 것이라고 기대했다. 상상한 세계를 직접 탐색하고 조절할 수 있다는 점을 높이 평가한 의견이다. 시연의 결함보다 이용자가 장면 안에서 선택할 수 있는 범위가 넓어진다는 데 주목했다.

또 다른 사용자는 마술 지팡이와 공작이 등장하는 예시를 문제 삼았다. 지시문에서 여러 차례 사진처럼 사실적이고 게임 화면처럼 보이지 않아야 한다고 요구했는데도, 결과는 게임 영상처럼 보였다는 것이다. 답글에서는 지시가 길고 비슷한 조건을 거듭 반복한다는 점도 지적했다.

용 비행 영상을 자세히 본 사용자는 카메라가 돌아왔을 때 성의 일부와 투석기가 사라진 것처럼 보인다고 했다. 이에 이미 해당 지점을 지나쳤다는 해석도 나왔지만, 다른 답글은 매끄럽지 않은 비행 동작과 주변 구조물과의 충돌 표현을 비판했다. 같은 시연을 두고도 장면의 위치 관계와 물리적 설득력에 대한 판단이 갈렸다.

로봇 훈련 용도에 대해서도 의견이 엇갈렸다. 한 사용자는 시연된 세계가 현실을 충분히 재현하지 못하는데 기업들이 로봇 훈련에 쓸 수 있다고 말하는 점이 우려된다고 했다. 반론은 필요한 현실성의 수준이 용도에 따라 다르며, 실제 활용 가능성도 그 기준으로 따져야 한다는 것이었다.

마지막으로 한 사용자는 기술 세부 정보가 거의 공개되지 않은 독점 모델에는 쉽게 기대를 걸기 어렵다고 했다. 이용량 제한이 클 경우 실제로 써 볼 수 있는 사람도 적을 것이라는 우려다. 눈길을 끄는 시연뿐 아니라 모델에 접근해 직접 검증할 수 있는 범위가 중요하다는 관점이다.

핵심통찰

지니 4가 바꾸려는 것은 영상을 만드는 속도만이 아니다. 사람이 장면에 들어가 움직이고, 지시를 바꾸고, 그 결과를 즉시 확인하는 제작·실험 과정을 하나로 묶으려 한다. 다만 그 화면을 로봇이나 에이전트가 행동을 배울 ‘세계’로 쓰려면 시야 밖 사물의 지속성, 물리적 반응, 소리와 행동의 일치가 더 안정돼야 한다. 앞으로는 시연의 첫인상보다 이용자가 오래 탐색하고 여러 번 개입한 뒤에도 같은 공간과 사건이 유지되는지를 봐야 한다.


원본: Genie 4: A new generation of world simulation

토론: Hacker News