OpenAI의 Sora, 비디오 게임도 렌더링 할 수 있는 비디오 생성 모델

OpenAI의 새로운 첫 번째! – 동영상 생성 모델인 Sora는 정말 인상적인 영화 촬영을 할 수 있습니다. 하지만 오늘 저녁에 발표된 기술 논문에 따르면 이 모델은 OpenAI가 처음에 생각했던 것보다 훨씬 더 뛰어난 능력을 갖추고 있습니다.

“월드 시뮬레이터로서의 비디오 생성 모델”이라는 제목의 이 논문은 여러 명의 OpenAI 연구원이 공동 집필한 것으로, Sora 아키텍처의 주요 측면에 대한 베일을 벗기고 있으며, 예를 들어 Sora가 임의의 해상도와 화면비(최대 1080p)의 비디오를 생성할 수 있음을 보여줍니다. 논문에 따르면 Sora는 반복 동영상 생성부터 시간 앞뒤로 동영상 확장, 기존 동영상의 배경 변경에 이르기까지 다양한 이미지 및 동영상 편집 작업을 수행할 수 있습니다.

하지만 이 글에서 가장 흥미로운 점은 OpenAI의 공동 저자들이 표현한 것처럼 “디지털 세계를 시뮬레이션”할 수 있다는 점입니다. 한 실험에서 OpenAI는 Sora를 마인크래프트에 풀어놓고 플레이어를 제어하면서 동시에 물리 등 세계와 그 역학을 렌더링하도록 했습니다.

그렇다면 Sora는 어떻게 이런 작업을 수행할 수 있을까요? 엔비디아의 수석 연구원 짐 판이 쿼츠를 통해 밝힌 바에 따르면, Sora는 크리에이티브보다는 “데이터 기반 물리 엔진”에 가깝습니다. 단순히 하나의 사진이나 비디오를 생성하는 것이 아니라 환경에 있는 각 물체의 물리학을 결정하고 이러한 계산을 기반으로 사진이나 비디오(또는 경우에 따라 인터랙티브 3D 월드)를 렌더링하는 것이죠.

“이러한 기능은 비디오 모델의 지속적인 확장이 물리적 및 디지털 세계와 그 안에 존재하는 사물, 동물, 사람의 고기능 시뮬레이터를 개발하는 데 유망한 경로임을 시사합니다.”라고 공동 저자들은 말합니다.

이제 Sora 의 일반적인 한계는 비디오 게임 영역에 적용됩니다. 이 모델은 유리가 깨지는 것과 같은 기본적인 상호작용의 물리학을 정확하게 근사화할 수 없습니다. 또한 모델링할 수 있는 상호작용이 있더라도 Sora는 햄버거를 먹는 사람을 렌더링하지만 물린 자국은 렌더링하지 못하는 등 일관성이 없는 경우가 많습니다.

하지만 제가 논문을 제대로 읽었다면 Sora는 더 사실적인, 심지어 실사에 가까운 절차적 생성 게임을 위한 길을 열 수 있을 것 같습니다. 이는 흥미롭기도 하고 두렵기도 한데(딥페이크의 가능성을 고려하면), 이것이 바로 OpenAI가 현재로서는 매우 제한된 액세스 프로그램 뒤에 Sora를 숨기기로 한 이유일 것입니다.

조만간 더 많은 소식이 전해지길 기대해봅니다.