@GoogleDeepMind 가 Genie 3을 체험해볼 수 있도록 초대해주셔서 정말 감사드립니다. 이 초기 연구 프로토타입에 대한 제 생각과 실시간 녹화 영상을 아래에 공유하게 되어 매우 기쁩니다.

하루 종일 이 시스템을 다뤄봤는데, 제대로 작동할 때는 정말 충격적일 정도로 놀라웠습니다?. 제가 사용해본 것 중에서는 최초로 일반화가 잘 되고, 장기적인 세계 일관성을 유지하는 신경망 기반 게임 엔진 / 월드 모델입니다. 아래에는 실시간 녹화 예시 몇 가지와 이 기술이 게임, 로보틱스, 디지털 경험, 초지능(ASI)의 미래에 대해 의미하는 바에 대한 제 생각을 담았습니다.

---

잘 작동하는 부분:

진정한 범용성과 빠른 시작 속도. 게임 환경에서 특히 잘 작동하지만, 산업 및 실세계 시나리오에도 일반화됩니다.

물리학을 학습합니다. 강체 물리에서도 체계적인 실패가 있긴 하지만, 기본 물리 엔진 없이도 게임 엔진 물리 및 비강체 물리를 학습할 수 있다는 게 분명했습니다. (한계적으로는 실제 게임 엔진 데이터를 통해 학습도 가능)

스타일화된 환경에서 캐릭터가 돌아다니는 경우 특히 뛰어납니다. 이는 컨셉 아티스트, 레벨 디자이너, 게임 개발자에게 큰 의미가 있을 것입니다.

기존의 비디오 모델보다 훨씬 더 재미있습니다, 즉 향후 사용자 유지율이 높은 소비자 경험이 등장할 수 있음을 시사합니다.

포토리얼한 워크스루나 드론 샷이 매우 잘 작동합니다.

전역 조명 및 라이팅도 놀라울 정도로 잘 됩니다.

시각적 기억력이 강력하여, 동일한 객체가 가려졌다가 다시 나타나도 일관성 있게 유지됩니다 (긴 시간 범위에서도).

---

문제점들:

물리는 여전히 어려운 문제이며, 심리학에서 사용하는 고전적인 직관적 물리 실험(예: 블록 쌓기 실험)을 시도하면 분명한 실패 사례가 나타납니다.

사회적 / 다중 에이전트 상호작용은 아직 처리하기 어렵습니다. 1:1 대전 게임은 작동하지 않습니다.

긴 지시 따르기나 간단한 조합적 게임 논리는 실패합니다 (예: 열쇠 몇 개를 모아서 문을 열고 나가는 식의 구조).

행동 공간이 제한적입니다.

현실적인 게임 엔진과는 아직 거리가 멉니다. 하지만 이건 확실히 미래의 방향을 보여주는 중요한 단서입니다.

---

미래 전망:

이 기술은 게임 산업을 근본적으로 변화시킬 것이라는 강한 확신이 들 정도로 인상적입니다. 아직은 매우 초기 단계이고 실패도 많지만, 방향은 이미 정해졌습니다. 과학적, 공학적, 스케일링 측면에서 해결할 과제가 많지만, 앞으로 5년 안에 현실화될 것입니다.

이 기술은 완전한 AGI(범용 인공지능)로 가는 마지막 퍼즐 조각 같으며, 이러한 시스템이 스케일업되면 진정한 AGI 달성도 가까워질 것이라고 생각합니다. 어떤 의미에서는 AGI라기보단 ASI(초지능)에 가까울 수도 있지만, 이건 정의의 문제입니다. 정확도와 일반화 능력은 인간 수준에 도달하고, 곧 인간을 능가할 것입니다.

앞으로 사람들은 3D AI와 **LLM(대형 언어 모델)**을 이 기술과 결합해 AAA급 게임을 만들게 될 것입니다.

https://x.com/tejasdkulkarni/status/1952737669894574264