Latest AI news 2024/01/24 최신 AI 뉴스

Lumiere: A Space-Time Diffusion Model for Video Generation

Lumiere: 현실적인 비디오 생성을 위한 시공간 확산 모델
Google Research

abstract

We introduce Lumiere -- a text-to-video diffusion model designed for synthesizing videos that portray realistic, diverse and coherent motion -- a pivotal challenge in video synthesis. To this end, we introduce a Space-Time U-Net architecture that generates the entire temporal duration of the video at once, through a single pass in the model. This is in contrast to existing video models which synthesize distant keyframes followed by temporal super-resolution -- an approach that inherently makes global temporal consistency difficult to achieve. By deploying both spatial and (importantly) temporal down- and up-sampling and leveraging a pre-trained text-to-image diffusion model, our model learns to directly generate a full-frame-rate, low-resolution video by processing it in multiple space-time scales. We demonstrate state-of-the-art text-to-video generation results, and show that our design easily facilitates a wide range of content creation tasks and video editing applications, including image-to-video, video inpainting, and stylized generation.

우리는 Lumiere를 소개합니다 -- 현실적이고 다양하며 일관된 움직임을 묘사하는 비디오를 합성하기 위해 설계된 텍스트-투-비디오 확산 모델입니다. 이는 비디오 합성에서 중요한 도전 과제입니다. 이를 위해, 우리는 비디오의 전체 시간적 기간을 모델의 단일 패스를 통해 한 번에 생성하는 시공간 U-Net 구조를 도입합니다. 이는 기존의 비디오 모델들이 먼 키프레임을 합성한 후 시간적 초고해상도를 적용하는 방식과는 대조적인데, 이러한 접근은 전역적인 시간적 일관성을 달성하기 어렵게 만듭니다. 공간적 및 (중요하게) 시간적 다운샘플링과 업샘플링을 배치하고 사전 훈련된 텍스트-투-이미지 확산 모델을 활용함으로써, 우리의 모델은 여러 시공간 척도에서 처리하여 전체 프레임률의 저해상도 비디오를 직접 생성하는 방법을 배웁니다. 우리는 최첨단 텍스트-투-비디오 생성 결과를 보여주며, 우리의 설계가 이미지-투-비디오, 비디오 인페인팅, 스타일화된 생성 등 다양한 콘텐츠 생성 작업과 비디오 편집 애플리케이션에 쉽게 적용될 수 있음을 보여줍니다.

https://lumiere-video.github.io/

Lumiere - Google Research

Space-Time Text-to-Video diffusion model by Google Research.

lumiere-video.github.io

https://arxiv.org/pdf/2401.12945.pdf