This paper presents a diffusion-based model for 3D-aware generative novel view synthesis from as few as a single input image. The proposed method incorporates geometry priors in the form of a 3D feature volume and neural rendering, which improves the ability to generate view-consistent novel renderings. The model is trained end-to-end and can handle both individual objects and complex scenes. Experiments on various datasets, including ShapeNet, Matterport3D, and Common Objects in 3D, demonstrate state-of-the-art results for novel view synthesis. The proposed method can generate realistic novel views with as little as a single input image and can autoregressively synthesize 3D-consistent sequences. The authors plan to make the code and pre-trained models available. 이렇게 해줌
deepl로 번역해보자면
이 논문에서는 최소 하나의 입력 이미지로 3D 인식 생성 신규 뷰 합성을 위한 확산 기반 모델을 제시합니다. 제안된 방법은 3D 피처 볼륨과 신경 렌더링의 형태로 지오메트리 선행을 통합하여 뷰 일관성 있는 새로운 렌더링을 생성하는 기능을 향상시킵니다. 이 모델은 엔드투엔드 방식으로 학습되며 개별 오브젝트와 복잡한 장면을 모두 처리할 수 있습니다. 셰이프넷, 매터포트3D, 3D 공통 오브젝트 등 다양한 데이터 세트에 대한 실험을 통해 새로운 뷰 합성을 위한 최첨단 결과를 보여줍니다. 제안된 방법은 단 하나의 입력 이미지만으로도 사실적인 새로운 뷰를 생성할 수 있으며 3D 일관된 시퀀스를 자동 회귀적으로 합성할 수 있습니다. 저자들은 코드와 사전 학습된 모델을 공개할 계획입니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.