향상된 성능과 해상도로 강력한 성능을 발휘하세요

Quest 3는 Quest 2보다 두 배의 GPU 성능, 거의 30% 더 많은 픽셀, 거의 33% 향상된 CPU 성능을 제공

팬케이크 렌즈로 인한 선명한 화면과 함께 Quest 3는 Quest 2에 비해 거의 15% 더 넓은 시야를 제공하며

픽셀 밀도를 25 PPD 및 1,218 PPI로 향상시켰음

성능 향상으로 인한 게임 퀄리티 향상

퀘스트3에서 버밀리온은 PCVR 버전과 동일한 캔버스 해상도를 사용 가능하게 되었음

파퓰레이션 원에서의 성능 향상

향상된 모바일 버전의 텍스쳐 퀄리티

Meta Quest Super Resolution: 퀄컴 그래픽 팀과 협력하여 개발한 메타 퀘스트 전용 성능 최적화 도구

개발과정에서의 적용 방법

Dynamic Resolution: GPU 작업량에 따라 디스플레이 해상도를 자동으로 조정하여 견고한 프레임 속도를 유지할 수 있는 최신 성능 최적화 기능

Meta Quest 3에서 놀라운 혼합 현실 경험 구축

Quest 2의 패스스루 기능의 10배 픽셀을 활용할 수 있음

예정된 새로운 기능들

패스스루에 대한 추가 스타일 지정 옵션

Mesh API: 사용자 공간의 기하학적 표현을 가능하게 함

Depth API: 실제 물체, 손, 사람 등의 가상 요소를 동적으로 고정밀하게 폐색할 수 있음 - 올해 후반에 출시예정

AI 기반 혼합 현실로 앱 강화

MR을 강화하는 데 사용할 수 있는 핵심 기능들

패스스루: 물리적 세계에 대한 실시간 3D 시각화를 제공

디지털 개체를 사용자의 물리적 환경과 혼합할 수 있음

패스스루가 활성화되면 사용자는 장치 카메라의 비디오 피드를 통해 실제 주변 환경을 볼 수 있으며

이는 단순한 영상 피드가 아닌 사실적인 깊이와 적절한 왜곡을 제공하는 현실적이고 편안하며 자연스러운 시청 경험임

장면 이해: 사용자의 물리적 주변 환경과 풍부한 상호 작용이 있는 환경 인식 경험 구축

장면 이해 기능을 사용하면 디지털 개체가 사용자의 실제 환경에서 물리적 표면과 상호 작용

관련 Scene API를 사용하여 이러한 유형의 상호 작용을 디자인할 수 있음

예를 들어, 장면 모델을 사용하면 가상의 공이 방의 물리적 테이블에서 튕겨 나가도록 하거나 가상 로봇이 물리적 벽을 확장하도록 할 수 있음

다양한 표면을 2D 평면 또는 3D 볼륨으로 표현할 수 있으며

이 외에도 바닥, 천장, 벽, 책상, 소파 등과 같은 표면에 대한 의미 라벨도 제공함

이 의미론적 정보를 사용하여 흥미로운 MR 경험을 만들 수 있음

예를 들어, 천장 평면을 열어 은하수와 별이 있는 어두운 하늘로 바꾸거나, 캐릭터가 바닥을 걷다가 소파에 앉게 할 수 있음

Spatial Anchors: 물리적 공간에 가상 콘텐츠를 배치하고 유지

실제 세계에 가상 콘텐츠를 고정할 수 있음

즉, 모든 유형의 디지털 개체를 특정 실제 개체 또는 위치(예: 방의 벽)에 배치하고

동일한 MR 공간으로 돌아올 때마다 해당 벽에 있는 개체를 볼 수 있음

예를 들어 디자이너는 Spatial Anchors를 사용하여 여러 3D 설계도를 Gravity Sketch에 고정할 수 있으며

친구 그룹은 이를 사용하여 Demeo의 게임 세계를 테이블에 고정하여 동일한 설정으로 돌아가 언제든지 게임을 계속할 수 있음

Spatial Anchors를 의미론적 표면(예: 벽, 테이블, 바닥 등)과 함께 사용하여 풍부한 경험을 만들고 룸 규모로 자동 배치할 수 있음

가상 문을 물리적 벽에 고정하도록 선택한 뒤에 가상의 캐릭터가 이 문을 열고 사용자의 물리적 공간에 들어오는 등 완성된 완전한 몰입형 가상 세계를 드러낼 수 있음

공유 공간 앵커: 여러 사용자를 위한 공유된 세계 고정 참조 프레임을 생성하여 로컬 멀티플레이어 경험을 구축

한 사람이 만든 앵커를 동일한 물리적 공간에 있는 다른 사람과 공유할 수 있음

예를 들어, 두 명 이상이 동일한 실제 테이블에 앉아 그 위에서 가상 보드 게임을 즐길 수 있음

Depth API: 실시간, 눈별, 프레임별, 환경 깊이 추정치를 제공하며 동적 폐색을 쉽게 구현함

가상 콘텐츠와 실제 콘텐츠 간의 시각적 상호 작용을 렌더링하여 사용자에게 더욱 일관된 현실감을 제공

추가적으로 기존 실시간 3D 앱의 고유한 알고리즘과 기술을 활용하여 안개와 같은 깊이 기반 효과를 렌더링하거나 게임플레이에 깊이 정보를 사용할 수 있음

Mesh API: 게임 캐릭터가 사용자의 물리적 공간을 탐색하거나 거실을 숲의 모닥불로 바꾸는 등 가상 개체와 실제 개체 간의 현실적인 상호 작용이 가능

이미 개발자를 위한 다양한 예시용 앱들과 프로젝트 파일들도 제공중임

역동적이고 반응이 빠른 상호 작용 및 입력으로 청중의 참여를 유도하세요

새로운 기능을 추가하고 기존 기능을 강화

마이크로 제스처: 엄지 손가락 탭 및 스와이프와 같은 2D 및 3D 상호 작용이 더욱 직관적으로 느껴지도록 도와주며

파워 스크롤링, 이동 등에 적용가능

향상된 핸드 트래킹 반응성으로 몰입도 향상

지난 8월 지연 시간을 40%~75% 개선 하여 컨트롤러와 손 사이의 사용자 경험 격차를 크게 줄이는 Hand Tracking v2.2를 출시

또한 빠르게 진행되는 게임의 반응성을 더욱 향상시키기 위해 설계된 고주파 추적의 진화인 빠른 모션 모드도 출시

또한 Direct Touch 기본 요소를 Interaction SDK에서 기본 기능으로 사용할 수 있도록 만들었음

스와이프나 빠른 입력등이 지원되는 버추얼 키보드도 기본으로 도입함

새로운 UI의 상호작용 샘플도 포함되었음

Multimodal: 동시 손 및 컨트롤러 추적을 제공하는 실험적 기능이며 또한 둘 사이는 심리스하게 즉시 전환 가능

즉 한 손은 핸드트래킹을 사용하고 다른 손으로는 컨트롤러를 사용하는 게임플레이를 개발할 수 있음

Capsense: Capsense 기반 손을 사용하면 사용자 컨트롤러 위에 또는 대신 손 시각화를 통합할 수 있으며

Meta의 컨트롤러 모델에 맞는 자연스러운 손 포즈가 제공하여 컨트롤러를 잡고있으면서도 동시에 핸드트래킹으로 손가락을 이용 가능함

'마에스트로' 앱에서 한 손은 컨트롤러, 한 손은 핸드트래킹을 이용하여 바이올린을 연주하는 예시 영상을 보여줌

Meta Quest 3에서는 곧 와이드 모션 모드를 사용하여 손이 헤드셋 시야 밖에 있는 경우에도 손을 추적 할 수 있게 됨

매력적인 게임플레이를 위한 음성 입력 활성화

Voice SDK: 음성 명령과 받아쓰기 및 사람들이 캐릭터 및 개체와 쉽게 상호 작용할 수 있는 방법을 제공

TTS(텍스트 음성 변환)는 게임 내 캐릭터에 음성을 제공하여 생생한 경험을 제공

15개의 게임용 TTS 음성을 추가할 예정임

또한 곧 음성 복제를 사용하여 단 20분의 음성 녹음만으로 자신만의 새로운 커스텀 TTS 음성을 생성가능

햅틱 및 Touch Plus 컨트롤러로 진동 생성

Quest 3의 Touch Plus 컨트롤러를 사용하면 다양한 진동과 고급 햅틱을 활성화할 수 있음

Meta Haptics Studio 및 Haptics SDK의 도움으로 모든 Meta Quest 장치에서 이전 버전과 호환되는 고품질 햅틱을 디자인하고, 오디션하고, 앱에 통합가능

신체 추적으로 사실적인 존재감을 표현하세요

곧 Quest 3의 카메라를 사용하여 더 높은 상체 추적 정확도를 지원하며 인사이드아웃 신체 추적을 통해 충실도가 높고 자연스러운 움직임 제공

Meta Quest 3를 통해 신체 추적은 헤드셋의 카메라를 사용하여 상체를 추적하는 접근 방식인 IOBT(인사이드 아웃 신체 추적)를 통해 극적인 도약을 이루어냄

처음으로 팔꿈치와 손목 움직임, 좌우로 기울이는 애니메이션 등 복잡하고 미묘한 애니메이션을 경험에서 구별가능

IOBT는 상체 추적의 정확성을 향상시켜, 보다 자연스럽게 점프하고, 춤추고, 걸어 다닐 수 있도록 도움

또한 IOBT는 팔과 손의 위치를 추론할 수 있어 손 추적과 같은 기존 기능을 향상시킴

헤드셋에 내장된 카메라를 통한 상체 추적이 이루어짐

이를 통해 기존과 달리 머리와 상체의 움직임을 분리할 수 있음 (소위 빼꼼샷이 가능해짐)

이 기능은 퀘스트3 에서만 제공됨

똑같은 동작을 왼쪽은 이번에 도입된 IOTB를 이용해, 오른쪽은 기존의 헤드셋+컨트롤러2개의 3점 트래킹을 통해 캡쳐된 모습

기존과 달리 팔꿈치 부분의 자연스러운 추적을 볼 수 있음

컨트롤러 없이도 더 풍부하고 다양한 동작을 인식함

또한 상체와 머리부분의 개별적 인식이 이루어지면서 더 자연스러운 모습을 보임

좌/우와 앞/뒤로의 상체와 머리의 위치의 인식도 조금 더 두드러지는 모습

Movement SDK를 사용하면 다리를 생성하고 앱 사용자의 상체 위치만 사용하여 자연스러운 다리 움직임을 통합할 수 있음

기존의 3점 트래킹을 이용하여 하체를 자동 생성(모든 기기에서 사용 가능)하거나

IOBT를 이용하여 하체를 자동 생성(이건 IOBT를 지원하는 퀘스트3만 가능)할 수 있음

서기, 걷기, 점프하기 등 일반적인 다리 움직임을 정확하게 표현함

IK 기반 접근 방식에 비해 훨씬 더 자연스러운 움직임을 전달

소셜 경험과 피트니스 앱에 직접적인 영향을 미치며 캐주얼 게임 경험을 향상시켜 사용자가 이동하고, 탐색하고, 상호 작용할 때 몰입감을 갖도록 도와줌

한계점

이는 추적된 다리가 아닌 생성된 다리이기 때문에 다리를 꼬는 등 포착할 수 없는 미묘한 움직임이 있을 수 있음.

다리 움직임은 Quest 3, Quest Pro, Quest 2까지 모두 지원함

스워드맨 게임에서의 핸드트래킹과 상체트래킹 적용 영상

IOBT의 적용으로 상체와 하체의 분리를 통해 아래를 내려다보는 모습

하체 자동생성 기능의 드렁큰 바 파이트 게임에서의 적용 비교

왼쪽의 지랄난 기존 다리와 달리 오른쪽의 자동생성된 다리는 안정된 모습

머리와 상체의 자연스러운 분리를 볼 수 있음

팔꿈치 추적과 점프 어택의 자연스러운 움직임 비교

핸드 트래킹 제스쳐의 게임속 활용

손가락 제스쳐에 따른 캐릭터의 인식과 반응 변화가 관찰됨

쇼케이스 앱인 Dodge Arcade 에서 다리가 게임 플레이를 어떻게 풍부하게 할 수 있는지 확인할 수 있음

플랫폼 도구 개선으로 개발 가속화

빌딩 블록을 사용하면 배경 패스스루, 카메라 리그, 룸 모델, 잡을 수 있는 항목 등을 Unity에 간단히 드래그 앤 드롭해서 만들 수 있음

원하는 기능을 추가한 후에는 헤드셋을 착용하지 않고도 Meta XR Simulator를 실행하여 프로젝트를 테스트하고 실제로 구현되는 것을 확인할 수 있음

Meta XR Simulator를 사용하면 키보드, 마우스 또는 게임 컨트롤러를 사용하여 헤드셋 및 컨트롤러 입력을 시뮬레이션할 수 있으며 SES(Synthetic Environment Server)와 같은 새로운 기능을 사용하면 Scene, Passthrough 및 Shared Spatial과 같은 Presence Platform 기능을 시뮬레이션하는 합성 맵을 로드할 수 있음

혼합 현실 앱의 개발을 위해 3D스캔으로 만들어진 실사 환경을 제공하고 있으며

곧 개발자들이 자신들의 방도 스캔하여 개발에 활용할 수 있도록 지원 예정임