먼저 들어가기에 앞서서, '오클루전 (Occlusion - 폐색)'이 무엇이냐?

간단하게 말해서, "앞에 있는 물건이 뒤에 있는 물건을 가린다" 라는 개념

이게 당연히 상식적인 내용인데, 문제는 '가상 물체'에 이 상식을 적용하기 어렵다는 거다

예를 들어, "저 위치에 가상의 고양이를 배치해라" 라고 명령하면,

컴퓨터는 그냥 화면 위에 고양이를 그려주고 끝이다

애초에 가상의 고양이는 우리의 현실에 진짜 존재하는게 아니니깐,

기본적으로 진짜 현실과 상호작용을 하지 않는거지

문제는, 컴퓨터는 기본적으로 바보라는거다

얘는 그냥 이미지를 출력할 뿐이지,

의자가 어디에 있고, 그런 정보를 알아서 인식하는걸 못 한다

이걸 해결하기 위해 제일 간단한 방법 중 하나가 3D 스캔을 뿌리는거다

자율 주행 자동차에도 많이 쓰이는 라이다(LiDAR)가 대표적이다

이렇게 현실 세계의 스캔을 떠서 가상 세계에 복제해서 넘겨줘야,

가상의 고양이나 용이 저 의자와 상호작용을 할 수 있게 된다

이런 스캔 데이터가 없으면 컴퓨터 입장에서는 저 공간이 그냥 빈 공간이고,

현실의 의자가 있든 말든 씹고 그 위에 덧그리는 찐빠가 나는거다

메타 퀘스트 3에 3D 스캐너 역할인 ToF (Time of Flight) 센서가 들어간 이유가 이 때문이다

적외선 도트를 쏴서 거리를 측정하는 방식으로 스캔한다

물론 라이다 (LiDAR) 센서가 더 정확하고 좋지만,

그 만큼 전기도 많이 먹고 비싸다

방 구조의 3D 데이터를 스캔한 후, 이제는 가상 물체를 현실의 물체와 상호작용할 수 있게 만들었다

하지만 싸구려 ToF 센서의 한계로 의자의 윤곽이 제대로 안 따진걸 볼 수 있다

퀘스트3의 Depth API를 이용하면 고정된 사물이 아닌, 손 처럼 움직이는 물체도 실시간으로 스캔하여 반영이 된다

이를 '다이나믹 오클루전' 이라고 부른다

물론 이것도 자세히 보면 손의 윤곽선을 깔끔하게 따내지는 못 한다

실시간으로 현실의 폴리곤을 만들어서 처리해야 하므로 성능을 많이 잡아먹는 작업이다

60만원짜리 싸구려 퀘스트3는 싸구려 ToF 센서 하나밖에 못 넣었지만,

500만원짜리 애플 비전 프로의 경우 3D 스캔을 위해 라이다 스캐너 하나와 트루 뎁스 카메라 2개를 때려박았다

그냥 전력 소모니, 가격이니, 처리 성능이니 그런거 안 따지고,

센서란 센서는 다 때려박은 물건이다

아이폰이나 아이패드의 라이다를 써본 인간이라면 알겠지만,

얘도 실시간으로 mm 단위의 정확도를 보여주는 스캐너는 아니다

그러한 부분을 감안해서, 아마 근거리, 중거리, 장거리 스캔용으로 센서를 무식하게 때려박은 것으로 보인다

아래는 실제 애플 비전 프로에서 구동되어 촬영된 영상이다

(외국의 어떤 개발자가 올린거)

(가상 공간에, 현실의 손만 카메라 영상에서 잘라내 실시간으로 합성하는 중)

유니티 엔진으로 만든 가상 환경에서, 카메라로 보이는 손의 윤곽선만 따서 실시간으로 잘라내는 중이다

손이 가만히 있는 경우 거의 완벽하게 윤곽선을 따낸다

하지만 손이 빠르게 움직이면 윤곽선이 제대로 못 따라온다

움직이는 손 주변에 미쳐 잘라내지 못 한 바깥의 현실 배경이 살짝씩 보인다

참고로 저 녹색 점은 '기기가 인식하는 손'이다

메타 퀘스트3에 대입해서 말하면, 핸드 트래킹

즉, 기기가 3D 스캔으로 읽어오는 메쉬 데이터를 이용해서 손의 윤곽선은 자동적으로 어느정도 따고 있는데,

이거랑 별개로 '손의 움직임'은 따로 그 이후에 추가적으로 추적을 하고 있을지도 모른다는 얘기다

어쩌면 저 메쉬 구성 알고리즘이랑 핸드 트래킹 알고리즘이 각각 별개로 작동하고 있어서,

둘이 싱크가 안 맞는 것일지도 모르겠다

(빠르게 움직이면 거슬릴 정도로 손 주변에서 바깥의 현실 풍경이 보인다)

어쩌면 애플 입장에서는 핸드 트래킹의 정확도가 중요하지,

이걸로 게임을 할 것도 아니니 아주 빠르게 추적할 필요는 없다고 생각해서 그럴지도 모른다

어차피 얘네가 핸드 트래킹으로 할거는 '꼬집기' 제스쳐 말고는 많이 없을테니 말이다

물론 아직 개발 빌드라서 최적화가 안 된 문제일 수도 있고,

그냥 저 개발자가 뭘 잘못 건드려서 랙이 걸리는 상황일 수도 있다

결론적으로, 이게 애플에서 만든, 있는대로 다 때려박은 500만원짜리 기기의 상당히 인상깊은 성능이다

근데 아까 위에서 말했듯이, 라이다로 저런 mm 수준의 실시간 스캔은 ㅈㄴ 힘들다

그럼 이걸 어떻게 한거냐?

애플 비전 프로는 이걸 착용하면서 사용자 등록을 할 때,

손을 전면에 달린 스캐너 앞에 가져다가 몇초동안 이리저리 돌리라고 시킨다

손을 실시간으로 스캔하는게 힘든걸 아니깐,

아예 처음 쓸 때 '등록' 과정이라며 정밀 스캔을 떠놓고 그걸 가져다가 그대로 쓰는거다

그러면 처음부터 손의 고해상도 메쉬 데이터가 완성되어 있으니깐,

그걸 손의 움직임에 맞게 변형만 시키면 저렇게 깔끔한 윤곽선을 딸 수 있게 된다

이거 어차피 500만원 짜린데,

남들한테 빌려줄거야?

영원히 '너 혼자'만 쓸 개인 기기잖아? ㅋㅋㅋㅋ

그러니깐 니 손만 등록/스캔해서 쓰라는 얘기다

...그리고 이건 60만원짜리 기기의 한숨 나올 정도로 형편없는 성능이다

얘는 콘솔처럼 가족/친구끼리 돌려쓰는 장비다보니, 따로 손을 미리 스캔해서 등록하는 과정도 없어서,

그냥 쌩으로 어떻게든 읽어내려는 중이다

(댓글 보니깐 최신 소프트웨어 버전에서는 좀 신박한 꼼수로 여기서 개선했다는 듯)

누가 가족이나 친구들과 쓰려고 60만원이나 되는 거금을 주고 이런 장난감을 살까?

대부분의 사람들은 혼자서 쓰기 위해 500만원짜리 애플 비전 프로를 살 것이라고 생각한다

그리고 여기에 대항할 수 있는 것은 삼성 뿐이다

저번의 유출 자료를 보면 삼성도 수백만원짜리 기기를 준비하고 있다

물론 소프트웨어는 킹갓 구글께서 전부 만들어줄거다

즉, 사람들이 원하는건 200만원, 300만원, 400만원짜리 기기다

싸구려 제품들이 아닌, 수백만원의 비싼 기기들이 많이 나오는 미래가 정답이다

물론 나는 저커버그 형님 믿고 퀘스트 샀다