헤드셋의 주요 기능중 하나는 탑재된 14개의 카메라로 정밀하게 얼굴 표정을 트래킹하여 살아있는듯한 가상 아바타를 표현하는것이라고 함

14개의 카메라를 통합하는건 하드웨어 엔지니어와 알고리즘 엔지니어들에게 두통을 유발할 정도로 힘들었음

카메라들은 사용자의 얼굴을 읽어내서 정확한 표정과 입모양을 읽어낼 것이라고 함

조니 아이브는 애플을 떠난 이후에도 애플 제품에 외부 컨설턴트로 관여중, 헤드셋 프로젝트도 아이브가 관여함

애플의 디자이너들이 헤드셋의 배터리, 카메라 위치, 인체공학적 구조에 대한 의견 반영을 엔지니어들보다 강하게 하는데 도움을 주는중

2명의 애플 임원이 증언하길, 아이브는 애플을 떠난 지 오래 됐지만 여전히 제품에 변경이 있을때 샌프란시스코에 있는 아이브의 집까지 가서 승인을 받아야 한다고 함

아이브는 계속해서 헤드셋의 설계를 변경함. 초기 설계에선 배터리가 헤드셋의 밴드에 포함되었지만 지금은 외장형 설계로 변경됨, 최종 제품이 어떻게 될 지는 알 수 없음

애플 헤드셋의 초기 방향은 게이밍을 신경쓰지 않는것이었음

헤드셋 프로젝트에 참여한 4명의 직원은 게이밍에 신경쓰지 않는것을 비판함

게임은 얼리어답터들에게 어필하기 때문임. 아이폰이 성공한것도 게임 덕분이었고 메타의 VR 프로젝트도 게임에 높은 우선순위를 두고 있음

4명의 직원은 락웰(애플 헤드셋 이끄는 사람)의 그룹이 내부 프레젠테이션에서 게임에 대해 거의 언급하지 않았다고 증언함

애플은 헤드셋을 위해 게이밍 컨트롤러를 개발하고 있지 않고 핸드 트래킹이나 빨래집게같은 손가락에 끼우는 클립으로 장치를 조작하는데 집중하고 있다고 다수의 직원이 증언함

헤드셋의 초안은 외부에 별도의 베이스 스테이션과 통신하는 방식이 고려되었으나 지금은 완전한 독립형 기기의 방향으로 가기로 함

참고로 락웰은 현실적인 그래픽을 위해 베이스 스테이션을 사용하는 방식으로 가고 싶었다고 함.

실제로 베이스 스테이션을 쓰는 제품의 그래픽이 훨씬 현실적이고 좋았다고 함

베이스 스테이션은 현재 M1 Ultra로 발표된 칩을 사용할 예정이었다고 함

애플의 헤드셋은 오랫동안 베이스 스테이션을 사용하는 방식으로 개발되고 있었기 때문에

독립형으로 결정이 바뀌었을때는 이미 늦어서 싱글 칩셋(모든 역할을 하나의 칩셋에서 해내는) 방식으로 만들기엔 너무 늦었다고 함

그래서 헤드셋에는 2개의 칩셋이 들어감.

저지연 스트리밍용 코덱도 탑재될 예정

메인 칩셋은 M2와 동등한 수준이라고 함