https://arxiv.org/abs/2308.03712

이 논문에서는 현재의 자기 지도 학습 방법이 충분히 확장된다면 인간이 배우는 것과 동일한 유형과 양의 시각적 경험으로 인간 수준의 시각적 개체 인식 기능에 도달할 수 있는지 묻습니다. 이 질문에 대한 이전 연구에서는 데이터 크기의 확장만 고려했습니다. 여기서는 데이터 크기, 모델 크기 및 이미지 해상도의 동시 확장을 고려합니다. 우리는 최대 476x476 픽셀의 이미지 해상도를 갖춘 최대 5,000시간의 인간과 유사한 비디오 데이터(장시간 연속, 대부분 자기 중심적 비디오)로 훈련된 최대 633M 매개변수 크기(ViT-H/14)의 비전 변환기를 사용하여 스케일링 실험을 수행합니다. . 자기 지도 학습 알고리즘인 MAE(Masked Autoencoder)의 효율성 덕분에 적은 학비로 이 확장 실험을 실행할 수 있습니다. 우리는 모델 크기, 데이터 크기 및 이미지 크기의 인간 이하 규모에서 이러한 요소가 동시에 확장되면 인간 수준의 객체 인식 능력에 도달하는 것이 가능하다는 것을 발견했습니다. 구체적인 예를 들자면, 952x952 픽셀의 공간 해상도를 갖춘 인간과 유사한 20,000시간(2.3년)의 비디오 데이터로 훈련된 2.5B 매개변수 ViT 모델이 ImageNet에서 대략 인간 수준의 정확도에 도달할 수 있어야 한다고 추정합니다. 따라서 인간 수준의 역량은 실질적인 귀납적 편견 없이 매우 일반적인 학습 알고리즘 및 아키텍처를 사용하여 인간과 유사한 지각 경험(양과 유형 모두에서 인간과 유사)을 통해 근본적인 지각 능력을 달성할 수 있습니다.