https://twitter.com/ylecun/status/1759486703696318935


정확히 말하면 얀르쿤은 월드 모델과, 시뮬레이션 머신으로써의 소라의 한계를 이야기하는 거임

언어는 인간이 인위적으로 만들어낸 이산적이고 상대적인 데이터이며, 인간이 애초부터 '생성'한 데이터이기 때문에 인간만의 식별을 통해서 합리적으로 변형이 가능하지만, 영상에서 나타나는 자연의 물리학은 연속적이고 절대적이며 인간이 정확하게 식별하는 것이 불가능함

예를 들어서 LLM의 Casual language modeling(다음 토큰 예측) 과 같은 훈련은 언어의 문장 구성이라는 단일 의미론적 학습 요소를 목표로 토크나이저에 포함되어 있는 토큰중 하나를 예측하는 것에 한정되며, 이러한 한정된 Space 에서의 추상화로 학습되는데, 이때 월드 모델의 오류가 발생할 수는 있지만, 언어라는 특성에 반하지 않고, 인간의 직관에 의해서 발견되고, 수정되면서 가중치의 업데이트가 합리적인 방향으로 가능함. 이는 언어의 생성 모델링이 월드 모델이 Kolmogorov complexity에 근사하는 것에 대해서 효과적일 수 있다는 걸 의미함

하지만 비디오와 같은 연속적인 감각 입력은 잠재적으로 내포하고 있는 의미론(실제 세계의 물리법칙,인과관계 등)이 무한하게 많으며, 이를 노이즈 예측과 같은 엔드투엔드 학습을 통해서 추상화를 할 때 손실함수가 근사하는 월드 모델은 이러한 물리,인과적 법칙의 의미론에 대한 학습이 일어나는게 아닌 2d 픽셀에 대한 합리성이라는 나이브한 예측을 통해 학습하게 될 확률이 높은데, 이러한 월드 모델의 오류를 인간이 포착하는 것은 불가능에 가깝기 때문에 합리적인 방향의 가중치의 업데이트 또한 힘들 가능성이 높음. 이는 비디오에 포함된 물리,인과적 법칙과 같은 무한한 의미론을 학습하는 방법으로 생성 모델링을 사용했을 때, 월드 모델링이 Kolmogorov complexity에 근사하는 것에 대해서 효과가 낮을 수 있음

얀르쿤은 정보이론에 의거해서 월드 모델을 바라보기 때문에 이런 관점을 가지는 듯