AGI로 가기 위해서 아주 여러 방향의 시도들이 있지만 크게 두 흐름으로 정리할 수 있을것 같아 소개해 본다.

하나는 OpenAI를 필두로 한 "스케일업 학파"로 명명하고 

또 다른 하나는 얀르쿤!이 주장하는 "아키텍쳐 학파"로 나눠보겠음.

최근 올라온 각 학파의 영상들을 소개하며 간략하게 설명해보도록 함.

1 ) OpenAI 스케일 업 학파

https://youtu.be/3gb-ZkVRemQ?si=MUSjPKKclKgzoJoZ

Stanford CS25: V4 I Jason Wei & Hyung Won Chung of OpenAI

April 11, 2024Speakers: Jason Wei & Hyung Won Chung, OpenAIIntuitions on Language Models (Jason) Jason will talk about some basic intuitions on language mode...

youtu.be

최근 스탠포드에서 진행된 강연으로 현재 OpenAI에서 일하는 "정형원"씨의 발표를 참조해 보자.

물론 오로지 개인의 의견일 수도 있으나 OpenAI가 어떤 시각으로 AGI를 달성하고자 하는지 엿보기에 충분할 것 같다.

강의의 요점 중 하나를 저화질 버전으로 쉽게 설명하자면 : 

"ㅅㅂ 우리가 뇌에 대해서 잘 알지도 못하는데 괜히 이상한 전제 도입해서 아키텍쳐 복잡도 올리지 말고 

최대한 선입견 없는 아키텍쳐 만들어 놓고 데이터 ㅈㄴ 쑤셔 박았더니 처음엔 ㅂㅅ같았는데 어느 순간부터 역전하더라.

결국 이런 방식으로 계속 하다보면 추론도 하고 계획도 하는 AGI 만들 수 있는거 아님?" 

결국 아키텍쳐 복잡도는 줄이고 인풋은 개같이 때려박으면 뭔가 뿅하고 나올 거라는 방향임. 

2 ) 얀르쿤! 아키텍쳐 학파

https://youtu.be/6RUR6an5hOY?si=iipoFE_scp34Fpqw

How Meta’s Chief AI Scientist Believes We’ll Get To Autonomous AI Models

Meta’s Chief AI Scientist Yann LeCun discusses why he supports open source large learning models and why models need to live in the world to achieve autonomy...

youtu.be

LLM은 기본적으로 한계가 있다! 통계 앵무새한테 아무리 학습을 시켜도 추론과 계획까지 자연 발생하기는 어렵다.

인간은 LLM처럼  배우지 않고 인간의 뇌를 다 이해하지는 못해도 추론과 계획을 할 수 있는 아키텍쳐를 만들어야 한다.

그래서 내가 JEPA 만들고 있고 AGI로 가려면 데이터 뿐만 아니라 더 많은 혁신적인 돌파구가 필요함! 

* 결론 : 두 학파 중 뭐가 맞는지 알려면 앞으로 나올 트랜스포머 기반 모델들의 추론/계획 능력 상승 속도가 점점 둔화되는지 상승하는지 관찰하면 될 듯.