최신 AI 연구의 큰 두가지 흐름 정리 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 최신 AI 연구의 큰 두가지 흐름 정리

나일론마스크

2024.05.17 06:08:43

조회 4842 추천 34 댓글 56

AGI로 가기 위해서 아주 여러 방향의 시도들이 있지만 크게 두 흐름으로 정리할 수 있을것 같아 소개해 본다.

하나는 OpenAI를 필두로 한 "스케일업 학파"로 명명하고

또 다른 하나는 얀르쿤!이 주장하는 "아키텍쳐 학파"로 나눠보겠음.

최근 올라온 각 학파의 영상들을 소개하며 간략하게 설명해보도록 함.

1 ) OpenAI 스케일 업 학파

https://youtu.be/3gb-ZkVRemQ?si=MUSjPKKclKgzoJoZ

Stanford CS25: V4 I Jason Wei & Hyung Won Chung of OpenAI

April 11, 2024Speakers: Jason Wei & Hyung Won Chung, OpenAIIntuitions on Language Models (Jason) Jason will talk about some basic intuitions on language mode...

youtu.be

최근 스탠포드에서 진행된 강연으로 현재 OpenAI에서 일하는 "정형원"씨의 발표를 참조해 보자.

물론 오로지 개인의 의견일 수도 있으나 OpenAI가 어떤 시각으로 AGI를 달성하고자 하는지 엿보기에 충분할 것 같다.

1ebec223e0dc2bae61ab96e74683707026f64aff861be72e495f91dd3d6c3640e280972715aea2f20924038d3bbc083a1cb774f039

강의의 요점 중 하나를 저화질 버전으로 쉽게 설명하자면 :

"ㅅㅂ 우리가 뇌에 대해서 잘 알지도 못하는데 괜히 이상한 전제 도입해서 아키텍쳐 복잡도 올리지 말고

최대한 선입견 없는 아키텍쳐 만들어 놓고 데이터 ㅈㄴ 쑤셔 박았더니 처음엔 ㅂㅅ같았는데 어느 순간부터 역전하더라.

결국 이런 방식으로 계속 하다보면 추론도 하고 계획도 하는 AGI 만들 수 있는거 아님?"

결국 아키텍쳐 복잡도는 줄이고 인풋은 개같이 때려박으면 뭔가 뿅하고 나올 거라는 방향임.

2 ) 얀르쿤! 아키텍쳐 학파

https://youtu.be/6RUR6an5hOY?si=iipoFE_scp34Fpqw

How Meta’s Chief AI Scientist Believes We’ll Get To Autonomous AI Models

Meta’s Chief AI Scientist Yann LeCun discusses why he supports open source large learning models and why models need to live in the world to achieve autonomy...

youtu.be

LLM은 기본적으로 한계가 있다! 통계 앵무새한테 아무리 학습을 시켜도 추론과 계획까지 자연 발생하기는 어렵다.

인간은 LLM처럼 배우지 않고 인간의 뇌를 다 이해하지는 못해도 추론과 계획을 할 수 있는 아키텍쳐를 만들어야 한다.

그래서 내가 JEPA 만들고 있고 AGI로 가려면 데이터 뿐만 아니라 더 많은 혁신적인 돌파구가 필요함!

* 결론 : 두 학파 중 뭐가 맞는지 알려면 앞으로 나올 트랜스포머 기반 모델들의 추론/계획 능력 상승 속도가 점점 둔화되는지 상승하는지 관찰하면 될 듯.

고정닉 16

원본 첨부파일 1

Screenshot 2024-05-16 at 4.55.47 PM.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3135]	*특갤용*	23.08.06	39932	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [2]	*부패하는유전자!!!*	24.03.06	2714	2
363220	공지	선형글 삭제 기준 [7]	*특갤용*	23.10.14	7432	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13620	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	9090	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8610	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9323	30
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	8222	34
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22973	33
487883	일반	와 스타십 날개까지 녹았는데 성공한거네 ㄷㄷ	달나라로켓	03:45	28	0
487882	일반	6월 6일에 발표한다는게 이거말하는거 맞지? [4]	ㅇㅋ	03:43	93	0
487880	일반	오픈 ai 임원들 이미 수백억 수천억 이상 부자들임 ㄷㄷㄷ [6]	ㅎㅎ(61.82)	03:18	185	1
487879	일반	갑자기 샘 알트만이 나와서 뉴 보이스 [1]	ㅎㅎ(61.82)	03:16	98	0
487878	일반	아쉽지만 미라 무라티 온냐 일상 사진 보고 화푸세요 [2]	안녕(203.132)	03:16	138	0
487877	일반	근들갑 믿는 근거라고는 [4]	ㅇㅇ(223.38)	03:15	96	0
487875	일반	걍 wwdc 에서 공개하겠구만	ㅇㅇ(59.20)	03:12	88	0
487874	일반	틋붕이들 잘장 !!!! [4]	ㅇㅇ	03:07	98	0
487873	일반	아 여기 새벽에도 글리젠 있는게 전부 봇이었음?	ㅇㅇ	03:06	57	0
487872	일반	특붕이는 빙고 얼마큼 나오냐?	ㅇㅇ(223.38)	03:06	67	0
487871	일반	근데 특붕이들 말투가 다 비슷함 [7]	ㅇㅇ	03:04	144	0
487870	일반	[오피셜] voice mode	ㅇㅇ(122.34)	03:04	193	0
487869	일반	근데 너넨 직업이 뭐임? 궁금해서.. [11]	ㅇㅇ	03:03	204	0
487868	일반	근들갑 ㅈ박으니까 그림떡밥가는거 보소	ㅇㅇ(223.38)	03:03	42	0
487867	일반	아직 특붕이들이 패배한게 아닌 이유 [1]	ㅇㅇ	03:03	95	0
487866	일반	그림떡밥도는거보니 오늘 별거없네 [2]	Jackey	03:02	95	0
487864	일반	야 우냐? ㅋ 우냐? ㅋ 우냐? ㅋ 우냐? ㅋ 우냐? ㅋ [3]	ㅇㅇ(119.202)	03:02	107	0
487863	일반	특레발 레전드	ㅇㅇ(223.38)	03:01	103	0
487862	일반	3시인데 뭐 없노	ㅇㅇ(220.95)	03:00	71	0
487861	일반	환쌤들만 난리치는건 아님 저작권에 민감하거나 관련 직업이면 [2]	ㅇㅇ(119.66)	03:00	102	0
487860	일반	그림쪽 전문가 있음?	ㅇㅇ(106.101)	03:00	49	0
487859	일반	좋은 모델 좋은 로라	갤럭시빠	02:59	50	0
487858	일반	ai로 벌레 만들어 보셈 개잘만듬	ㅇㅇ	02:57	61	0
487857	일반	Ai그림 실사는 좀 티가 나지 않음? [2]	ㅇㅇ(106.101)	02:56	94	0
487856	일반	ai창작에 반대하는 이유 존나 다들 착각하는데	ㅇㅇ(203.234)	02:56	65	0
487855	일반	카운트다운 기대햇는데 [2]	Jackey	02:56	118	0
487854	일반	오 3시다 !	ㅇㅇ(116.44)	02:56	89	0
487853	일반	동양인 ai짤들은 왜 불쾌한 골짜기가 느껴질까 [4]	lightvector	02:55	165	0
487851	일반	ai 쓰지마라 = 종이컵으로 전화해라 ㅋㅋ	ㅇㅇ	02:52	38	1
487849	일반	AI그림 쓰면 안된다는 논리가 말이 안되는게 [5]	ㅇㅇ(182.222)	02:50	142	0
487848	일반	근데 gpt-5 나오면 세상이 얼마나 바뀜? [3]	ㅇㅇ	02:49	134	0
487847	일반	근데 국내에서 sora랑 gpt5 쓴느사람들 있지않음? [8]	ㅇㅇ	02:49	109	0
487846	일반	아시발 이새끼들 엔비디아같네	갤럭시빠	02:48	62	0
487845	일반	카운트 세던 씹새끼는 뭐냐? [3]	ㅇㅇ(112.171)	02:47	160	0
487844	일반	oai가 공개 안해도 여유로운 이유	ㅎㅎ(61.82)	02:46	51	0
487842	일반	근데 진짜 아무것도 없으니까 ㅈ같노	ㅇㅇ(118.235)	02:45	41	0
487841	일반	나온게 도대체 뭐임?	ㅇㅇ(223.38)	02:45	37	0
487840	일반	한국시각 06월 07일 03:00...NEW VOICE MODE ..	ㅎㅎ(61.82)	02:45	76	0
487838	일반	20분 남았네 ㅋㅋ [2]	Dall리신(121.157)	02:44	113	0
487837	일반	38분전 뉴스	ㅇㅇ(59.20)	02:43	71	1
487836	일반	난 소비자 입장에서 ai그림 왜 싫어하는지 모르겠다 [13]	lightvector	02:42	211	0