구글, VideoPrism 공개 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] 구글, VideoPrism 공개

ㅇㅇ(123.100) 2024.02.26 06:52:47

조회 3217 추천 55 댓글 19

2ef3c028e2f206a26d81f6e44384776f

Sora같은 생성모델은 아니고

비디오 이해를 잘 하는 인코더 모델인데

지금까지 공개된 것 중 가장 광범위한 동영상 데이터로 학습했다캄

5억개 넘는 영상

비디오 캡셔닝, QA, 디텍션, 분류 등등 다양한 작업을 수행가능험

24b0d121e08068e87eb1d19528d52703cc8a44928b37a2

기존 동영상 이해 벤치마크 Sota들과 비교. 많이 향상됨

24b0d121e08776b660b8f68b12d21a1da5c52883fa

특정 과학 분야에 특화된 모델들보다

동영상에 대한 이해도가 더 높았음

VideoPrism은 다양한 과학 벤치마크에서 도메인 전문가보다 뛰어난 성능을 발휘합니다.

VideoPrism의 상대적인 개선 사항을 강조하기 위해 절대 점수 차이를 표시합니다. 클래스 평균 상위 1 정확도를 사용하는 KABR을 제외하고 모든 데이터 세트에 대한 평균 평균 정밀도(mAP)를 보고합니다.

24b0d121e0836ae87eb1d19528d52703f126b7c24b3d

우리는 분류 및 현지화 작업을 다루는 기존 대규모 비디오 이해 벤치마크( VideoGLUE )에서 VideoPrism을 평가합니다. 우리는 (1) VideoPrism이 다른 모든 최신 FM보다 성능이 뛰어나며 (2) 지속적으로 2위를 차지한 다른 단일 모델이 없음을 확인했습니다. 이는 VideoPrism이 다양한 비디오 신호를 하나의 인코더에 효과적으로 묶는 방법(다양한 세분성의 의미부터 모양 및 모션 큐까지)을 학습했으며 다양한 비디오 소스에서 잘 작동한다는 것을 알려줍니다.

기존 모델들과의 비교... 다양한 분야에서 상당히 많이 성장하였다.

제프리 힌튼, 일리야 수츠케버 등등 많은 AI 전문가들은

비디오 학습이 AGI를 향한 필수 요건임을 강조허고 있음.

그런 면에서 비디오 이해 능력이 빠르게 정복되고 있는 것을 보니 기분이 좋다.

https://blog.research.google/2024/02/videoprism-foundational-visual-encoder.html

VideoPrism: A foundational visual encoder for video understanding

VideoPrism: A foundational visual encoder for video understanding

blog.research.google

https://blog.research.google/2024/02/videoprism-foundational-visual-encoder.html

고정닉 21

원본 첨부파일 4본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2868	설문	힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는?	운영자	24/06/10	-	-
431230	일반	허황된 망상 하지말고 현실에 충실해라 [24]	et	03.04	3338	75
431173	정보/ 정보/뉴스	화웨이의 새로운 AI칩이 Nvida의 A100 능가 [25]	모브	03.03	3886	33
431152	일반	머스크 근데 진짜 쫄리나 보다 [5]	ㅇㅇ(218.147)	03.03	3146	42
431114	일반	어 형이야 [10]	ㅇㅇ	03.03	2374	37
431102	일반	오픈AI 과학 난제 해결 AI 진짜 개웅장하네 [6]	ㅇㅇ	03.03	2032	23
431097	일반	물리학 교수 라벨러 ㅋㅋㅋ [3]	ㅇㅇ(123.100)	03.03	450	15
431087	정보/ 정보/뉴스	[단독] 오픈AI, 범용 과학AI 만든다 [33]	연맛	03.03	4043	97
431039	일반	룬 새 트윗 "사랑" [12]	모브	03.03	1239	24
431038	일반	"경쟁의 중요성" [5]	초존도초	03.03	1273	20
431005	정보/ 정보/뉴스	샘 알트만, "옛날의 머스크가 그립다" [7]	모브	03.03	4120	35
431000	일반	한국 심각한 검열 수준.. [61]	이런내가특특	03.03	3693	66
430940	일반	소라 새로 올라온 영상 [21]	ㅇㅇ	03.03	3836	38
430937	일반	샘알트만의 새로운 트윗 [21]	ㅇㅇ(125.191)	03.03	2881	32
430926	일반	일리야 근황 [15]	ㅇㅇ(218.147)	03.03	2985	35
430851	일반	(루머) 큐스타관련 pdf 모든페이지 번역 [172]	루미코드	03.03	3071	54
430825	일반	중국 휴머노이드 로봇 잘만든거 나온듯? [9]	ㅇㅇ(180.230)	03.03	2311	25
430800	일반	나만 그렇게 느끼는 걸수도있는데 [31]	떼껄룩해적단	03.03	3424	55
430797	일반	얀 르쿤 - "까도 내가 까" [4]	루미코드	03.03	1715	31
430779	일반	오픈AI "머스크, 회사 잘되니 배 아파 제소했다" [3]	ㅇㅇ	03.03	2168	45
430773	일반	비노드 코슬라, 샘알트만 지지 선언 [7]	ㅇㅇ	03.03	1622	29
430772	일반	오픈AI, 머스크 이중행태 폭로…“속도 늦다며 제 발로 나가” [7]	ㅇㅇ	03.03	2292	45
430744	정보/ 정보/뉴스	[온난점] 전세계 탄소 배출, 작년 사상최대.news [17]	트라야누스(14.32)	03.03	1245	20
430705	일반	바뀌는게 '체감'되려면 결국 물질적인게 있어야함 [26]	lightvector	03.03	3035	48
430698	일반	구글 초기 개발자가 말하는 구글이 OAI를 이길수 없는 이유 [5]	ㅇㅇ	03.03	1465	33
430697	일반	2년 전 ai기술은 6개월에 두배 성장이 정배'였'음 [8]	lightvector	03.03	2711	32
430608	일반	난 23년 이후로 위험한 활동 싹 끊음 [16]	lightvector	03.03	3816	53
430590	일반	엠생 글써서 싸우지 마세요 차단합니다 [3]	은바다	03.02	249	15
430570	일반	특이점 오니까 인생 대충 살겠다는 애들 특 [9]	ㅇㅇ(143.244)	03.02	2596	70
430558	일반	옳게 된 충고 [7]	ㅇㅇ	03.02	1927	42
430554	일반	미래는 어떻게 될지 아무도 모른다 [20]	Samus	03.02	2541	47
430503	일반	제발 병신아 [11]	ㅇㅇ(122.43)	03.02	2118	35
430455	일반	완몰가 비슷한거 나온듯? [8]	루미코드	03.02	2025	30
430396	정보/ 정보/뉴스	MS, '엑셀 전문' 코파일럿 공개, "ERP·CRM 대체할 것" [13]	니지카엘	03.02	2304	25
430366	일반	테슬라 차는 원래 FSD 때문에 삼. [9]	ㅇㅇ(121.153)	03.02	1253	25
430322	일반	OpenAI가 이기는게 전유물론 아니냐 [5]	ㅇㅇ(122.43)	03.02	1019	20
430261	일반	개씨발 무슨 인생이 메이플스토리인줄 아냐 [12]	ㅇㅇ(220.121)	03.02	3057	42
430255	일반	머스크는 6개월 AI개발중지 동의한것부터 [5]	ㅇㅇ(149.88)	03.02	2205	38
430240	일반	개발자라고 다 너드처럼 생긴게 아니야 [14]	특갤러(118.176)	03.02	2808	27
430215	일반	샘 알트만: 아이를 갖고 싶다 [32]	ㅇㅇ(116.120)	03.02	2997	32
430209	일반	머스크 딥마인드 인수도 시도했었네 ㅋㅋ [2]	ㅇㅇ(106.248)	03.02	1667	20
430189	일반	데미스 허사비스 의문의 총격 [9]	ㅇㅇ(123.100)	03.02	2291	18
430180	일반	DeepMind, Hawk와 Griffin : ㅈㄴ 까이는데? [7]	ㅇㅇ(106.248)	03.02	1292	21
430163	일반	일론이 이번 고소에서 원하는 판결 [7]	ㅇㅇ(115.140)	03.02	2515	46
430159	일반	이번 소송으로 확실해진것 [2]	ㅇㅇ(123.100)	03.02	2009	38
430148	일반	알트만 머스크에게 반응함 [10]	ㅇㅇ(123.100)	03.02	2475	41
430145	일반	roon 뒤늦은 해명 중 [1]	ㅇㅇ(123.100)	03.02	1154	19
430140	정보/ 정보/뉴스	OpenAI 임원, Elon Musk의 주장 거부 [5]	ㅇㅇ(125.191)	03.02	1831	23
430136	일반	복잡할거 없이 단순하게 보면 됨 [3]	et	03.02	1711	30
430114	일반	머스크 진짜 대가리 존나 후려치고 싶네 [2]	ㅇㅇ	03.02	1589	27
430082	일반	머스크가 위험한 인물인 이유가 있더라 [3]	ㅇㅇ(49.142)	03.02	2254	29