멀티모달 구현은 이런식이지 않을까 - 특이점이 온다 마이너 갤러리

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] 멀티모달 구현은 이런식이지 않을까

ㅇㅇ

2024.05.16 00:11:53

조회 123 추천 0 댓글 4

이미지, 오디오, 텍스트 각각이 서로 다른 인코더를 갖고 있고

아웃풋은 오디오, 텍스트 이 두 개로 디코더가 있고

서로 번갈아가면서 짝 지어서 학습하는 거지

이미지 - 오디오, 오디오 - 오디오, 텍스트 - 오디오

이렇게 학습하면서 인코딩된 "토큰"을 공유하는 거 같음

사실 모델 자체는 데이터 형식마다 각각 다른 거겠지

이상 뇌피셜 끝;;

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	7758	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3077]	*특갤용*	23.08.06	39070	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	2492	2
363220	공지	선형글 삭제 기준 [7]	*특갤용*	23.10.14	7179	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13261	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	8889	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8303	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9095	30
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22665	33
483946	정보/ 정보/뉴스	샘 알트만의 기빙플레지 서약 유명무실+범죄자 천국	쇠안경	17:07	21	0
483944	일반	근데 완벽한 에이전트나오면	rhrlk1	17:02	36	0
483943	일반	최고의 발사대는 짱깨다	ㅇㅇ	16:58	36	0
483942	일반	단일신경망 에이전트 ㅇㅅㅇ	ㅇㅇ(122.36)	16:58	39	0
483941	일반	Closed ai 뭐냐고 대체 [3]	ㅇㅇ	16:54	97	0
483940	일반	구글이 따라잡으니까 다음모델 떡밥푸는구나 [4]	ㅇㅇ(121.132)	16:53	74	0
483939	일반	gpt api 쓸 때 맥락 기억하게 만들면 ㅈ됨?	ㅇㅇ(121.159)	16:52	40	0
483937	일반	단일신경망 << 스케일 때려박기 그 자체	lduna	16:48	87	0
483936	일반	40 음성도 안나왔는데 5가 왜나옴 [1]	ㅇㅇ(1.240)	16:48	56	0
483935	일반	근데 이러나저러나해도 머스크가 트위터 굴리는거보면	rhrlk1	16:47	46	0
483934	일반	단일 신경망이 발전이 없는거라고? [4]	ㅇㅇ(210.105)	16:46	94	0
483933	일반	샘 알트만 정치 욕심 있어보임 [2]	ㅇㅇ(121.128)	16:45	64	0
483932	정보/ 정보/뉴스	정부 유착해 입만 터는 과학자(얀르쿤) = 현실 못 바꿈	쇠안경	16:45	63	0
483931	일반	요즘 슬슬 드는생각이 [3]	ㅇㅇ(14.53)	16:44	150	2
483930	일반	머스크 옹호는 그렇지만 그록 만드는 게 맞긴함. [1]	ㅇㅇ(103.237)	16:44	35	0
483929	일반	유발 하라리<이새끼는 뭔데 6개월 미루라했음	rhrlk1	16:44	39	0
483928	일반	웃음벨) 머스크·하라리 등 “AI 개발은 자살 경쟁…6개월 중지하자” [2]	ㅇㅇ(14.35)	16:40	172	4
483927	일반	헤응 샘알트만 형아....	ㅇㅇ(223.38)	16:38	22	1
483926	일반	신호처리교수님 "GPT4o 같은 방식 썩 좋아하진 않는다" [13]	lduna	16:36	270	1
483925	일반	질문좀 [1]	ㅇㅇ	16:29	27	0
483924	일반	보이스 지금되는거 아님? [5]	ㅇㅇ	16:28	80	0
483923	일반	게이가 지능이 높다는걸 어디서 본거같은데 [5]	rhrlk1	16:27	125	0
483922	일반	알트만 게이였음? [12]	ㅇㅇ(58.77)	16:24	114	0
483921	일반	솔직히 AGI는 지금시점에서 시간문제일듯 [3]	ㅇㅇ(118.235)	16:23	129	3
483920	일반	니들도 gpt 쓸 때 newChat 하지말고 chat 1개로 계속 써	ㅇㅇ(121.159)	16:22	108	0
483919	일반	파키스탄 52℃·인도 50℃… 아시아 기록적 고온 [3]	ㅇㅇ(125.191)	16:20	88	0
483918	일반	특붕이들은 파멸하더라도 가장 빠른 AGI를 원하지 않음? [6]	ㅇㅇ	16:16	114	1
483917	일반	예전에봤던글 찾아줄수있을까 [2]	ㅇㅇ(223.39)	16:13	55	0
483916	일반	다음달에 gpt5가 출시된다는게 믿겨지십니까? [5]	헬스토끼	16:10	239	0
483915	일반	맥스 테그마크 원래 감속충임? [5]	ㅇㅇ(112.144)	16:09	89	0
483914	일반	여자는 징병은 안 하는데 지휘관을 하는 이유가 뭐임? [3]	ㅇㅁㄴㅇㄻㄴㄻㄴ(121.178)	16:08	103	0
483913	일반	세션마다 기억력이라는게있음?	ㅇㅇ	16:05	35	0
483912	일반	이새끼들은 걍 이게없음ㅋㅋㅋㅋ [6]	ㅇㅇ(49.161)	16:02	192	1
483911	일반	이 트윗이 진짜라면 gpt5 얼리엑세스 라는건데	ㅇㅇ(210.105)	15:57	189	0
483910	일반	뭔일이야?	ㅇㅇ(182.31)	15:56	91	0
483909	일반	궁금한거 있음 [2]	ㅇㅇ(125.244)	15:55	53	0
483908	일반	물로켓 레전드.jpg [11]	ㅇㅇ	15:52	299	3
483907	일반	지랄하지마라 진짜 작년에 그 행패를 잊을줄알고 [3]	ㅇㅇ(211.253)	15:49	166	0
483906	일반	여기는 특이점 거리고 있는데 밖에서는 의대 증원에 사교육 들썩 [1]	ㅇㅇ(221.148)	15:46	114	0
483905	일반	문학적인 능력은 어떰? 클로드랑 GPT4o 중에 뭐가 나음? [4]	동소	15:46	86	0
483904	일반	지식검색+가지고놀기 뭐가 좋음? [2]	ㅇㅇ(220.84)	15:40	89	0