추론 비용은 사실 아키텍처만 좀 더 실험적으로 바꿔도

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…) VPN차단용(near1254) ㅇㅇ(prince23…)

개설일

2019-08-01

[일반] 추론 비용은 사실 아키텍처만 좀 더 실험적으로 바꿔도앱에서 작성

ㅇㅇ(121.165) 2024.05.23 12:30:34

조회 75 추천 0 댓글 0

현 트랜스포머 구조 대략적으로 유지하며 크게 개선할 수 있다 생각해서 큰 걱정은 안 되는 듯

당장 현 모델들 실험적은 커녕 수 년도 전에 나온 기법들만 썼는데 추론 비용 수 배는 줄였잖음

gpt4 계열만 봐도 MoE에 모델 증류만 잘 돌려도 획기적으로 빠르고 싸지고

(물론 OpenAI가 모델 설계를 공개 안 해서 뭔가 더 했을지 확신은 못하겠지만)

phi-3같은 모델 보면 애초에 학습만 잘 돌려도 구조 변경 전무한 채 파라미터 수 대비 성능 크게 끌어올릴 수 있음

제대로 아키텍처 변경까지 하면 또다시 수 배는 줄어들 수 있겠지

학습 돌리는 게 문제지 일단 성능만 증명하고 나면 추론 비용은 나중 일이라고 봄

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2928	설문	연예인하면 더 인기 많을 것 같은 스포츠 스타는?	운영자	24/09/16	-	-
529935	일반	환쟁이들 이런 주장도 있던데 [17]	ㅇㅇ	00:15	273	0
529933	일반	진짜 오만한 건 특갤이 아님 [3]	비리바리부리	00:13	266	7
529932	일반	애초에 규제 주장이 너무 터무니없음 [4]	ㅇㅇ	00:12	136	2
529931	일반	AI그림 규제충 특 [4]	ㅇㅇ(221.157)	00:07	203	2
529930	일반	근데 확실히 그림 쪽 AI 개발 집중이 전략이긴 하네 ㅇㅇ	비리바리부리	00:07	155	0
529929	일반	AI그림에 발작하는 애들 웃겼던 점 [9]	Samus	00:04	454	15
529926	일반	프라임 에디팅이라고 4세대 유전자가위 있는데 [7]	ㅇㅇ(121.131)	09.21	195	3
529925	일반	크리스퍼 유전자 가위인가? 이건 지금도 시술가능한데 안하는거지? [4]	ㅇㅇ(59.12)	09.21	169	0
529924	일반	터미네이터 보고 AI 무섭네 ㄷㄷㄷ 하는 것도 참 웃김 [8]	Samus	09.21	304	0
529923	일반	슬슬 SORA보다 퀄리티 좋은 비디오AI들 나오네 [4]	ㅇㅇ(61.72)	09.21	277	1
529922	일반	진짜 엄청난 발견을 해버림 [14]	비리바리부리	09.21	524	1
529921	일반	AGI가 노동대체하기 전에	ㅇㅇ(211.33)	09.21	84	0
529920	일반	다들 근데 디스토피아적인 ai 영화 싫어함? [10]	ㅇㅇ(103.237)	09.21	179	0
529918	일반	게임체인저는 이미지/동영상 ai다... [2]	ㅇㅇ(103.237)	09.21	167	0
529917	일반	인공지능 관련 볼만한 영화 뭐 없냐 [14]	ㅇㅇ	09.21	201	0
529916	일반	20대 초반만 해도 노력/능력주의에 매몰되어 있었지 [7]	ㅇㅇ(1.239)	09.21	307	5
529915	일반	데브데이에 o1 정식버전 나올거 같음	A.I.	09.21	73	0
529914	일반	클링 먼 아직까지도 99퍼노 [5]	Samus	09.21	203	0
529912	일반	시바 솔직히 월E같은 삶 왜 포기함 ㅋㅋ? [4]	ㅇㅇ(119.203)	09.21	178	1
529911	일반	Gpqa mmma인간전문가수준 됐는데	ㅇㅇ	09.21	47	0
529910	일반	스테이블 디퓨전 ← 이건 LLM보다 훨씬 빡통임 [6]	TS망상	09.21	251	1
529909	일반	저는 꿈이 코미디언 입니다. [4]	바다기린	09.21	87	0
529908	일반	말나와서 물어보는데 '초지능의 모습'이 어떨거같냐?? [4]	긴난짱	09.21	135	0
529907	일반	능력주의, 노력주의 좋아하는 사람들 [2]	ㅇㅇ	09.21	226	5
529905	일반	ai 디스토피아가 전유물론보다는 가능성 높을 것 같긴함. [3]	ㅇㅇ(103.237)	09.21	123	0
529903	일반	일러레 다음은 뭐냐고?	이모티콘	09.21	91	0
529902	일반	알트먼은 내부 ai로 뭐하고 있을까? [3]	ㅇㅇ(103.237)	09.21	101	0
529900	일반	오늘 따이냐 내일 따이냐 차이다 [3]	떠깅	09.21	116	2
529899	일반	데이터 가져가는거 규제 없다시피 한 이유는 별게 아님	ㅇㅇ(125.240)	09.21	55	0
529898	일반	뜬금없긴 한데 돌덩이 떡밥은 어케됐냐 [1]	ㅇㅇ(115.139)	09.21	77	0
529896	일반	개인적으로 일러 쪽이 오히려 진짜 롱런한다고 봄 [6]	TS망상	09.21	236	0
529895	일반	그냥 다들 원하는건 하나뿐임 [4]	ㅇㅇ(175.192)	09.21	312	8
529894	일반	일러 다음은 누구냐 [5]	ㅇㅇ(110.10)	09.21	178	0
529892	일반	초지능 디스토피아 충분히 가능성은 있다고 생각함 [14]	긴난짱	09.21	152	0
529890	일반	다들 원하는 직업 얻을 수 있다면 뭐 할꺼임? [18]	ㅇㅇ(103.237)	09.21	180	0
529888	정보/ 정보/뉴스	MS, 스타트업 안두릴과 미 육군 전투 고글 시스템 개발 [2]	ㅇㅇ(182.230)	09.21	164	2
529887	일반	지금 일러레와 코드짜는 사람차이 [4]	oo(49.142)	09.21	256	2
529885	일반	Dev day에 뭐나옴??	ㅇㅇ	09.21	55	0
529884	일반	분탕이 많아 지는건 좋은거야	떠깅	09.21	41	0
529882	일반	근데 직업비하는 하지말자 [5]	ㅇㅇ	09.21	167	2
529879	일반	환쟁이 줘패고싶은 이유 [2]	ㅇㅇ(175.212)	09.21	110	1
529877	일반	그림쟁인데 ai 싫어하는 놈들 이해안됨ㅋㅋㅋ [14]	ㅇㅇ	09.21	291	3
529876	일반	번역가 대체 안 된 이유	ㅇㅇ(220.124)	09.21	124	0
529875	일반	니들 소아온처럼 완몰가 나오면 할거냐? [10]	ㅇㅇ(121.150)	09.21	151	0
529874	일반	o1 프리뷰 한계론 [5]	Weisser_Adler	09.21	295	0
529872	일반	이건 예체능에서 먼저 이니시 건거라고 본다 [5]	Samus	09.21	163	1
529870	일반	ai가 발전하면서 의식에 관련한 문제가 해결되길 기대중	ㅇㅇ(103.237)	09.21	43	1
529868	일반	agi가 오면 환경문제도 사회문제도 다 해결됨?? [1]	ㅇㅇ(182.172)	09.21	45	0
529867	일반	아직도 ai에 부정적인 일갤러들 잘 들어라	ㅇㅇ	09.21	115	1
529866	일반	그냥 다 망했으면 좋겠어서 특이점 바라는 애들도 많은거같은데ㅋㅋ [8]	ㅇㅇ(119.192)	09.21	185	2