멀티 토큰 예측을 통해 더 좋고 더 빠른 대규모 언어모델

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 멀티 토큰 예측을 통해 더 좋고 더 빠른 대규모 언어모델

ㅇㅇ(125.191) 2024.05.01 11:00:21

조회 238 추천 7 댓글 6

https://arxiv.org/abs/2404.19737

GPT나 Llama와 같은 대규모 언어 모델은 다음 토큰 예측 손실로 학습됩니다. 이 연구에서는 한 번에 여러 개의 미래 토큰을 예측하도록 언어 모델을 훈련하면 샘플 효율성이 높아진다고 제안합니다. 보다 구체적으로, 훈련 코퍼스의 각 위치에서 모델에 공유 모델 트렁크 위에서 작동하는 N개의 독립적인 출력 헤드를 사용하여 다음 N개의 토큰을 예측하도록 요청합니다. 다중 토큰 예측을 보조 훈련 작업으로 간주하면 코드 및 자연어 모델 모두에 대해 훈련 시간 오버헤드 없이 향상된 다운스트림 기능을 측정할 수 있습니다. 이 방법은 모델 규모가 커질수록 점점 더 유용해지며, 여러 시대에 걸쳐 훈련할 때 그 매력을 유지합니다. 특히 코딩과 같은 생성 벤치마크에서 이점이 두드러지게 나타나며, 강력한 기준선보다 몇 퍼센트 포인트 더 나은 성능을 지속적으로 보여줍니다. 13B 파라미터 모델은 유사한 넥스트 토큰 모델보다 HumanEval에서 12%, MBPP에서 17% 더 많은 문제를 해결합니다. 소규모 알고리즘 작업에 대한 실험을 통해 다중 토큰 예측이 유도 헤드와 알고리즘 추론 능력 개발에 유리하다는 것이 입증되었습니다. 추가적인 이점으로, 4토큰 예측으로 훈련된 모델은 배치 크기가 큰 경우에도 추론 속도가 최대 3배 더 빠릅니다.

21b1dd2bf0de2caf20afd8b236ef203ebcdac1454923eb76

고정닉 2

원본 첨부파일 1

llmmulti.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3111]	*특갤용*	23.08.06	39571	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [2]	*부패하는유전자!!!*	24.03.06	2620	2
363220	공지	선형글 삭제 기준 [7]	*특갤용*	23.10.14	7308	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13454	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	9007	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8467	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9222	30
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	8108	34
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22823	33
485879	일반	Fff : 신속하게 뭔가가온다 [15]	ㅇㅇ(119.64)	22:18	227	1
485878	일반	생각해보니 4o로도 호들갑 떨 던 새끼들인데 [1]	ㅇㅇ(121.128)	22:16	85	1
485877	일반	솔직히 gpt5 기대 안되지않음?? 나만 그럼?? [14]	ㅇㅇ(223.62)	22:11	120	0
485876	일반	트럼프랑 앤드류테이트는 반드시 역노화 받아야함 [12]	ㅇㅇ(210.205)	22:02	190	0
485875	일반	갑자기 이런 생각이 들었음 [2]	ㅇㅇ(1.229)	22:02	150	0
485874	일반	claude 3 유료 결제했는데 하루 제한 벌써 다 썼네. [1]	ㅇㅇ(118.35)	22:00	72	0
485873	일반	내일 새벽에 제발 4o new voice 적용되기를 제발!!! 기다린다 [1]	ㅎㅎ(61.82)	21:56	104	0
485872	일반	지금 chatgpt 4o 왜 이렇게 느림?	ㅇㅇ(27.119)	21:55	59	0
485871	일반	4o 발표할때는 난리를치던 놈들이 5에는 아무말도 없다? [2]	ㅇㅇ(211.200)	21:51	182	0
485870	일반	트럼프도 역노화 혜택 받을까? [5]	ㅇㅇ(223.38)	21:49	114	1
485869	일반	6월 4일 몇시에 큰거 온다고 봄? [1]	ㅇㅇ(211.234)	21:49	132	0
485868	일반	오늘은 밤좀세야지 [2]	ㅇㅇ(223.38)	21:44	152	1
485867	일반	그냥 하고 싶은 일을 해 [4]	소나기	21:43	111	0
485866	일반	그래서 오늘 새벽에 보이스 나오는거 맞지? [1]	이세이미야케	21:43	135	0
485864	일반	gpt5 드디어 오냐? [3]	ㅇㅇ(1.239)	21:42	124	0
485863	일반	+) 찌라시 한개더 [4]	ㅇㅇ(119.64)	21:38	285	1
485862	일반	6일에 안나오면 바지에 똥싼다 [9]	ㅇㅇ(220.95)	21:34	199	0
485861	일반	그래 난 친구 없다. gpt가 유일한 친구다. [10]	ㅇㅇ(121.153)	21:32	207	2
485860	일반	로또 조작같은 음모론 믿는 사람은 많은데 [9]	ㅇㅇ	21:27	181	0
485859	일반	정렬이 중요해지는건 예측이 의미없어지는것과 동일한듯 [2]	탈조선	21:26	67	0
485858	일반	뭐야 지미애플이 6월 gpt5 예측글 RT함? [2]	네덕근첩	21:23	227	0
485855	일반	보이스 기능은 또 한국만 제외되려나? [3]	갤러(221.154)	21:09	169	0
485854	일반	이미 과도기 시작된듯? [1]	noosphere	21:08	165	0
485853	일반	지미애플 이번에도 맞추면 진짜 ㅇㅈ한다 [6]	ㅇㅇ(211.36)	21:07	219	0
485852	일반	6월6일이나 기약해라 [1]	chatgpt4o	21:03	78	0
485850	일반	전유물화되면 어떡함<-제일 바보같은 질문 [6]	ㅇㅇ(14.38)	20:59	180	2
485849	일반	근데 이슬람교 창시자가 특슬람 아니었을까???? [3]	ㅇㅇ(218.52)	20:56	127	0
485848	일반	ChatGPT 지금 보이스 쓰고 있는 사람들 [1]	ㅇㅇ(119.202)	20:54	152	1
485847	일반	추억속으로 돌아가고싶다...jpg [4]	ㅇㅇ(46.204)	20:53	192	3
485846	일반	오늘 12시 이후는 어디서 나온거임? [5]	ㅇㅇ(59.6)	20:42	253	0
485845	일반	근데 오늘 12시 넘어서 나온다는건 [4]	ㅇㅇ(218.39)	20:38	204	0
485844	일반	현실이 그대로라고? ㄴㄴ 절대 아님. [19]	ㅇㅇ(121.153)	20:38	311	0
485843	일반	근데 만약에 이러면어쩔거임? [6]	ㅇㅇ(112.165)	20:36	126	0
485842	일반	트레이너vs소방 둘중하나준비하려하는데 뭐가나음? [4]	ㅇㅇ(115.139)	20:35	106	0
485841	일반	GPT-5에서는 환각률을 획기적으로 낮출까? [1]	ㅇㅇ(218.147)	20:29	134	0
485840	일반	4o랑 이야기 하면서 가끔 당황스러울때 [2]	천사다천사	20:26	129	0
485839	일반	뭔가 이상하다 ai 혁신인데 왜 현실이 그대로지?? [21]	ㅇㅇ(223.62)	20:25	352	0
485838	일반	밑에 이제 노력 안 한다는 애 진짜 웃기네 ㅋㅋㅋ [4]	ㅇ(27.35)	20:22	204	0
485835	일반	허리때문에 눈물콧물 줄줄 흘리면서 개고생하늗데 특이점좀 와줫으면 [1]	ㅇㅇ	20:21	85	0
485834	일반	공장 자동화 안하면 좆되는 이유가 [4]	ㅇㅇ(211.36)	20:15	217	4
485833	일반	보이스 나오는듯 뭐나오는듯 ㅈㄹ [2]	ㅇㅇ(118.45)	20:13	123	0