라마3-gradient - 컨텍스트 길이를 8k에서 1m으로 확장한 모델

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 라마3-gradient - 컨텍스트 길이를 8k에서 1m으로 확장한 모델

ㅇㅇ(182.230) 2024.05.02 12:54:58

조회 197 추천 1 댓글 2

https://ollama.com/library/llama3-gradient

llama3-gradient

This model extends LLama-3 8B's context length from 8k to over 1m tokens.

ollama.com

7cec8970b7d63af523ed81e0469c706eb7cdb0bd3368c8ecabdad7bd5c5765f98fe949e8d1afd22718fecc4dd76d2be03bc38b

- Gradient가 개발한 이 모델은 LLama-3 8B의 컨텍스트 길이를 8k에서 1040K 이상으로 확장

- SOTA LLM이 RoPE theta를 적절히 조정하여 최소한의 훈련으로 긴 컨텍스트에서 작동하는 방법을 학습할 수 있음을 보여줌

- 이 단계는 830M 토큰으로 훈련했으며 모든 단계에서 총 1.4B개의 토큰으로 Llama3의 오리지널 사전 훈련데이터의 0.1%에 불과함

- 참고: 256k 컨텍스트를 사용하려면 최소 64GB의 메모리 필요. 1M 이상의 컨텍스트를 사용하려면 100GB 이상이 필요

고정닉 1

원본 첨부파일 1

11962db3-2750-4346-b89c-b9b5612cc76a.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
473463	일반	'Unedited raw output' [1]	ㅇㅇ(218.232)	05.15	50	0
473462	일반	Veo 좋은 거 싹 다 가져다 박았다 ㄷㄷㄷㄷㄷㄷㄷ	ㅇㅇ	05.15	72	0
473461	일반	여기서 GPT-4o 메디컬 개 미친 성능 [18]	Spark	05.15	5311	39
473460	일반	Veo 입갤! 지금 바로 내면 인정한다	ㅇㅇ(221.155)	05.15	33	0
473459	일반	openai는 밥먹듯이 하는건데	ㅇㅇ(218.153)	05.15	92	1
473458	일반	카운팅 스타~ 밤하늘에 퍼얼~	키보드워리어	05.15	27	0
473457	일반	Stable Suno Sora GPT Omni 를 소개합니다.	ㅇㅇ(222.234)	05.15	58	0
473456	일반	갑자기 알트만이 짜잔! 하고 등장!	ㅇㅇ(58.29)	05.15	37	1
473454	일반	비오 입갤 ㅋㅋㅋㅋㅋ	이세이미야케	05.15	40	0
473453	일반	구글 글래스는 과장일듯	ㅇㅇ	05.15	40	0
473452	일반	소라 따!잇!입갤 ㅋㅋ	ㅇㅇ	05.15	31	0
473451	일반	뒤에 근더 저거 ULTRAFHDLGTV 플래그임?	FIREKICK	05.15	27	0
473450	일반	Veo 입갤 ㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	34	0
473449	일반	비디오 나온다	ㅇㅇ	05.15	30	0
473448	일반	생성형 비디오 입갤 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	48	0
473447	일반	개구린 AI로 억텐해야 하는 거 안쓰럽네	TS망상	05.15	64	0
473446	일반	어어 주가 왜 올라가냐 [1]	ㅇㅇ	05.15	152	0
473445	일반	과로사 닮았노 ㅋㅋ	ㅇㅇ(49.246)	05.15	27	0
473444	일반	다 필요없고 1.5 울트라 내놓으라고ㅋㅋㅋㅋ	ㅇㅋ	05.15	39	0
473442	일반	dj 재입갤	ㅇㅇ(218.39)	05.15	21	0
473441	일반	DJ 존나 멋져보이면 개추 ㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	33	1
473440	일반	하사비스 1.5 울트라 정도는 보여주고 가!!	ㅇㅇ(221.155)	05.15	33	0
473438	일반	스피커 krk왜쓰냐 ㅋㅋㅋ [1]	ㅇㅇ(218.152)	05.15	70	0
473437	일반	Gpt4o는 씨발 바로쓰게해줬는데 올해말?????	ㅇㅇ(121.131)	05.15	71	0
473436	일반	저 수화하는사람 왤케 현란하냐 시발	딩둘딩	05.15	28	0
473435	일반	비디오 좀 보여줘봐 음악치워!!!	ㅇㅇ	05.15	27	0
473434	일반	아니 조구리잔아..	TS망상	05.15	39	0
473433	일반	구글은 네이버랑 경쟁 하는게 맞다 [1]	ㅇㅇ(220.116)	05.15	128	1
473431	일반	GPT-4o, Stable Diffusion, Suno 까지...	ㅇㅇ(222.234)	05.15	104	0
473430	일반	4o에서 비디오 생성이 된다고? [3]	비닌	05.15	215	0
473429	일반	안경 어디있었는지 기억하는게 개쩌는데 [2]	ㅇㅇ(14.5)	05.15	91	0
473428	일반	그 뮤직 AI 등장 ㅋㅋㅋㅋ	TS망상	05.15	51	0
473427	일반	그냥 클로바랑 동급 [1]	ㅇㅋ	05.15	65	0
473426	일반	뒤에 무지개 있는거 자체가 ㅈ망이지 뭘 기대? [1]	ㅇㅇ(211.36)	05.15	70	1
473425	일반	유튜브 입갤	Spark	05.15	27	0
473424	일반	4o 하위호환에 이은 nai3 하위호환 등장	ㅇㅇ(211.192)	05.15	68	0
473423	일반	이미지생성기 이제 필요없다고 ㅋㅋ	ㅇㅇ	05.15	93	0
473421	일반	지금 시연이 개쩌는 이유 [7]	ㅇㅇ(39.117)	05.15	298	1
473420	일반	그래서 젖탱이빵댕이그릴수있냐고 [1]	FIREKICK	05.15	83	1
473419	일반	imagen이 달리에 상응하는건가보지? [1]	싸이버펑크	05.15	51	0
473418	일반	이미지는 좀 끌리는데	ㅇㅇ(222.234)	05.15	48	0
473417	일반	gpt4o 비디오 안된다는 애들은 뭐냐 ㅋㅋ [8]	ㅇㅇ(119.77)	05.15	274	4
473416	일반	흑인 히틀러 입갤 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	33	0
473415	일반	ㅅㅂ 구글 글래스 실제로 써 본 사람으로서 말함 [7]	ㅇㅇ(218.39)	05.15	207	2
473414	일반	생성형 무슨 뭐 입갤 ㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	27	0
473413	일반	애들이 다 왜 억지로 하는거 같냐	Spark	05.15	43	0
473412	일반	시연을 안하면 믿을 수가 있어야지	ㅇㅇ(112.156)	05.15	33	0
473411	일반	딥마인드 본체어디가고 웬 늙은 얀르쿤 ㅋㅋㅋㅋ	ㅇㅇ	05.15	47	0
473410	일반	비디오 궁금하네	ㅇㅇ	05.15	20	0
473407	일반	그냥 안경에 4o넣는게 더 이득아님? [2]	ㅇㅋ	05.15	123	0