르쿤이햄 : "이제 텍스트 데이터 거의 한계에 도달함"

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 르쿤이햄 : "이제 텍스트 데이터 거의 한계에 도달함"

ㅇㅇ(119.77) 2024.05.03 21:35:17

조회 4004 추천 27 댓글 25

37a7ca68f5dc3f8650bbd58b36857c6d9929cb

인터뷰 내용:

"라마 3에 대해서는 나는 전혀 공을 들이지 않았습니다.

우리의 모델이 오픈 소스라는 것을 확실히 한 것에 대해서는 어쩌면 약간의 공을 들였다고 할 수 있겠네요.

하지만 기술적인 기여는 매우 많은 사람들로부터 나온 것이고, 저는 아주 아주 작은 부분만을 했습니다.

그래서 15조 토큰이 나왔죠.

당신은 얻을 수 있는 모든 데이터, 모든 고품질의 공개 데이터를 얻은 다음 미세 조정하고 라이선스 데이터 등 모든 것을 해야 합니다.

그것이 15조에 도달하는 방법입니다.

하지만 그건 좀, 포화 상태에 이르렀다고 할 수 있어요.

얻을 수 있는 텍스트에는 한계가 있습니다."

원문:

"I deserve no credit whatsoever for Llama 3.

Maybe a little bit of credit for making sure our models are open source.

But the technical contributions are from a very large collection of people and I have a very very small part of it.

So, 15 trillion tokens, yeah.

You need to get all the data you can get, all the high quality public data and then, fine tune and licensed data and everything.

So that's how you get to 15 trillion.

But that's kind of a bit, it's kind of saturating.

There is only so much text you can get."

https://twitter.com/tsarnick/status/1786193394605473957

고정닉 13

원본 첨부파일 1

zzz.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
476078	일반	GPT-4o 로 태양계 구현한 게시물을 나도 GPT-4o 웹으로 구현해봄 [7]	특스타	05.16	2382	31
475956	정보	OAI 스프링 업데이트, 프론티어 모델 예고 ppt [23]	ㅇㅇ(119.77)	05.16	3967	36
475750	일반	전독시 AI로 게임처럼 하니까 ㅈㄴ 재밌노 ㅋㅋㅋ [23]	ㅇㅇ	05.16	4157	37
475735	AI창 AI창작	거의 다 그린 그림 AI가 마지막 보정만 살짝 해줌 [49]	ㅇㅇ(211.109)	05.16	6188	50
475603	일반	gpt4o 현재까지 공개된 벤치로 제미니, 클로드, 4t와 비교 [8]	ㅇㅇ	05.16	3701	25
475377	정보	잠잘때 뇌 노폐물 청소? “딱히 그렇지 않아” [49]	ㅇㅇ(182.230)	05.15	5649	27
475470	정보	OpenAI 공동창립자 겸 과학자 "내 직업 대체? 5년정도 걸릴듯" [26]	ㅇㅇ(59.17)	05.16	4568	28
475551	정보	돼지 뇌, 몸에서 분리된 채 5시간 동안 생존 [33]	ㅇㅇ(182.230)	05.16	4673	35
475219	일반	챗GPT-4o 미친것같다 진심;;; [17]	불곰적위대	05.15	7786	44
475180	일반	gpt-4o 이년 진짜 미쳤네 [45]	도서관킬러	05.15	4184	26
475173	일반	GPT-4ㅇ한테 태양계 공전 시스템 코딩시켜봄 [47]	ㅇㅇ(221.155)	05.15	5462	41
475023	일반	gpt4o으로 10분만에 만든 하노이탑 시뮬레이션 [14]	et	05.15	4207	33
475017	일반	일리야와 초정렬팀이 근본인 이유...factos [15]	ㅇㅇ(118.37)	05.15	3610	39
474896	일반	지금 특갤 상황보니까 완장들은 운영 이렇게해야할거같음 ㅇㅇ [25]	ㅇㅇ(61.97)	05.15	2821	42
474882	일반	gpt-4o 개오져서 갤순위 높아지니까 유입 분탕충새끼들 개지랄을 하네 [9]	ㅇㅇ(125.137)	05.15	2731	44
474775	일반	현재 특이점 갤러리 상황 요약.....jpg [15]	ㅇㅇ(59.9)	05.15	5329	34
474562	일반	gpt4o 이거 코드 천줄 넘어가도 잘 인식 하는데 머임? [10]	lightvector	05.15	3976	41
474343	일반	속보) 일리야 큰거온다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [8]	ㅇㅇ(118.37)	05.15	5261	30
474294	일반	안전, 초정렬, 일리야 내치고도 점진적 발전 ㅇㅈㄹ ㅋㅋ [5]	ㅇㅇ(115.22)	05.15	3466	37
474251	일반	Sam Altman 오늘자 인터뷰 요약 [42]	ㅇㅇ(58.123)	05.15	5466	59
474088	정보	일리야, OAI와 결별 및 프로젝트 공개 예고 [12]	ㅇㅇ(119.77)	05.15	3904	38
473930	일반	??? : 흠.... [22]	ㅇㅇ(211.200)	05.15	4538	50
473681	일반	내가 느낀 openai와의 차이점 [24]	ㅇㅇ(116.123)	05.15	4378	32
473461	일반	여기서 GPT-4o 메디컬 개 미친 성능 [18]	Spark	05.15	5178	38
472895	일반	gpt4o이새끼 좀 지리는데 [6]	ㅇㅇ(121.151)	05.15	2043	24
472667	일반	GPT-4o vs GPT-4 풍경 이미지 인식 비교 [18]	elryiop	05.14	5370	37
472656	일반	gpt4o는 상상력도 풍부하네 [16]	친근한게이브	05.14	4717	43
472472	일반	진짜 나만 다른 세상인건가 4o 코딩성능 ㅈ되는거같은데 [11]	ㅇㅇ(175.213)	05.14	5179	32
472439	일반	GPT4O 갓 패치 ㅇㅈ한다	ㅇㅇ(118.235)	05.14	3460	30
472362	정보	오픈AI 직원 : 사람들이 GPT-4o에 대해 오해하고 있다 [43]	rtOS	05.14	6992	53
471494	정보	처음으로 mathvista에서 인간을 능가한 gpt4o [24]	특술람	05.14	4045	32
472054	일반	"숨죽였던 치타가 달리기 시작한다" [19]	ㅇㅇ(118.37)	05.14	4405	36
471541	일반	■완장들은 특갤계엄령 선포해라 분탕들 좆지랄떠는거 안보이나 [24]	ㅇㅇ(61.97)	05.14	2670	44
471512	일반	GPT-4o 실체.jpg (특슬람, 선형충 멸망) [13]	ㅇㅇ(218.238)	05.14	6989	32
471475	일반	념글 사과문제 영어로 하니까 맞추는데? [14]	ㅇㅇ(119.192)	05.14	3969	29
471384	일반	념글GPT4도 리롤하면 사과문제 못맞추잖아 [7]	ㅇㅇ(121.184)	05.14	3123	17
471376	일반	4o에 왜 열광하는지 모르겠음 [61]	비닌	05.14	6460	37
471362	일반	gpt 4o 빠른대신 구리네 [24]	ㅇㅇ(175.125)	05.14	5949	25
471328	토의	하도 근들갑 떨어대길래 공식영상 보고 왔는데 [21]	ㅇㅇ(103.212)	05.14	3728	31
471293	일반	솔직히 살짝 짜치면 개추... [8]	ㅇㅇ(183.98)	05.14	5475	40
471208	일반	gpt4o 이미지 인식 미쳤네 ㅋㅋㅋㅋ [27]	비오는날의개구리	05.14	6012	24
471167	정보	개쩌는 오픈AI, GPT-4o 음성 모델 영상 모음 [23]	월코존버	05.14	5241	37
471082	일반	ㄹㅇ TTS, stt 모델 갖다 버렸네 도약이노 [16]	ㅇㅇ(220.71)	05.14	4153	21
471058	일반	오늘새벽 광란의 특갤 실전 요약.jpg [10]	ㅇㅇ	05.14	4657	39
471035	일반	GPT-5 진행상황 곧 공개? [12]	ㅇㅇ(59.5)	05.14	4577	24
470838	일반	이미지 인식능력 돌았다 [9]	ㅇㅅㅇ(210.91)	05.14	3800	22
470819	일반	Gpt4o 이미지 인식능력 장난아니네 [7]	ㅇㅅㅇ(210.91)	05.14	4092	19
470537	정보	GPT-4o MMLU 88.7 [9]	ㅇㅇ(61.82)	05.14	3180	19
470528	AI창 AI창작	gpt4o로 만든거 gif로 쪄왔다 ㅋㅋㅋㅋ 싹 다 가속시켜!!! [18]	ㅇㅇ(121.162)	05.14	2244	22
470492	일반	GPT-4o는 3시간당 80개 메세지 가능 [20]	ㅇㅇ(175.208)	05.14	4443	25