모델 경량화가 생각보다 파괴력 높은게 파인튜닝임

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] 모델 경량화가 생각보다 파괴력 높은게 파인튜닝임

ㅇㅇ(110.145) 2024.04.22 00:12:45

조회 229 추천 1 댓글 4

gpt-3.5 175b 이런거 오픈소스로 풀었다 쳐도

이거 파인튜닝 무슨수로함? 집에 a100 20대 갖춘것도 아닌데

라마는 처음부터 7b모델을 내고 있는데

이게 집에서 3090 4090으로 파인튜닝 돌릴수 있는 사이즈임

이렇게 저렇게 해보고 결과 허깅에 올리고 arxiv에 논문 올리고

지금 누가 그록1 파인튜닝을 함? 라마3 8b로 이거저거 해보는 개인 엄청나게 나올거지

이게 경량모델의 강점임

(사실 나도 이거저거 로라도 만들어보고 튜닝해서 로라 머지도 해보고 해봤음 나? 코딩능력 0임 ㅋ)

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2858	설문	SNS로 싸우면 절대 안 질 것 같은 고집 있는 스타는?	운영자	24/05/06	-	-
462600	일반	초지능님의 강아지가 되고싶다 월! [4]	ㅇㅇ(14.50)	05.04	75	1
462599	일반	일론이 큐스타 믿는다니까불안해짐 [6]	ㅇㅇ(218.50)	05.04	299	0
462598	일반	특이점 이즈 커밍	ㅇㅇ(1.239)	05.04	50	0
462597	일반	특이점 언제와..? [8]	KURO	05.04	248	0
462596	정보	상압에서 만든 다이아몬드 정보 정리 [7]	ㅇㅇ(118.39)	05.04	401	7
462595	일반	저는 동성애자는 아니지만 [2]	ㅇㅇ(58.29)	05.04	296	3
462594	일반	클로버3 봐바 자이로 나옴 [3]	ㅇㅇ(119.203)	05.04	141	0
462593	일반	LLM이 사파고 "뇌"관련된게 원래 정파임 ㅋㅋ [8]	agi2024	05.04	315	3
462592	일반	개발 좀 빨리 해라 개자식들아 인간 몸 포기하게 [2]	ㅇㅇ(114.207)	05.04	195	0
462591	일반	갤에 저능아 농도 존나 높네 ㄹㅇ [3]	ㅇㅇ(218.155)	05.04	222	3
462590	일반	gpt4 아직 횟수있음? [3]	Jackey	05.04	133	0
462589	일반	지피티 1년 구독 질렀는데 5 나오면 업글됨? [1]	ㅇㅇ(175.119)	05.04	111	0
462588	일반	우리회사 디자이너 AI씹 극혐하던데;; [17]	ㅇㅇ(58.29)	05.04	773	5
462587	일반	씹트만 좆같은게 말이 뭔가 모순됨 [6]	ㅇㅇ(222.234)	05.04	326	1
462586	일반	확률적 앵무새가 자아를 갖는건 불가능한거 같음 [2]	ㅇㅇ(110.145)	05.03	191	0
462585	일반	기술 평가좀요 형님들 [8]	aifilter	05.03	269	3
462584	일반	특이점이 와서 영생을 살 수 있으면 지구 인구수는폭발하게됨 [8]	세태야합	05.03	214	0
462583	일반	얀르쿤 말이 맞으면 [4]	ㅇㅇ(58.29)	05.03	175	0
462582	일반	알트만은 왜 지피티4가 구리다고 하고 다니지? [5]	ㅇㅇ	05.03	247	0
462581	일반	gpt5가 진짜 중요한거 맞음? [6]	ㅇㅇ(115.22)	05.03	285	0
462580	일반	agi좀 다오... [1]	ㅇㅇ(211.197)	05.03	90	0
462579	일반	알트만 은근 귀여운점 ㅋㅋ [1]	떼껄룩해적단	05.03	209	2
462577	일반	특이점에 처음 입문할때 가장 행복했던거 같음. [13]	ㅇㅇ(121.131)	05.03	537	10
462576	정보	Groq, 안드로이드 앱 베타 테스터 모집 중 [3]	ㅇㅇ(119.77)	05.03	252	3
462575	일반	여기 닉언갤이냐? [2]	ㅇㅇ(110.46)	05.03	147	0
462574	일반	주말이 싫다 [4]	ㅇㅇ(119.77)	05.03	112	0
462573	일반	얘 좀 병신임 [7]	ㅇㅇ	05.03	338	1
462571	일반	6월이 진짜 기대되긴하네 [3]	ㅇㅇ(119.77)	05.03	200	0
462569	일반	반복배포니... 사람들의 적응이라느니.. [1]	ㅇㅇ(119.77)	05.03	131	0
462568	일반	Openai. 'J컵금발거유의 온리팬즈 유출을 찾아줘.' [11]	Samus	05.03	583	3
462567	일반	이번 달 그나마 기다려볼만한 거 [4]	ㅇㅇ(119.77)	05.03	238	0
462565	일반	구글은 이쯤되면 CEO 갈아치울 줄 알았는데 [1]	ㅇㅇ(119.207)	05.03	133	0
462564	일반	그록 2.0언제나오지 [3]	ㅇㅇ	05.03	112	0
462562	일반	요새 특붕이들 알트만에 대한 믿음이 너무 떨어지는거 같네 [1]	ㅇㅇ	05.03	176	0
462561	일반	Ai 생성물에 ai 생성 표시를 다는게 뭐가 문제임? [4]	ㅇㅇ(116.120)	05.03	172	1
462560	정보	소소하게 화제 중인 '세계 복사' 프로젝트 [26]	sam_ultraman	05.03	4170	28
462559	일반	그림 그리는 일부 애들이 ai에 발작하는거 이해는 감 [8]	Samus	05.03	387	1
462558	일반	지금 AI는 걍 전체적인 틀을 잡아주는거임 [1]	ㅇㅇ(61.75)	05.03	121	0
462556	일반	2050년에 사이보그,마인드업로딩 기술 도입되도 [1]	ㅇㅇ(211.222)	05.03	84	0
462555	일반	이 갤은 구조적인 한계가 있는 갤 [2]	ㅇㅇ(112.161)	05.03	184	0
462554	일반	진짜 agi각 보이면 전세계가 밀어주게 되어있음 [4]	ㅇㅇ(211.184)	05.03	305	2
462553	일반	gpt4 치매걸렸냐? [1]	ㅇㅇ(218.153)	05.03	122	0
462552	일반	얘들아 진지하게 특이점은 [3]	ㅇㅇ(221.154)	05.03	168	0
462551	일반	갤 분위기만 보면 언제 gpt5 공개해도 이상할게 없는데 [3]	ㅇㅇ	05.03	198	0
462550	정보	잼민이 1.5 울트라 그래도 기대해보는 이유 [13]	ㅇㅇ(119.77)	05.03	310	3
462547	일반	갑자기 ㅈ목질하노 [2]	Jackey	05.03	106	0
462543	일반	사우디 왕자는 호날두 한명 연봉으로만 2700억 쓰는새끼임 [2]	ㅇㅇ(211.235)	05.03	151	0
462542	일반	태양계 안 다른행성이나 위성에 혹시라도 생명체가 존재하면 [2]	ㅇㅇ(59.11)	05.03	69	1
462540	일반	빈살만 이 새낀 왜 네옴시티에다 돈 꼴아박은거냐? [4]	ㅇㅇ(113.61)	05.03	189	0
462539	정보	르쿤이햄 : "이제 텍스트 데이터 거의 한계에 도달함" [27]	ㅇㅇ(119.77)	05.03	3759	27