맥북은 AI 분야에서 가성비 머신이 되어버렸네

맥북은 AI 분야에서 가성비 머신이 되어버렸네앱에서 작성

rtOS

2023.12.12 12:08:19

조회 820 추천 18 댓글 17

7ee4f605c3f66184239d8f93329c706d4ce9c962fda46c400bb18a53c2f10e01955bd11c9ddaa0ee61dd44546f1ff58e72f9eb9c

얼마 전 미스트랄에서 무료로 공개한 Mixtral 8x7B

ChatGPT 4 처럼 MoE아키텍쳐를 사용한 거대 오픈소스 언어모델임

여러개의 LLM 모델을 사용한다는 뜻

74ebf202c4f06c8323e68394449c706c166710e779911d8f04762fee6f0fe934a95c3ee6a405fca33d67625269f71f36b5b1b4b7

각각 70억 매개변수를 가진 8개 전문모델로 구성해서 각종 AI 벤치마크에서 챗 GPT 3.5와 비비는 성능을 냄

7a9b8774c0f169f6239cf291479c7069f2ced9bee6a8074c36c22e41f8883e193a265c235a7ab493c6a27627908bdb7f603801b1

AI 업계에서도 여태것 나온 오픈소스 모델 중 최고라는 평을 듣는 중

참고로 이 모델을 공개한 Mistral AI는 얼마전 5500억 투자를 받음

79ef8300b78561f4239e8296349c706579d6971a495a354f9fb6a1fe115be5fe2d651de9d9497417707d8dbe90693350851f03e6

문제는 GPU에서 구동하려면

권장 사양이 VRAM 80기가 그래픽카드 2장

3천만원짜리 엔비디아 A100 80GB 버전 2장 필요함

아님 걍 CPU로 느리게 굴리던지

7de98707c7806ff523eff3e4419c706a40d52a8cce5d87aeb7e500dd42927ab1a33b3c7d8458ae09c2bd8886782e765f5604811426

7ee8f276c3861bf623ea85e0349c706e6f806d4a5e50b2384e7b814b657884434793ed571b4ae4c38b889b51061d138fdc671ebd3b

근데 애플 실리콘 맥은 통합 메모리 아키텍쳐라 GPU도 거대한 메인메모리에 그대로 접근이 가능한 구조라서

엄청난 속도로 로컬에서 챗GPT 3.5급 언어모델 구동이 가능해짐

M3 Max 에서 구동 (Q5)

M2 Ultra 에서 구동 (Q4)

챗GPT 공개 1년만에 비슷한 성능의 LLM을 50W짜리 저전력 노트북에서 돌리는 시대가 왔네

1년 후엔 얼마나 발전할지 기대가 된다

고정닉 4

원본 첨부파일 6본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	논란보다 더 욕 많이 먹어서 억울할 것 같은 스타는?	운영자	24/09/23	-	-
7642950	S24 GPU 최적화 타령 ㅈㄴ 웃긴 점 ㅋㅋㅋㅋㅋ [4]	ㅇㅇ(118.32)	01.28	1330	47
7642935	걍 삼엽충들은 기대치 자체가 너무 낮음.txt [6]	ㅇㅇ(110.45)	01.28	1204	51
7642911	[내부폭로] 삼성바이오로직스 인사팀 블라인드 사찰 의혹 [14]	ㅇ(115.136)	01.28	1310	56
7642908	엑시노스 OpenGL 최적화 탓이 안 통하는 이유...jpg [8]	ㅇㅇ(119.203)	01.28	1129	46
7642888	일베에서도 거르는 좆성ㅋㅋㅋ [14]	맛갤러(223.39)	01.28	1783	71
7642880	얘네들은 AI가 뭔지를 모르네. [11]	맛갤러(220.95)	01.28	1214	51
7642871	미국에서 삼성전자는 비상통장으로 불린다고함 [13]	맛갤러(211.227)	01.28	1626	55
7642866	삼카 렌더링 영상 댓글ㅋㅋㅋ [11]	ExTeNdEr	01.28	1212	52
7642860	미접종자는 2032년까지만 존버하면 떼돈 번다 [11]	ㅇㅇ(221.147)	01.28	942	12
7642853	스냅드래곤 << 이 새낀 똥시노스에게 감사해야함 ㄹㅇ [7]	ㅇㅇ(124.80)	01.28	1127	44
7642809	똥시노스 퐁퐁단들 정신승리 근황...jpg [9]	ㅇㅇ(211.200)	01.28	1370	67
7642796	기도기도) 삼성이 망한다면 벌어질일 [25]	ㅇㅇ(45.83)	01.28	1448	33
7642792	정보) S24U는 13프로한테 게임성능 따인다 [9]	ㅇㅇ(118.235)	01.28	1381	42
7642754	념추) 엑시노스 최적화 드립이 투자사기급 악랄한 기만인 이유 [7]	리묵단	01.28	944	38
7642737	엽충이들 존나 웃긴점 [6]	맛갤러(115.20)	01.28	826	46
7642734	삼성강남은 수원이나 동탄에 열었어야 함 [15]	ㅇㅇ(220.78)	01.28	1385	54
7642725	좆망한 삼성 강남 근황 [9]	김준호	01.28	1788	52
7642719	갤갤에서 왔습니다. [30]	ㅇㅇ	01.28	1052	63
7642710	이번 엑시 진짜 제2의 GOS도 가능성 있음 [10]	ㅇㅇ(172.226)	01.28	1371	57
7642708	갤갤 삼성알밥 검거 현장...jpg [8]	ㅇㅇ(121.145)	01.28	1042	49
7642693	S24 엑시버젼 현실 [10]	맛갤러(124.28)	01.28	1351	49
7642673	엑시 vs 스냅 렌더링 속도 비교 [13]	ㅇㅇ(118.235)	01.28	941	23
7642538	삼성이 스맛폰 사업 아예 접으면 호재냐? [25]	맛갤러(211.201)	01.28	1192	50
7642491	올해 가장 잘한 판단력 [7]	맛갤러(182.214)	01.28	1111	35
7642476	한결같이 똑같은 삼성전자 갤럭시 판마량 기사 [7]	ㅇㅇ(118.235)	01.28	1044	55
7642462	"삼성 강남" 임원진들 실적부족 대기발령 [25]	재용맘(39.115)	01.28	2108	49
7642433	S24 울트라 vs 아이폰 15프맥 원신 테스트 [10]	rtOS	01.28	2372	48
7642386	갤24 빨았던 유튜버들 제대로 기억해놔라 ㅋㅋ [4]	맛갤러(118.235)	01.28	839	36
7642385	처참하게 멸망한 S24 게이밍 성능 근황 ㅋㅋㅋㅋㅋ.jpg [29]	ㅇㅇ(61.84)	01.28	3009	107
7642314	또 불법사찰하다 걸린 삼성 근황 [14]	컴갤철희	01.27	1749	32
7642307	미국 중국만 스냅탑재 아닌데? 일본도 스냅으로 출시예정임 [24]	ㅇㅇ	01.27	1414	65
7642293	갤럭시의 장점을 생각해봤는데 [11]	맛갤러(119.56)	01.27	1539	34
7642287	엽충이들은 진짜 한 치도 예상을 안 벗어나네 [6]	ㅇㅇ(175.120)	01.27	1124	30
7642283	하다하다 삼성까되겠네.. 내가 사진 주작을 왜함? [12]	댜미85(118.235)	01.27	1237	37
7642264	원래 엽충이들의 오래된 전략이 [10]	맛갤러(115.20)	01.27	1180	49
7642200	결국 맛갤도 표현의 자유 부르짖는 위선자들였던거 ㅇㅇ [18]	맛갤러(211.58)	01.27	858	14
7642198	??? : 맛갤은 천안문 안통한다고!!!!!!!! [15]	맛갤러(211.58)	01.27	1007	17
7642192	아이폰13미니 갤럭시24카메라 한번 더 비교 [30]	댜미85(118.235)	01.27	1741	31
7642187	엽충이들 ㅈㄴ 음흉한 이유 ㅇㅇ [19]	ㅇㅇ	01.27	1032	38
7642184	갤럭시 갤의 스마트폰 갤 저격ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [8]	ㅇㅇ(14.37)	01.27	1320	35
7642133	아니 나도 갤럭시 사용잔데 갤갤에서 차단먹네 ㅋㅋㅋ [20]	맛갤러(221.150)	01.27	828	28
7642104	실시간 갤럭시갤 천안문 현장ㅜㅜㅜㅜ [18]	ㅇㅇ(14.37)	01.27	1346	55
7642101	엑시노스 산 새끼들이 장애 있는거지 삼성탓 아님 [8]	ㅇㅇ	01.27	922	49
7642067	삼성전자 갤럭시s24 또 성능조작 의혹 터졌다 [15]	ㅇㅇ(118.235)	01.27	1561	72
7642059	실시간 미코.jpg [12]	ㅇㅇ(172.226)	01.27	1306	51
7642048	노말 플러스충 멸망... 똥시노스 2400 실게임 성능 나왔다.jpg [17]	ㅇㅇ(118.235)	01.27	1509	57
7642044	아무리 봐도 이게 존나 명짤임. [12]	맛갤러(124.28)	01.27	1300	35
7642002	속보) 똥시노스 개같이 멸망 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [9]	맛갤러(172.226)	01.27	1101	31
7641984	정말 삼성 s24는 역대급 흥행일까? [24]	ㅇㅇ(14.37)	01.27	1557	30
7641925	똥시노스의 진실이 밝혀지면서 개처맞고 있는 좆성 ㅋㅋㅋㅋ [5]	맛갤러(118.235)	01.27	1561	32