미스트랄 AI, '믹스트랄'보다 4배 커진 SMoE 모델 출시

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 미스트랄 AI, '믹스트랄'보다 4배 커진 SMoE 모델 출시

ㅇㅇ(182.230) 2024.04.11 23:52:36

조회 181 추천 1 댓글 1

https://www.aitimes.com/news/articleView.html?idxno=158716

미스트랄 AI, '믹스트랄'보다 4배 커진 SMoE 모델 출시

프랑스의 간판 스타트업 미스트랄 AI가 강력한 오픈 소스 대형언어모델(LLM) ‘믹스트랄 8x22B(Mixtral 8x22B)’를 공개했다. 메타의 ‘라마 2 70B’ 및 오픈AI의 ‘GPT-3.5’ 수준의 성능을 가진 이전 모델 ‘믹스트랄 8x7B’을 능가하는 현존 최강 오픈 소스 모델이라는 평가다.벤처비트는 10일(현지시간) 미스트랄 AI가 새로운 ‘믹스트랄 8x22B’ 모델을 오픈 소스로 출시했다고 보도했다.이에 따르면 믹스트랄 8x22B는 6만5000개의 토큰 컨텍스트 창, 최대 1760억 매개변수 크기를 제공한다. 아파치

www.aitimes.com

7ce88871b48407f739ef81ec47ee77689353ffb3403b5b53c2c4c20e547918c391

프랑스의 간판 스타트업 미스트랄 AI가 강력한 오픈 소스 대형언어모델(LLM) ‘믹스트랄 8x22B(Mixtral 8x22B)’를 공개했다. 메타의 ‘라마 2 70B’ 및 오픈AI의 ‘GPT-3.5’ 수준의 성능을 가진 이전 모델 ‘믹스트랄 8x7B’을 능가하는 현존 최강 오픈 소스 모델이라는 평가다.

벤처비트는 10일(현지시간) 미스트랄 AI가 새로운 ‘믹스트랄 8x22B’ 모델을 오픈 소스로 출시했다고 보도했다.

이에 따르면 믹스트랄 8x22B는 6만5000개의 토큰 컨텍스트 창, 최대 1760억 매개변수 크기를 제공한다. 아파치 2.0 라이센스에 따라 상업적으로 무료 사용 가능하다.

또 믹스트랄 8x7B에 활용한 ‘희소 전문가 혼합(SMoE)’ 접근 방식을 채택해 실행 비용과 시간을 크게 줄였다.

SMoE는 LLM을 생물, 물리, 수학 등 각 분야를 담당하는 작은 전문 모델(Expert)로 쪼개고, 질문에 따라 전문 모델을 연결하거나 몇 종류를 섞는 방식이다. 이 경우 관련 없는 전문 모델은 빼고 관련 있는 모델만 돌리기 때문에 비용과 시간이 훨씬 적게 들어간다.

믹스트랄 8x22B는 220억 매개변수를 가진 8개의 전문 모델로 구성하고, 추론을 위해 토큰당 2개의 전문 모델을 할당했다. 이 모델에는 1760억 매개변수가 있지만, 토큰당 440억 매개변수만 사용하므로 44B 모델과 동일한 속도와 비용으로 입력을 처리하고 출력을 생성한다는 설명이다.

벤처비트는 이 모델이 주요 벤치마크에서 'GPT-3.5' 및 '라마 2'의 성능을 거의 따라잡았던 믹스트랄 8x7B 모델을 능가할 것으로 예측했다.

현재 믹스트랄 8x22B는 미스트랄 AI의 X(트위터)에 게시된 토렌트 링크를 통해 이용 가능하며, 허깅페이스와 투게더 AI 플랫폼에서는 추가 학습 및 배포에 사용할 수 있다. 다만 다운로드 파일의 크기가 262GB로 다소 크기 때문에 로컬에서 실행하기 어려울 수 있다는 지적이다.

한편 이번 출시는 경쟁업체들이 전날 최신 모델을 공개한 가운데 이뤄졌다. 오픈AI는 비전 기능을 갖춘 ‘GPT-4 터보 비전(GPT-4 Turbo Vision)’ 모델을 선보였고, 구글은 ‘제미나이 1.5 프로’를 일반에 공개했다.

고정닉 1

원본 첨부파일 1

158716_170791_350.jpg

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2856	설문	주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는?	운영자	24/04/29	-	-
458377	일반	허깅페이스에서 15T 데이터셋 공개했음 [7]	ㅇㅇ(110.145)	04.21	355	3
458376	일반	gpt5 나오기전까지 쓸만한거 추천좀 [4]	ㅇㅇ(180.71)	04.21	170	0
458375	일반	AGI is all i need... [1]	ㅇㅇ(14.53)	04.21	182	0
458374	일반	Scale is all you need! [8]	특술람	04.21	278	1
458373	일반	gpt 5 언제공개하는건데 [3]	ㅇㅇ(106.102)	04.21	194	1
458372	일반	얀르쿤한테 agi22세기전에 나올거같냐고 물어보고싶음	ㅇㅇ(218.50)	04.21	85	0
458371	일반	2024 기업별 휴머노이드 로봇 비교짤 [1]	ㅇㅇ(121.132)	04.21	244	0
458368	일반	클로드 지피키3.5 콤파일롯 이3개는 무한질문 가능한거냐? [2]	ㅇㅇ	04.21	122	1
458367	역노화	미국에서 노화 연구중인 젊은 한국인 노화연구자. [4]	ㅇㅇ(58.120)	04.21	504	2
458366	일반	wizardlm-2 8x22b 이거 허깅페이스에 없는데 어떻게 된거임? [4]	ㅇㅇ(110.145)	04.21	134	0
458365	일반	짤 하나 건졌다 [8]	ㅇㅇ(1.11)	04.21	1966	26
458364	일반	어떤 환경 어떤 시대에서도 나는 행복하고싶다	ㅇㅇ(175.118)	04.21	67	1
458363	일반	22일에서 23일에 큰거 온다 특붕이들아 [4]	ㅇㅇ	04.21	430	6
458362	일반	얀르쿤이 LLM은 오답이라는데 [3]	ㅇㅇ(175.194)	04.21	283	0
458361	일반	ㅌㅇㅈ ㅈㅂ 184ㅇㅊ [6]	포스트휴먼.	04.21	118	1
458360	AI창 AI창작	[음악] 미친듯이 이름을 불러	ㅇㅇ(61.101)	04.21	51	0
458358	일반	언론 역할은 털드만 인터뷰나 따오는거 그외엔 없음	ㅇㅇ(121.140)	04.21	62	0
458357	일반	웹소작가는 준비해두는 게 좋다. [4]	ㅇㅇ(124.59)	04.21	334	0
458356	일반	오늘 kbs에서 agi 주제로 방송 예정임 [14]	ㅇㅇ(211.59)	04.21	627	1
458355	일반	오랜만에 왔는데 겨울인가보네,.. [3]	ㅇㅇ(1.226)	04.21	169	0
458354	일반	라마 허깅챗 말고 또 어디서 할 수 있냐 [6]	ㅇㅇ(14.53)	04.21	159	1
458353	일반	이거 특이점 관점에서 설명가능함? [3]	ㅇㅇ(125.142)	04.21	211	0
458352	일반	agi진짜 언제나오냐 미치겟다진짜 [2]	ㅇㅇ(124.50)	04.21	140	0
458351	일반	환각 있어도 그게 매번 그러는게 아니라면 쓸만함 [6]	ㅇㅇ(110.145)	04.21	134	0
458350	일반	댓글 150개 ㄷㄷㄷ [3]	ㅇㅇ(14.53)	04.21	276	0
458349	일반	허깅챗 라마 <= 이거 제한 있음? [5]	ㅇㅇ(14.53)	04.21	210	0
458348	일반	군대 간다 [6]	ㅇㅇ(118.32)	04.21	96	0
458347	AI창 AI창작	[음악] 이세상 그 무엇보다	ㅇㅇ(61.101)	04.21	42	0
458346	일반	레커성서신작까지58일 [1]	alphaca	04.21	96	1
458345	일반	왜 내 댓글에서 싸우는거야 [4]	ㅇㅇ(110.145)	04.21	166	0
458344	AI창 AI창작	NAI)후방 경찰관 개허접 아코 [8]	Samus	04.21	1903	28
458343	일반	잼민이 프로 1.5 이거 조혼나 기대했다가 구글 쌍욕 박았음 [10]	ㅇㅇ(110.145)	04.21	242	0
458342	일반	털드만이 뱀의 혀 아니냐? [1]	ㅇㅇ(106.248)	04.21	137	2
458340	일반	전력 해결로 핵융합 드립치는 애들은 2050 agi라는거지? [4]	ㅇㅇ(121.144)	04.21	207	0
458339	일반	보스턴 다이나믹스의 뉴아틀라스가 있잖아 [2]	ㅇㅇ(58.143)	04.21	146	0
458338	일반	클로드3 오퍼스로 20만토큰 활용해서 문서 요약 시켜봤는데 [4]	ㅇㅇ(110.145)	04.21	236	0
458336	일반	메이저 언론이라 해도 조중동 제외하면 쓰레기다 [7]	ㅇㅇ(121.144)	04.21	143	2
458335	일반	역시 사람다운 글쓰기는 심심이행님을 넘을수가 없군 [2]	ㅇㅇ(110.145)	04.21	187	0
458334	일반	클로드 opus, GPT4 - 윈도우 지뢰찾기 구현 시도 결과 [6]	ㅇㅇ(221.155)	04.21	385	0
458333	일반	gpt-5한테 바라는 거 (사람답게 글좀 써줘라) [1]	ㅎㅎ(112.171)	04.21	103	0
458332	일반	내가 글쟁이들 문장력에 회의감을 느낀게 [14]	et	04.21	399	1
458331	일반	결국 2029인거냐 [2]	크갤망령	04.21	232	0
458330	일반	사람 답게 글 쓰는건 클로드3가 최고인거 같다 난 이렇게 활용한다 [10]	ㅎㅎ(112.171)	04.21	285	0
458329	일반	팩트는 머스크 타임때문에 10년뒤가 agi임ㅇㅇ	ㅇㅇ(121.144)	04.21	80	0
458328	일반	gpt4보다 글을 잘쓰면 이미 어나더레벨임 [7]	et	04.21	270	1
458326	일반	에이아이의 끜은 결국 인간의 기걔화라니까	ㅇㅇ	04.21	61	0
458325	일반	결국 샘알트만이 주인공이다. [1]	헬스토끼	04.21	247	1
458323	일반	보스턴 요즘영상주기짫던데	ㅇㅇ(121.168)	04.21	81	0
458322	일반	gpt-4보다 바보면 뇌가 망가진거라는 새끼 bar exam 패스? [2]	ㅇㅇ(110.145)	04.21	181	0
458321	일반	특이점이 오면 권력의 구도가 바뀌는 세상이 올수도 있음	00(218.157)	04.21	69	0