스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

ㅇㅇ(182.230) 2024.04.09 22:33:20

조회 1294 추천 19 댓글 4

https://www.aitimes.com/news/articleView.html?idxno=158662

스태빌리티 AI, 120억 매개변수 ‘스테이블 LM 2’ 출시…”sLM 최강 성능”

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다. 벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억

www.aitimes.com

7ce88870b38007f739ef81e44eee7765f773b619ca4945daf78828edefc10d4651ec

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다.

벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.

이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억 매개변수의 ‘스테이블 LM 2 1.6B)’에 이은 세번째 버전이다.

스테이블 LM 2 12B에는 '기본 버전'과 영어, 스페인어, 독일어, 이탈리아어, 프랑스어, 포르투갈어, 네덜란드어 등 7개 언어에 대한 대화 기술을 향상시키도록 설계된 '지침 조정 버전(instruct version)'이 포함된다. 현재 유료 스태빌리티 AI 멤버십을 통해 상업적으로 사용 가능하다.

카를로스 리켈메 스태빌리티 AI 언어 팀 책임자는 “지침 조정 버전은 사용자와 대화식으로 상호 작용하도록 특별히 설계되고 훈련됐다”라며 "더 안전하게 만들기 위해 상당한 노력을 기울였다"라고 밝혔다.

스태빌리티 AI는 스테이블 LM 2 12B가 성능, 정확성 및 접근성 사이에서 최적의 균형을 유지한다고 주장했다. 120억 매개변수만을 사용함에도 불구하고, 다양한 벤치마크에서 더 큰 매개변수의 sLM을 능가한다는 설명이다.

7ce88870b38007f739ef81e44fee706d71fda8f8f3a78497d827326f23bd711eb355

최근 유행 중인 '전문가 혼합(MoE)' 방식을 사용한 것으로 알려졌다.

리켈메 책임자는 "우리는 모델이 단독으로 사용되지 않고, 하나 또는 여러개의 언어 모델이 서로 상호 작용하고 더 큰 시스템의 일부로 작동하는 미래를 예상한다”라며 "따라서 12B 모델은 다양한 사용자와 조직이 자신의 요구 사항과 관련이 있다고 생각할 수 있는 다양한 기능과 API에 연결하고 호출할 수 있도록 훈련됐다"라고 말했다.

한편 스테이블 LM 2 12B 외에도 최근 경량 sLM 출시가 빠르게 늘어나는 양상이다.

지난해 11월에는 마이크로소프트(MS)가 70억 및 130억개의 매개변수를 가진 경량 sLM ‘오르카 2(Orca 2)’를 공개했다. 이 모델은 모든 벤치마크 결과에서 평균적으로 더 큰 sLM인 '라마-2 70B' 및 '위저드LM 70B'보다 우수한 추론 능력을 보였다.

또 12월에는 27억개의 매개변수로 구성된 sLM ‘파이-2(Phi-2)’를 공개했다. 당시 MS는 이 새로운 모델이 130억개 미만의 매개변수를 사용하는 언어 모델 중에서 최고 성능을 제공한다고 주장했다.

미스트랄도 지난해 12월 MoE 아키텍처 기반의 70억 매개변수의 ‘믹스트랄 8x7B(Mixtral 8x7B)’를 공개했다. 이 모델은 작지만 강력한 성능을 갖춘 '소형 GPT-4'라는 평가를 받았다.

고정닉 6

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2856	설문	주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는?	운영자	24/04/29	-	-
456470	일반	"박사 과정에서 수십억 년이 걸렸을 일을 우리는 1년 만에 해냈습니다" [13]	ㅇㅇ(221.157)	04.16	1290	13
456463	정보	인터넷속도 176만배 빠르게 하는 기술 개발됨 [47]	ㅇㅇ(210.178)	04.16	2444	17
456461	일반	인디게임 개발자로써, GPT는 충분히 가치가 있다. [18]	ㅇㅇ(116.34)	04.16	2527	24
456443	일반	머스크 스페샬 [8]	ㅇㅇ(222.101)	04.16	617	11
456425	일반	3대 십새끼 어록 모음 [12/1]	ㅇㅇ	04.16	2279	34
456424	정보	압축은 지능을 선형적으로 나타냅니다. [4]	특술람	04.16	687	23
456421	일반	너넨 살아보니 노력 할만 하더냐? [24]	ㅇㅇ(59.9)	04.16	772	13
456412	일반	인류를 위해 안 까고있다 하면 돌천지랑 뭐가다르냐 [3]	ㅇㅇ(106.101)	04.16	357	10
456401	일반	아가리 털드만이 마케팅하러 다닌다 (X) [3]	ㅇㅇ	04.16	325	12
456394	정보	마이크로소프트 오픈소스 모델 Wizard LM2 공개 [10]	lightvector	04.16	1476	25
456384	정보	(오늘의 입털기)샘알트만- 당신들을 찍어누를 것 [31]	ㅇㅇ(118.235)	04.16	2517	24
456370	정보	일본에 자리 잡은 사카나 AI "기업 관심 집중...아직 경쟁자 없어" [2]	ㅇㅇ(182.230)	04.16	474	11
456363	일반	생각해보면 모든 행복의 근원은.. [6]	ㅇㅇ	04.16	1683	23
456347	역노화	내 몸에 새로운 간을 키운다...간이식 대체할 림프절 간세포 이식술 [25]	ㅇㅇ	04.16	1752	24
456321	일반	ㄹㅇ 나도 현.직자인데 [8]	ㅇㅇ	04.15	962	14
456319	일반	오늘자 얀르쿤 트윗: 25년도까지 AGI 불가능 [12]	ㅇㅇ(112.144)	04.15	845	11
456310	일반	산수문제 하나 풀고 가실게요 (gpt4 재평가) [9]	mahogany	04.15	2089	21
456297	일반	라마3 곧 발표예정이라함 [9]	ㅇㅇ(125.191)	04.15	2168	26
456204	정보	스테이블 디퓨전 만든 CEO 근황 [11]	ㅇㅇ(121.132)	04.15	3322	26
456178	정보	오픈AI, 아시아 최초 사무소인 OpenAI Japan 설립 [28]	월코존버	04.15	2371	22
455877	정보	엔트로픽 CEO, ASL-4는 2025~2028 사이에 일어날 수 있다 [14]	ㅇㅇ(218.52)	04.14	958	11
455701	정보	다트머스 연구진은 현대 AI와 치료 앱을 융합하려고 합니다. [12]	ㅇㅇ	04.14	1404	14
455985	정보	미스트랄 8x22b성능은 오픈소스중최고 mmlu 77.3 [11]	ㅇㅇ(149.88)	04.14	1477	15
456113	정보	2024년 가장 많이 사용되는 AI 플랫폼 20개는 [9]	ㅇㅇ(182.230)	04.15	2439	21
455398	일반	페이팔ceo 시발년아 [16]	ㅇㅇ(14.53)	04.13	2708	20
456112	일반	알트만 스캠이라면 영악한게 , 5~10년안에 올지도 모른다 [2]	ㅇㅇ(118.129)	04.15	528	10
456111	정보	"기존 벤치마크 한계 도달"...새로운 LLM 평가 수단 속속 등장 [4]	ㅇㅇ(182.230)	04.15	1712	13
456069	일반	와 자율주행 신기하네 [1]	ㅇㅇ	04.15	971	11
455998	일반	알트만 새 트윗 개인적인 해석 [4]	ㅇㅇ(112.144)	04.14	768	10
455964	정보	특이점이 온 미국의 노동시장 [11]	테이리	04.14	986	10
455902	정보	채신논문) 어리석음을 찬양하며: 유연한 목표와 인간의 인지 능력 [6]	ㅇㅇ	04.14	2649	24
455884	정보	구글 삼성결별 2025년부터 TSMC에서 생산 [6]	ㅇㅇ(125.143)	04.14	736	10
455850	일반	데빈 저격영상 떳네 ㅋㅋ [15]	상한포도	04.14	3159	27
455846	일반	devin 걍 사기꾼이였네 [8]	ㅇㅇ(211.36)	04.14	2793	20
455800	일반	샘 알트만 ”agi 개발완료“는 날조임 [10]	ㅇㅇ(116.120)	04.14	3486	44
455774	일반	“韓 연구진이 개발한 뇌 영상 기술 …연이은 검증 실패 [9]	ㅇㅇ(211.234)	04.14	2522	22
455743	일반	이런일 다들 경험해봣을건데 [22]	ㅇㅇ(117.20)	04.14	2846	31
455680	일반	2025년이 7개월남았다는게 어이가없네 [8]	ㅇㅇ(211.197)	04.13	3552	33
455679	정보	AI가 월스트리트에 온다, 은행 분석가 채용 2/3로 줄이는 것을 고려중 [4]	ㅇㅇ(125.191)	04.13	776	10
455648	일반	영상다시봤는데 힌튼이 말을 이상하게했음 [8]	ㅇㅇ(211.197)	04.13	1593	16
455619	일반	특갤에 갈수록 병신새끼들만 남는거같다고? [17]	ㅇㅇ(58.127)	04.13	2855	53
455614	AI창 AI창작	AI야 클레 귀엽게 그려줘 [17]	ㅇㅇ	04.13	2444	24
455604	일반	내 사촌여동생(12살)한테 특이점 설명해줬음 [64]	초존도초	04.13	2734	33
455584	일반	제프리 힌튼 "AI 챗봇은 감각과 주관적 경험을 가지고 있다" [16]	ㅇㅇ(1.237)	04.13	2300	24
455563	정보	빌게이츠가 말하는 AI 시대에 살아남을 직업 3가지 [20]	ㅇㅇ(119.207)	04.13	3845	36
455533	정보	뇌 없이 운동 학습하고 기억하는 메커니즘 찾았다 [4]	ㅇㅇ(182.230)	04.13	1354	14
455520	일반	얀르쿤은 빌라에 사는 성난 아줌마다. [25]	ㅇㅇ	04.13	2056	46
455500	일반	난 왜 얀르쿤 말이 맞아보이지 [21]	ㅇㅇ(39.7)	04.13	2690	45
455452	일반	오늘도 연전연승	ㅇㅇ(58.127)	04.13	1235	27
455447	정보	삼성, 갤럭시 S22·21에도 AI 일부 적용 [2]	ㅇㅇ(182.230)	04.13	2247	24