스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

ㅇㅇ(182.230) 2024.04.09 22:33:20

조회 1306 추천 19 댓글 4

https://www.aitimes.com/news/articleView.html?idxno=158662

스태빌리티 AI, 120억 매개변수 ‘스테이블 LM 2’ 출시…”sLM 최강 성능”

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다. 벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억

www.aitimes.com

7ce88870b38007f739ef81e44eee7765f773b619ca4945daf78828edefc10d4651ec

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다.

벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.

이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억 매개변수의 ‘스테이블 LM 2 1.6B)’에 이은 세번째 버전이다.

스테이블 LM 2 12B에는 '기본 버전'과 영어, 스페인어, 독일어, 이탈리아어, 프랑스어, 포르투갈어, 네덜란드어 등 7개 언어에 대한 대화 기술을 향상시키도록 설계된 '지침 조정 버전(instruct version)'이 포함된다. 현재 유료 스태빌리티 AI 멤버십을 통해 상업적으로 사용 가능하다.

카를로스 리켈메 스태빌리티 AI 언어 팀 책임자는 “지침 조정 버전은 사용자와 대화식으로 상호 작용하도록 특별히 설계되고 훈련됐다”라며 "더 안전하게 만들기 위해 상당한 노력을 기울였다"라고 밝혔다.

스태빌리티 AI는 스테이블 LM 2 12B가 성능, 정확성 및 접근성 사이에서 최적의 균형을 유지한다고 주장했다. 120억 매개변수만을 사용함에도 불구하고, 다양한 벤치마크에서 더 큰 매개변수의 sLM을 능가한다는 설명이다.

7ce88870b38007f739ef81e44fee706d71fda8f8f3a78497d827326f23bd711eb355

최근 유행 중인 '전문가 혼합(MoE)' 방식을 사용한 것으로 알려졌다.

리켈메 책임자는 "우리는 모델이 단독으로 사용되지 않고, 하나 또는 여러개의 언어 모델이 서로 상호 작용하고 더 큰 시스템의 일부로 작동하는 미래를 예상한다”라며 "따라서 12B 모델은 다양한 사용자와 조직이 자신의 요구 사항과 관련이 있다고 생각할 수 있는 다양한 기능과 API에 연결하고 호출할 수 있도록 훈련됐다"라고 말했다.

한편 스테이블 LM 2 12B 외에도 최근 경량 sLM 출시가 빠르게 늘어나는 양상이다.

지난해 11월에는 마이크로소프트(MS)가 70억 및 130억개의 매개변수를 가진 경량 sLM ‘오르카 2(Orca 2)’를 공개했다. 이 모델은 모든 벤치마크 결과에서 평균적으로 더 큰 sLM인 '라마-2 70B' 및 '위저드LM 70B'보다 우수한 추론 능력을 보였다.

또 12월에는 27억개의 매개변수로 구성된 sLM ‘파이-2(Phi-2)’를 공개했다. 당시 MS는 이 새로운 모델이 130억개 미만의 매개변수를 사용하는 언어 모델 중에서 최고 성능을 제공한다고 주장했다.

미스트랄도 지난해 12월 MoE 아키텍처 기반의 70억 매개변수의 ‘믹스트랄 8x7B(Mixtral 8x7B)’를 공개했다. 이 모델은 작지만 강력한 성능을 갖춘 '소형 GPT-4'라는 평가를 받았다.

고정닉 6

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2868	설문	힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는?	운영자	24/06/10	-	-
2870	이슈	[디시人터뷰] 웃는 모습이 예쁜 누나, 아나운서 김나정	운영자	24/06/11	-	-
457850	일반	정치충은 막는게 맞음 [29]	ㅇㅇ(106.101)	04.20	1643	29
457839	일반	르쿤이 메타 LLM팀 아님 [7]	ㅇㅇ(125.191)	04.20	1529	20
457752	일반	한 남자의 어록 모음 [37]	agi2024	04.19	3161	53
457748	일반	???: ㅋㅋ 고작 이딴걸로 좋아하네 [13]	agi2024	04.19	3151	23
457691	일반	이미 로펌에서 GPT-4 로 변론서 작성중이라는데 ㅋㅋㅋㅋㅋ [13]	ㅇㅇ(124.49)	04.19	2723	24
457690	일반	역시 르쿤이형이냐 [12]	ㅇㅇ(59.11)	04.19	1982	56
457641	정보/ 정보/뉴스	(오피셜) 라마3 곧 추가될 기능들 [15]	ㅇㅇ(123.100)	04.19	2626	27
457620	일반	405B 짜리는 GPT-4 터보 걍 좆바르겠노 ㅋㅋ [8]	ㅇㅇ(123.100)	04.19	2137	20
457615	일반	라마3 한국어로 쓰고 실망 ㄴㄴ [4]	ㅇㅇ(123.100)	04.19	2247	19
457613	일반	챗봇아레나 라마3 성능 돌아버렸네 ㅋㅋㅋㅋㅋㅋㅋㅋ [6]	ㅇㅇ(110.145)	04.19	2197	21
457608	정보/ 정보/뉴스	라마3 Chatbot arena 리더보드 순위 미쳤노ㅋㅋㅋ [4]	ㅇㅇ(123.100)	04.19	1253	19
457522	정보/ 정보/뉴스	MS '대화하는 얼굴' VASA-1 작동 영상 [6]	ㅇㅇ	04.19	1204	22
457509	정보/ 정보/뉴스	오늘 있던 Oai 강연 + 앞로 있을 3개 [12]	ㅁㄴㅇㄹ	04.19	1854	23
457496	일반	라마3 400b 성능은 gpt-4보다 훨씬 높을수도 [14]	ㅇㅇ(110.145)	04.19	1671	19
457492	정보/ 정보/뉴스	학계 "딥러닝이 벽에 부딪히고 있습니다" [28]	특술람	04.19	856	13
457481	정보/ 정보/뉴스	chagpt가 특정 단어를 반복하는 이유에 대한 기사가 나왔네 [17]	ㅇㅇ	04.19	2312	24
457455	일반	라마3는 충분히 기뻐할만한 일 아님? [15]	ㅇㅇ(211.44)	04.19	2358	46
457454	일반	라마 매력봐라 ㅅㅂㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [14]	아디라스	04.19	3406	33
457432	일반	라마3 아이폰에서 구동 성공 [15]	rtOS	04.19	2649	23
457416	일반	라마4 떡밥 [3]	특술람	04.19	1047	22
457400	정보/ 정보/뉴스	스탠포드 피셜)) 분야별 ai발전 속도 인덱스 [19]	lightvector	04.19	2593	27
457399	정보/ 정보/뉴스	메타 실시간 이미지 생성 발표 [9]	특술람	04.19	2742	30
457358	일반	라마3 동양인 혐오하네 ㅇㅇ [19]	ㅇㅇ	04.19	3175	33
457357	일반	솔직히 라마 좃도 안기쁘면 개추 ㅋㅋ [20]	ㅇㅇ(210.205)	04.19	2815	30
457344	AI창 AI창작	수노3) 라마가 부른 노래 만들어봄 [8]	ㅇㅇ	04.19	1246	17
457310	일반	라마3 70b 사용해볼수있게 허깅쳇에 떳다 [7]	ㅇㅇ	04.19	2139	24
457304	정보/ 정보/뉴스	찬양하라ㅡMeta. [4]	ㅇㅇ(123.100)	04.19	1850	28
457303	정보/ 정보/뉴스	라마3에 사용된 인간 주석데이터양 ㄷㄷㄷ [8]	ㅇㅇ(123.100)	04.19	2402	20
457301	정보/ 정보/뉴스	라마2vs3 발전속도 보기.. [7]	ㅇㅇ(123.100)	04.19	1973	21
457300	일반	Meta는 오픈소스 AGI를 위한 데이터센터 구축 중 [12]	모브	04.19	1384	23
457272	정보/ 정보/뉴스	오피셜) GPT4 API 사망 [6]	ㅇㅇ(123.100)	04.19	3211	32
457260	일반	라마3 400b와 4터보 벤치 [8]	ㅇㅇ(175.124)	04.19	1605	16
457254	일반	개념글 빨리 올려라 시발 ㅋㅋ [10]	lightvector	04.19	1862	29
457232	일반	GPT4 초 멸망ㅋㅋㅋㅋ [2]	ㅇㅇ(123.100)	04.19	2612	22
457213	정보/ 정보/뉴스	라마3 벤치마크 [16]	ㅇㅇ(211.59)	04.19	2005	22
457172	일반	라마3 70b [5]	특술람	04.18	1766	28
457168	일반	르쿤햄 오늘도 호감 1스택 적립 [5]	ㅇㅇ(218.158)	04.18	1370	27
457165	정보/ 정보/뉴스	라마3 발표 [15]	특술람	04.18	2723	34
457122	일반	국내는 솔직히 병신맞음 [4]	ㅇㅇ(118.235)	04.18	1140	18
457091	정보/ 정보/뉴스	MS-오픈AI, EU의 합병 조사 피할 듯..."단순 투자로 결론" [2]	ㅇㅇ(182.230)	04.18	967	17
457057	일반	[충격]세계 최초 뇌영상 기술 조작 논란 [28]	xdxd333	04.18	2858	24
456979	일반	근데 진짜 빅이슈면 이미 해외에서부터 ㄹ들갑떨긴 함 [4]	ㅇㅇ(115.139)	04.18	1032	22
456973	일반	념글 이거 존나웃기네 씨발 ㅋㅋㅋㅋㅋ [10]	ㅇㅇ	04.18	3470	31
456946	정보/ 정보/뉴스	삼성전자, 업계 최고 속도 LPDDR5X D램 개발 [4]	ㅇㅇ(182.230)	04.18	1906	24
456944	일반	싱글벙글 보스턴 다이나믹스 로봇 근황.gif [28]	ㅇㅇ	04.18	3076	29
456934	정보/ 정보/뉴스	피터 틸 "AI가 작가보다 수학 덕후들에게 '더 나쁠 것'" [18]	특술람	04.18	2889	26
456923	정보/ 정보/뉴스	닉보스트롬 인류미래연구소 문 닫음 [4]	특술람	04.18	1038	20
456922	정보/ 정보/뉴스	인텔, 세계 최대의 뉴로모픽 시스템 '할라 포인트' 구축 [9]	ㅇㅇ(182.230)	04.18	1529	28
456913	정보/ 정보/뉴스	새로운 아틀라스 로봇에 대해 CEO와의 Q&A [11]	ㅇㅇ	04.18	1813	23
456890	일반	얀 르쿤의 AI관련 의견에서 감안해야 하는 점은 [33]	ㅇㅇ(218.48)	04.18	1878	31