스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

ㅇㅇ(182.230) 2024.04.09 22:33:20

조회 1303 추천 19 댓글 4

https://www.aitimes.com/news/articleView.html?idxno=158662

스태빌리티 AI, 120억 매개변수 ‘스테이블 LM 2’ 출시…”sLM 최강 성능”

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다. 벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억

www.aitimes.com

7ce88870b38007f739ef81e44eee7765f773b619ca4945daf78828edefc10d4651ec

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다.

벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.

이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억 매개변수의 ‘스테이블 LM 2 1.6B)’에 이은 세번째 버전이다.

스테이블 LM 2 12B에는 '기본 버전'과 영어, 스페인어, 독일어, 이탈리아어, 프랑스어, 포르투갈어, 네덜란드어 등 7개 언어에 대한 대화 기술을 향상시키도록 설계된 '지침 조정 버전(instruct version)'이 포함된다. 현재 유료 스태빌리티 AI 멤버십을 통해 상업적으로 사용 가능하다.

카를로스 리켈메 스태빌리티 AI 언어 팀 책임자는 “지침 조정 버전은 사용자와 대화식으로 상호 작용하도록 특별히 설계되고 훈련됐다”라며 "더 안전하게 만들기 위해 상당한 노력을 기울였다"라고 밝혔다.

스태빌리티 AI는 스테이블 LM 2 12B가 성능, 정확성 및 접근성 사이에서 최적의 균형을 유지한다고 주장했다. 120억 매개변수만을 사용함에도 불구하고, 다양한 벤치마크에서 더 큰 매개변수의 sLM을 능가한다는 설명이다.

7ce88870b38007f739ef81e44fee706d71fda8f8f3a78497d827326f23bd711eb355

최근 유행 중인 '전문가 혼합(MoE)' 방식을 사용한 것으로 알려졌다.

리켈메 책임자는 "우리는 모델이 단독으로 사용되지 않고, 하나 또는 여러개의 언어 모델이 서로 상호 작용하고 더 큰 시스템의 일부로 작동하는 미래를 예상한다”라며 "따라서 12B 모델은 다양한 사용자와 조직이 자신의 요구 사항과 관련이 있다고 생각할 수 있는 다양한 기능과 API에 연결하고 호출할 수 있도록 훈련됐다"라고 말했다.

한편 스테이블 LM 2 12B 외에도 최근 경량 sLM 출시가 빠르게 늘어나는 양상이다.

지난해 11월에는 마이크로소프트(MS)가 70억 및 130억개의 매개변수를 가진 경량 sLM ‘오르카 2(Orca 2)’를 공개했다. 이 모델은 모든 벤치마크 결과에서 평균적으로 더 큰 sLM인 '라마-2 70B' 및 '위저드LM 70B'보다 우수한 추론 능력을 보였다.

또 12월에는 27억개의 매개변수로 구성된 sLM ‘파이-2(Phi-2)’를 공개했다. 당시 MS는 이 새로운 모델이 130억개 미만의 매개변수를 사용하는 언어 모델 중에서 최고 성능을 제공한다고 주장했다.

미스트랄도 지난해 12월 MoE 아키텍처 기반의 70억 매개변수의 ‘믹스트랄 8x7B(Mixtral 8x7B)’를 공개했다. 이 모델은 작지만 강력한 성능을 갖춘 '소형 GPT-4'라는 평가를 받았다.

고정닉 6

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
466200	일반	ai비서 말고는 전혀 쓸모가 없는데	ㅇㅇ(117.20)	05.12	86	0
466199	일반	특이점의 선구자 vs 이시발좆게이새끼 [1]	Samus	05.12	100	0
466198	일반	필 라잌 메직 투 미 ㄷㄷㄷㄷㄷㄷ [2]	비닌	05.12	152	0
466197	일반	알트만 발표 망하면 브거쏨 줄서셈 [9]	ㅇㅇ(175.213)	05.12	139	0
466196	일반	클로드는 갈수록 멍청해지네 [4]	ㅇㅇ(210.124)	05.12	172	0
466194	일반	알트만 트윗 방금본 사람인데 너무 떨림 시밬 ㄷㄷㄷㄷ [3]	비닌	05.12	403	0
466193	일반	mAGIc [4]	ㅇㅇ(125.191)	05.12	191	0
466192	일반	루머 이거일 확률 몇프로냐? [1]	ㅇㅇ(59.11)	05.12	162	0
466191	일반	프롬프트 작성하기어렵다고?	ㅇㅇ(112.161)	05.12	86	0
466190	일반	호들갑 루머 이거인듯 [7]	특탁(112.160)	05.12	346	0
466189	일반	알트만 발표 한국시간 언제임? [2]	비닌	05.12	180	0
466187	일반	솔직이 루머는 다들 알지않냐? ㅋㅋㅋ [4]	ㅇㅇ(183.105)	05.12	228	0
466186	일반	딱봐도 좆구라같은데	ㅇㅇ(106.102)	05.12	67	0
466185	일반	뭐노 뭐가 나오는거노 알트만 게이야 이기야 우흥북딱	비닌	05.12	76	0
466184	일반	너무 힘들어	ㅇㅇ(125.179)	05.12	46	0
466183	일반	저새끼 갱차 7분전.	능지상승	05.12	94	0
466182	일반	루머 안 올리면 걍 한달 차단 시키셈	ㅇㅇ(218.154)	05.12	63	2
466180	일반	루머는 레딧 번역 돌려 봐라 게이들아 [1]	특탁(112.160)	05.12	146	0
466179	일반	완몰가 출시아니면 근들갑 떨지마라	ㅇㅇ(59.11)	05.12	40	0
466178	일반	ㄹㅇ 1시 될때까지 안올리면 차단해라 [1]	ㅇㅇ(14.53)	05.12	111	0
466177	일반	손 벌벌 떨리는게뭔데!!	ㅇㅇ(211.226)	05.12	57	0
466176	일반	Gpt 프롬프팅 꿀팁 전수좀 [5]	ㅇㅇ(114.206)	05.12	159	0
466175	일반	갑자기 화가나노 ㅋㅋㅋ	친근한게이브	05.12	59	0
466174	일반	???: 다들 고생했다 게이들아	ㅇㅇ(218.154)	05.12	58	0
466173	일반	gpt5 보다 파장 큰거라고? 실화냐 ㄷㄷㄷ	쿠드	05.12	103	0
466170	일반	미국은 노동해방으로 갈 수밖에 없었네 [4]	ㅇㅇ(58.143)	05.12	191	2
466169	일반	어쨋든 폭동한번 날듯 [3]	ㅇㅇ	05.12	135	0
466166	일반	특붕이들 이제껏 놀라자빠진적 있냐? [6]	외웨	05.12	125	0
466165	일반	챗 gpt 다루는거 어려움? [3]	ㅇㅇ(211.36)	05.12	88	0
466164	일반	open ai는 구글 제미나이 나올때도 견제하지않았나 [2]	ㅇㅇ(218.50)	05.12	125	0
466163	일반	특이점이 온다 x	ㅇㅇ(58.233)	05.12	56	0
466162	일반	기술발전이 살아가는 원동력 중 하나임	ㅇㅇ	05.12	57	0
466161	일반	근데 특이점 와도 별거 없으면 어떡함? [64]	매우큰코	05.12	478	0
466160	일반	gpt5나오면	ㅇㅇ(211.234)	05.12	59	0
466159	일반	알트만이 말한 magic = 완몰가 임? [6]	친근한게이브	05.12	220	0
466158	일반	솔직히 빈살만같은 중동 석유부자들이 특이점에 지대한 관심 가지면.. [3]	ㅇㅇ	05.12	160	1
466157	일반	지금까지 라이브 발표할때는 큰거 2개 이상은 발표했다.	ㅇㅇ(183.105)	05.12	94	0
466156	일반	저번 라이브때는 뭐 나왔었음 근데	어브리	05.12	41	0
466155	일반	념글 UBI글 저거 알트만 혼자만의 계획임? [12]	ㅇㅇ(221.147)	05.12	286	0
466154	일반	완몰가 나오면 진짜 [3]	ㅇㅇ(210.90)	05.12	146	0
466153	일반	이번엔 기술발표라니까 [4]	ㅇㅇ(211.36)	05.12	171	0
466152	일반	지금보니현생사는사람이 제일 이득이네 [6]	ㅇㅇ	05.12	207	0
466151	일반	이번이 트위터 근들갑이랑 다른이유 [2]	ㅇㅇ(125.183)	05.12	142	0
466150	일반	이것만 아니었어도 맘껏 근들갑떨텐데 [2]	ㅇㅇ(222.108)	05.12	200	0
466149	AI창 AI창작	UDIO : 인생의 멜로디	ㅇㅇ(61.101)	05.12	81	0
466148	일반	중요한건 신박한 기술이 전혀 아닌데 [37]	ㅇㅇ(117.20)	05.12	349	0
466146	일반	그래서 다들 her나오면 뭐할꺼? [2]	ㅇㅇ	05.12	160	0
466145	일반	gpt 성인물 허용되면 한국이 전면금지 때린다고? [12]	ㅇㅇ	05.12	372	0
466144	일반	난 이런것만 아니면 만족임	ㅇㅇ(218.154)	05.12	68	0
466143	일반	디시망하기전엔 특이점 오겠지?	ㅇㅇ	05.12	33	0