스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강"

ㅇㅇ(182.230) 2024.04.09 22:33:20

조회 1305 추천 19 댓글 4

https://www.aitimes.com/news/articleView.html?idxno=158662

스태빌리티 AI, 120억 매개변수 ‘스테이블 LM 2’ 출시…”sLM 최강 성능”

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다. 벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억

www.aitimes.com

7ce88870b38007f739ef81e44eee7765f773b619ca4945daf78828edefc10d4651ec

소형언어모델(sLM) 출시가 이어지고 있다. 그 중에서도 sLM의 표준으로 자리잡은 700억 매개변수의 메타 ‘라마 2 70B’보다 작은 규모의 sLM들이 각광받고 있다. sLM의 주도권 경쟁도 뜨거워질 것이라는 전망이 나온다.

벤처비트는 8일(현지시간) 스태빌리티 AI가 120억 매개변수의 경량 sLM ‘스테이블 LM 2 12B(Stable LM 2 12B)’를 출시했다고 보도했다.

이에 따르면 스테이블 LM 2 12B는 지난해 4월 처음 공개한 30억(3B) 및 70(7B) 매개변수의 ‘스테이블 LM’과 지난 1월 출시한 16억 매개변수의 ‘스테이블 LM 2 1.6B)’에 이은 세번째 버전이다.

스테이블 LM 2 12B에는 '기본 버전'과 영어, 스페인어, 독일어, 이탈리아어, 프랑스어, 포르투갈어, 네덜란드어 등 7개 언어에 대한 대화 기술을 향상시키도록 설계된 '지침 조정 버전(instruct version)'이 포함된다. 현재 유료 스태빌리티 AI 멤버십을 통해 상업적으로 사용 가능하다.

카를로스 리켈메 스태빌리티 AI 언어 팀 책임자는 “지침 조정 버전은 사용자와 대화식으로 상호 작용하도록 특별히 설계되고 훈련됐다”라며 "더 안전하게 만들기 위해 상당한 노력을 기울였다"라고 밝혔다.

스태빌리티 AI는 스테이블 LM 2 12B가 성능, 정확성 및 접근성 사이에서 최적의 균형을 유지한다고 주장했다. 120억 매개변수만을 사용함에도 불구하고, 다양한 벤치마크에서 더 큰 매개변수의 sLM을 능가한다는 설명이다.

7ce88870b38007f739ef81e44fee706d71fda8f8f3a78497d827326f23bd711eb355

최근 유행 중인 '전문가 혼합(MoE)' 방식을 사용한 것으로 알려졌다.

리켈메 책임자는 "우리는 모델이 단독으로 사용되지 않고, 하나 또는 여러개의 언어 모델이 서로 상호 작용하고 더 큰 시스템의 일부로 작동하는 미래를 예상한다”라며 "따라서 12B 모델은 다양한 사용자와 조직이 자신의 요구 사항과 관련이 있다고 생각할 수 있는 다양한 기능과 API에 연결하고 호출할 수 있도록 훈련됐다"라고 말했다.

한편 스테이블 LM 2 12B 외에도 최근 경량 sLM 출시가 빠르게 늘어나는 양상이다.

지난해 11월에는 마이크로소프트(MS)가 70억 및 130억개의 매개변수를 가진 경량 sLM ‘오르카 2(Orca 2)’를 공개했다. 이 모델은 모든 벤치마크 결과에서 평균적으로 더 큰 sLM인 '라마-2 70B' 및 '위저드LM 70B'보다 우수한 추론 능력을 보였다.

또 12월에는 27억개의 매개변수로 구성된 sLM ‘파이-2(Phi-2)’를 공개했다. 당시 MS는 이 새로운 모델이 130억개 미만의 매개변수를 사용하는 언어 모델 중에서 최고 성능을 제공한다고 주장했다.

미스트랄도 지난해 12월 MoE 아키텍처 기반의 70억 매개변수의 ‘믹스트랄 8x7B(Mixtral 8x7B)’를 공개했다. 이 모델은 작지만 강력한 성능을 갖춘 '소형 GPT-4'라는 평가를 받았다.

고정닉 6

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2868	설문	힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는?	운영자	24/06/10	-	-
2870	이슈	[디시人터뷰] 웃는 모습이 예쁜 누나, 아나운서 김나정	운영자	24/06/11	-	-
463983	일반	agi위해선 추론이 필수적인데 조금 짜치긴 하네... [18]	lightvector	05.07	2958	25
463897	정보/ 정보/뉴스	also gpt로 어려운 컴퓨터 비전 대회 성공했다 [38]	ㅇㅇ(119.77)	05.07	3351	34
463804	일반	방금 점프에 장애물추가 콜리전추가 원큐에성공 ㅅㅂㅋㅋㅋㅋ [22]	친근한게이브	05.07	2532	28
463784	일반	also gpt2 미침 걍 agi 2단계임 영상있음 [7]	친근한게이브	05.07	3789	27
463783	일반	지리긴 하네..ㄷㄷ 소설도 뚝딱임 [13]	라익	05.07	3570	17
463742	일반	also gpt2 일단 확실한 거는 [7]	ㅇㅇ(125.137)	05.07	3957	16
463666	AI창 AI창작	재미로 클로드 gpt2 시 만들어보기 [3]	포스트휴먼.	05.07	1643	15
463659	일반	also vs gpt-4 한국어 시 테스트 [29]	ㅇㅇ(182.213)	05.07	2804	32
463654	일반	GPT4 원래 이렇게 삐리했나? [13]	월코존버	05.07	2467	21
463649	일반	Also 미쳤는데 ㅋㅋㅋㅋ [1]	헬스토끼	05.07	3125	15
463627	일반	also gpt2 깔끔하네 [1]	ㅇㅇ	05.07	2182	14
463603	일반	약간 충격받은 also gpt-2 후기 [12]	컴퓨터비전	05.07	4432	17
463597	일반	also gpt 진짜 미쳤는데? [2]	ㅇㅇ	05.07	2583	12
463587	정보/ 정보/뉴스	아레나) gpt2, gpt-4, 클로드3 사칙연산 테스트 결과 [10]	ㅇㅇ	05.07	2217	17
463584	일반	ㅋㅋGPT2 작문 실력 확실히 늘어나긴했네 [3]	월코존버	05.07	2043	22
463157	정보/ 정보/뉴스	올해 말까지 테슬라 옵티머스 DoF 업그레이드 [14]	ㅇㅇ(119.77)	05.06	1801	13
463447	정보/ 정보/뉴스	마소CTO: OAI 모델, 전작들보다 훨씬 더 강력 등 [11]	ㅇㅇ(119.77)	05.07	2114	16
463434	일반	llm 자체가 통계 머신이라 그런거 아니냐 [4]	ㅇㅇ(1.223)	05.07	926	20
463302	일반	샘알트만 GPT6까지 미리 계획해놨다는데? [32]	ㅇㅇ	05.06	4049	23
463345	일반	Bone Biologics, NB1 임상 프로그램 진행 상황 보고 [5]	ㅇㅇ(123.141)	05.06	1158	23
463372	일반	걍 타갤처럼 비추있으면안됨? [21]	ㅇㅇ(39.124)	05.06	1604	37
463336	일반	클로드3 오푸스의 수학적 추론능력 [11]	ㅇㅇ(58.123)	05.06	1585	21
463321	일반	부패 너무 권한남용 아니냐? [47]	ㅇㅇ(61.73)	05.06	2320	40
463154	정보/ 정보/뉴스	StoryDiffusion : 일관된 이미지, 코믹스, 비디오 생성 [14]	ㅇㅇ	05.06	2694	26
463112	일반	알트만이 뒤에서 오픈소스팀 방해공작 한다는데 [12]	ㅇㅇ	05.05	1643	19
463021	일반	특이점이 반드시 와야만 하는 이유.jpg [67]	ㅇㅇ(121.142)	05.05	5278	64
462993	정보/ 정보/뉴스	테슬라봇 새로운 영상 [35]	ㅇㅇ	05.05	3999	33
462856	일반	한국 과도기 로봇 노동대체 최근일자 모음 [25]	ㅇㅇ(110.46)	05.05	3907	45
462779	일반	이 세상이 시뮬레이션이 아닌 이유.ipg [96]	ㅇㅇ(114.129)	05.04	5355	25
462748	정보/ 정보/뉴스	'AI의 대모'도 AGI 개발 동참...'공간 지능' 스타트업 설립 [11]	ㅇㅇ(182.230)	05.04	2557	20
462747	정보/ 정보/뉴스	MS, AGI 개발 위해 휴머노이드 로봇 선두 생츄어리 AI와 손잡아 [4]	ㅇㅇ(182.230)	05.04	1368	21
462719	정보/ 정보/뉴스	AI가 코딩 더 잘해"…신입 개발자 '구직난' [8]	ㅇㅇ(223.38)	05.04	619	14
462717	일반	30대 샘 X트먼 고객님 H200 GPU 출고 후기 입니다 ㅎㅎ [18]	ㅇㅇ	05.04	3326	37
462710	일반	"야동을 보면 꼬추를 만지고 싶을 것" [14]	ㅇㅇ(59.5)	05.04	4843	41
462689	일반	“밥을 안 먹으면 배가 고플 것.” [10]	ㅇㅇ	05.04	3579	32
462560	정보/ 정보/뉴스	소소하게 화제 중인 '세계 복사' 프로젝트 [26]	sam_ultraman	05.03	4532	28
462539	정보/ 정보/뉴스	르쿤이햄 : "이제 텍스트 데이터 거의 한계에 도달함" [25]	ㅇㅇ(119.77)	05.03	4028	27
462486	정보/ 정보/뉴스	'소라'로 제작한 첫 공식 뮤비 공개..."뮤비는 만족할 수준" [30]	ㅇㅇ(182.230)	05.03	3234	27
462485	정보/ 정보/뉴스	알트먼 "AGI도 수준 차 존재할 것...'AI 킬러 앱'은 에이전트" [4]	ㅇㅇ(182.230)	05.03	1857	18
462483	정보/ 정보/뉴스	바이든, '챗GPT' 처음 써보고 "믿을 수 없어" 반응 [10]	ㅇㅇ(182.230)	05.03	635	12
462430	일반	ai노래 유튜브에서 컨텐츠로 자리잡았네 ㅋㅋㅋㅋㅋㅋㅋ [2]	로코무지카	05.03	2599	23
462389	일반	“일론은 Q*가 있다고 진심으로 믿고 움직이고 있다” [14]	ㅇㅇ(118.36)	05.03	3933	25
462232	정보/ 정보/뉴스	[Official] gpt2-chatbot은 GPT-4.5가 아닙니다. [27]	ㅇㅇ(119.77)	05.02	2733	18
462193	정보/ 정보/뉴스	공정한 MMLU 벤치마크 결과 [4]	ㅇㅇ(119.77)	05.02	639	13
462302	정보/ 정보/뉴스	르쿤이형, 누군가를 저격한듯한 발언 [30]	ㅇㅇ(119.77)	05.03	3204	30
462294	정보/ 정보/뉴스	일리야 수츠케버, 생존신고 [18]	ㅇㅇ(119.77)	05.03	2643	21
462270	정보/ 정보/뉴스	AI용어) Prompt vs Fine-tuning vs RAG [10]	ㅇㅇ(182.230)	05.03	1372	21
461992	정보/ 정보/뉴스	샘 알트만 : 2030년에도 삶은 크게 달라지지 않을 것 [68]	ㅇㅇ(119.77)	05.02	5948	38
461983	정보/ 정보/뉴스	지난주 스탠포드대학교 샘알트만 강연 비디오 [18]	ㅇㅇ(125.191)	05.02	2073	21
462055	일반	소신발언) 근데 그냥 gpt-5로 안내면 되는거 아님? [7]	ㅇㅇ(1.239)	05.02	2510	21