MS, 수학 전문 slm' 출시 10배 큰 모델보다 성능 뛰어나

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] MS, 수학 전문 slm' 출시 10배 큰 모델보다 성능 뛰어나모바일에서 작성

ㅇㅇ

2024.03.06 21:01:37

조회 1654 추천 33 댓글 5

이에 따르면 오르카-매쓰는 ‘미스트랄 7B’ 모델을 기반으로, 고도로 맞춤화된 20만개의 수학 단어 문제로 구성된 합성 데이터셋에서 미세조정했다. 또 반복 학습 프로세스를 통해 스스로 문제 해결을 연습하도록 훈련했다.

기존의 오픈 소스 데이터셋에서 3만6217개의 샘플 수학 단어 문제를 수집했다. 각 문제에 대한 모델의 답변을 오픈AI의 GPT-4에 제공하고 피드백을 요청, 모델이 반복해 답변을 개선하도록 훈련했다.

오르카-매쓰 모델은 초중등 수준 8500개의 다양한 수학 단어 문제 및 질문으로 구성된 GSM8K 벤치마크에서 구글 '제미나이 울트라' 및 오픈AI 'GPT-4'를 제외한 대부분의 70억~700억개 매개변수의 LLM보다 뛰어난 성능을 보였다.

https://www.aitimes.com/news/articleView.html?idxno=157721

MS, 수학 전문 sLM '오르카-매쓰' 출시..."10배 큰 모델보다 성능 뛰어나"

마이크로소프트(MS)가 수학 전문 경량언어모델(sLM) ‘오르카-매쓰(Orca-Math)’를 공개했다. 70억개의 매개변수를 가진 경량 모델로, 더 큰 대형언어모델(LLM)보다 뛰어난 수학 해결 능력을 보인다는 점에서 주목받고 있다.벤처비트는 5일(현지시간) MS가 매개변수가 10배 더 큰 LLM의 성능을 능가하는 수학 전문 sLM ‘오르카-매쓰’를 오픈 소스로 출시했다고 전했다.이에 따르면 오르카-매쓰는 ‘미스트랄 7B’ 모델을 기반으로, 고도로 맞춤화된 20만개의 수학 단어 문제로 구성된 합성 데이터셋에서 미세조정했다. 또 반복

www.aitimes.com

고정닉 9

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2853	설문	연인과 헤어지고 뒤끝 작렬할 것 같은 스타는?	운영자	24/04/22	-	-
448133	정보	Google AI는 곧 사람의 기침을 이용해 질병을 진단할 수 있습니다. [36]	ㅇㅇ	03.25	2773	25
448130	일반	트랜스포머 재밌는 특성(딥러닝갤 펌) [25]	솔.이☆	03.25	3605	35
448095	정보	펌)DenseFormer: 레이어 수 적은 모델로 뛰어난 성능 달성 [12]	ㅇㅇ	03.25	1686	31
448043	AI창 AI창작	특이점갤러리 새끼들아 [12]	ㅇㅇ	03.24	2858	25
448042	일반	슬슬 '진짜로' 불안하면 개추... [30]	ㅇㅇ	03.24	6029	42
447984	일반	스압)음악계 종사자들이 AI에 대해 생각보다 호의적일 수 있는 이유 [44]	ㅇㅇ	03.24	3833	46
447983	일반	오픈ai 연구원 입털었다!! [26]	ㅇㅇ	03.24	4047	33
447973	일반	2박 3일 동안 클로드3 오푸스로 폭딸 친후기.feat. 가격 [28]	얼리딸답터	03.24	3918	33
447959	일반	그림쟁이들이 ai한테 가장 피해본놈들이지 [17]	ㅇㅇ(58.29)	03.24	2494	43
447952	정보	매우 간단하게 LLM 집컴으로 돌리는 방법 (LM Studio) [4]	ㅇㅇ(121.151)	03.24	2314	23
447878	일반	와 ㅅㅂ 짱개 ai랑 노는데 재밌노ㅋㅋㅋㅋㅋㅋ [18]	ㅇㅇ(175.125)	03.24	3511	34
447705	일반	사이버렉카 수준.. [14]	ㅇㅇ(1.239)	03.24	1937	32
447656	일반	이제는 토큰이 아니라 바이트의 세상을 열어야함 [10]	ㅇㅇ(125.134)	03.24	3265	29
447567	AI창 AI창작	선형충의 승리 [15]	ㅇㅇ(182.209)	03.24	4464	41
447490	일반	결국 미국정부에게 반독점소송 쳐맞는 애플 [14]	ㅇㅇ(223.39)	03.24	2628	27
447467	정보	(근거있음) ai가 버블일 수 있는 합리적인 이유.txt [89]	ㅇㅇ(106.102)	03.24	5585	51
447458	정보	AI챗봇 출시 첫날 1000여명 수천 회 상담 [16]	ㅇㅇ	03.24	2492	26
447412	일반	비트넷 재현 실험 [21]	oo(119.202)	03.24	3482	31
447365	일반	Stability AI CEO 추노한거 돈때문만은 아니네 [4]	ㅇㅇ	03.24	1518	24
447282	정보	얼마나 다급하면…AI 경쟁 뒤처진 애플, 구글 이어 中 바이두에 SOS [22]	니지카엘	03.23	2594	27
447267	일반	밑에 올라온 haiper ai 로 만든 영상들 가져와봄 [8]	따뜨	03.23	1546	20
447232	일반	새삼스럽지만 인생 존나 재미없지 않냐? [9]	ㅇㅇ(119.204)	03.23	336	10
447228	일반	무료로 2초분량의 영상을 제작해주는 Haiper AI [3]	ㅇㅇ(211.226)	03.23	1663	20
447184	정보	뉴럴링크 새 영상 가져왔다.nintendo [26]	ㅇㅇ(180.228)	03.23	4212	50
447154	AI창 AI창작	NAI)극후방 멍멍이 아코 [16]	Samus	03.23	797	12
447147	일반	인간 넘었네 드디어 ai가 [19]	ㅇㅇ(124.5)	03.23	5374	56
447142	정보	엔비디아, GTC서 AI 가속 위한 '챗RTX' 등 선보여 [4]	니지카엘	03.23	1031	21
447113	일반	구글Ai 제미나이 근황 [36]	ㅇㅇ	03.23	4775	104
447110	일반	NVIDIA 블랙웰 B200 GPU는 최대 1200 W 소비 [12]	은바다	03.23	873	17
447106	일반	Stability ai 망했다고..? 살짝 쎄한데 [7]	ㅇㅇ	03.23	3140	31
447074	일반	Stability AI CEO 에마드 추노함 [15]	ㅇㅇ(125.191)	03.23	3011	32
447027	일반	AI 커버곡.yoyak [8]	디시콘발사대	03.23	342	16
447025	정보	배터리 기술 근황.jpg [18]	007빵(175.194)	03.23	4293	30
446953	정보	가성비甲 전자의수 제작 기업 "만드로(Mand.ro)" [12]	ROBERT	03.23	1989	28
446950	정보	中 스타트업 ‘문샷AI’ 돌풍 “챗 GPT-4의 10배 성능” [31]	니지카엘	03.23	3406	28
446936	AI창 AI창작	후.. AI로 JRPG 음악 뽑아보고 충격 먹었다 [18]	InfinityVas	03.23	5411	41
446918	일반	레딧 특갤은 ㄹㅇ 특갤이랑 소름돋게 똑같네 ㅋㅋㅋ [9]	ㅇㅇ(59.9)	03.23	4059	48
446911	일반	레딧 이거 ㅈㄴ웃기네 ㅋㅋㅋㅋ [8]	ㅇㅇ(59.9)	03.23	3144	36
446870	정보	엔비디아 ,간호사보다 뛰어난 AI 기반 의료 '에이전트'를 발표 [52]	ㅇㅇ	03.23	3344	52
446819	정보	뉴럴링크 큰거 떳다!!!! [28]	ㅇㅇ(125.183)	03.22	4027	41
446817	일반	[충격]얀르쿤이 일론 머스크 조롱하다 [22]	xdxd333	03.22	2578	53
446775	일반	[일론] Open AI를 Closed AI로 바꾸면 고소 취하하겠다 [6]	ㅇㅇ(218.50)	03.22	2393	37
446773	일반	이번달 나온거 대충정리 해봤는데 [30]	ㅇㅇ(125.183)	03.22	2952	55
446766	일반	클로드 가스라이팅 개잘먹히네 ㅋㅋㅋㅋ [13]	ㅇㅇ	03.22	2971	37
446761	일반	;;; 레커 원본 영상 보고오니 저런 뉘앙스로 말한거 아니구만; [5]	ㅇㅇ(112.162)	03.22	1337	27
446705	일반	"젠슨 황이 GTC서 입은 가죽 재킷은 1200만원짜리" [6]	니지카엘	03.22	2151	26
446699	일반	"국내 연구진 세계최초..", "국내 대기업 협력 ai스타트업 뜬다.." [5]	ㅇㅇ(218.147)	03.22	375	12
446595	일반	진짜 역사적인 순간에 서있는거 같음 [10]	ㅇㅇ(175.209)	03.22	1689	25
446576	일반	알트만, 재차 GPT4는 형편없는 수준이다 발언 [9]	ㅇㅇ(218.147)	03.22	2254	28
446558	일반	뉴럴링크 현재 원숭이의 시력 복원 가능한 상태라 밝혀 [36]	ㅇㅇ(125.142)	03.22	3427	74