최초의 프로덕션 규모 Mamba, Jamba 공개 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 최초의 프로덕션 규모 Mamba, Jamba 공개

ㅇㅇ(123.100) 2024.03.28 23:30:31

조회 1479 추천 33 댓글 12

MoE + Mamba + Transformer 구현
12B 활성 매개변수 및 총 52B 매개변수 (MoE)
256K 컨텍스트 길이 지원
단일 80GB GPU에 최대 140K 컨텍스트 토큰 수용 가능
생성속도 트랜스포머 대비 3배 빠름
일부는 Mamba 확장을 실험했지만 누구도 3B 매개변수 이상으로 확장하지 않았습니다. Jamba는 프로덕션급 규모에 도달한 최초의 하이브리드 아키텍처입니다.

MMLU 67.4%

HellaSwag 87.1% 등

(*LLaMa2 70B MMLU 69.8%)

7beb8073b2856ba23fe8d4e544d3276596908d2d733385241c1d52ade90209fae88b1dcc458f164b3d210a4d4a96fc002f2e7e3e8f3b45e9

Instruction finetuning이나 채팅폼에 맞게 미세조정, 정렬되지 않은 기본 모델인 점을 감안하면

꽤나 괜찮은 성적으로 보임

Mamba가 스케일 더 높였을 때도 잘 작동하나보네

메모리효율성 덕분에 컨텍스트 토큰도 엄청나게 많이 쓸 수 있는 것 같고

유망하다.

Jamba는 최첨단 하이브리드 SSM-Transformer LLM입니다. 이는 기존 Transformer 기반 모델에 비해 처리량 향상을 제공하는 동시에 가장 일반적인 벤치마크에서 해당 크기 등급의 주요 모델보다 성능이 뛰어나거나 일치합니다.

Jamba는 최초의 프로덕션 규모 Mamba 구현으로, 흥미로운 연구 및 적용 기회를 열어줍니다. 이 초기 실험에서는 고무적인 이점을 보여주지만 향후 최적화 및 탐색을 통해 이러한 이점이 더욱 향상될 것으로 기대합니다.

7fee9e36ebd518986abce8954180746dd7

고정닉 13

원본 첨부파일 3본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2856	설문	주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는?	운영자	24/04/29	-	-
452754	일반	나 이상한게 보여.. [28]	ㅇㅇ(1.244)	04.04	4747	31
452727	정보	오픈ai가 투자한 자율주행 개발 회사가 운영을 중단함 [22]	ㅇㅇ(211.59)	04.04	3640	22
452596	일반	美 연구진 “챗GPT4, 임상 추론에서 의사보다 뛰어난 능력 보여” [61]	ㅇㅇ(1.239)	04.04	3574	21
452509	정보	마소 기록상 가장 신뢰할 수 있는 논리적 큐비트를 시연 [17]	ㅇㅇ	04.03	3411	23
452500	정보	Stable Audio 2.0 발표 [20]	ㅇㅇ(125.191)	04.03	3217	24
452470	정보	삼성전자, 오픈AI 진영 합류 결정… AI 반도체 ‘드림팀’ 꾸린다 [54]	ㅇㅇ(211.59)	04.03	4541	45
452260	정보	로건GPT, 구글 제미니팀 입사 [5]	ㅇㅇ(123.100)	04.03	2983	22
452246	정보	Layer-Pruning & QLoRA를 활용한 모델 경량화 [3]	ㅇㅇ(182.230)	04.03	1314	18
452199	정보	레딧 펌) 1.58비트 3진법 LLM 언어모델 오픈소스 공개 [12]	ㅇㅇ	04.02	2645	19
452169	정보	"2년 내 LLM 학습 데이터 고갈... AI 발전 중단될 것" [40]	ㅇㅇ(182.230)	04.02	4985	28
452168	정보	구글, LLM 답변을 검색으로 확인하는 'SAFE' 개발 [7]	ㅇㅇ(182.230)	04.02	1717	18
452167	정보	로봇 경찰견, 사람 대신 총 맞아..."인명 피해 방지" [23]	ㅇㅇ(182.230)	04.02	2417	23
452163	정보	아마존, LLM '올림푸스' 올여름 출시... 매개변수는 예상 미만 [6]	ㅇㅇ(182.230)	04.02	1382	17
452162	정보	오픈 소스 ‘미스트랄 7B v0.2’ 출시..."라마 2 능가" [3]	ㅇㅇ(182.230)	04.02	1203	17
452155	정보	애플, 화면 맥락을 보고 이해할 수 있는 AI 개발 [8]	ㅇㅇ(182.230)	04.02	2307	19
452114	일반	특갤이 openAI 지지하는 갤인 이유 [39]	ㅇㅇ(175.206)	04.02	3122	45
452094	일반	??? : ai 작곡으로 유행시킨거 하나라도 갖고와라 [28]	ㅇㅇ(223.39)	04.02	3986	33
452024	정보	뇌를 모방한 AI 알고리즘을 찾아서, Hopfield 네트워크 [11]	ㅇㅇ(182.230)	04.02	1980	23
452018	정보	IBM의 최신 뉴로모픽 칩 NorthPole [7]	ㅇㅇ(182.230)	04.02	1623	27
451975	정보	MIT, LLM 속 지식 저장위치 찾아내는 방법 발견, 환각문제 개선가능 [18]	니지카엘	04.02	2267	23
451963	일반	근데 이미 본 떡밥이여도 굉장히 치명적인데? [4]	ㅇㅇ(220.93)	04.02	1686	17
451923	토의	특이점을 위해서는 기술발전은 체감되지 못해야한다 [69]	ㅇㅇ(1.230)	04.02	4020	66
451905	정보	기존 광섬유를 활용하여 450만배 빨라진 데이터 전송 성공 [38]	은바다	04.02	2986	22
451888	일반	작곡가 김형석 "suno 로 만든곡이 공모전 1위" ㄷㄷ [28]	ㅇㅇ	04.02	3474	28
451881	일반	진짜 특갤 정보차이 너무 심한데 [25]	ㅇㅇ	04.02	3840	32
451845	일반	정전갤된 김에 알트만의 포지션(?)을 알아보자 [34]	ㅇㅇ(1.230)	04.01	2573	25
451840	정보	DARPA, "발전속도가 느려지고 있다" [36]	ㅇㅇ(222.120)	04.01	4532	26
451792	정보	우리은하 중심 블랙홀 이미지 공개 [9]	ㅇㅇ(125.142)	04.01	2927	19
451661	일반	AI 아티스트 이아 싱글 컨셉 공개 [17]	ㅇㅇ(112.163)	04.01	3490	22
451633	정보	딥마인드CEO “AI 투자 광풍이 과장과 사기 불러” [13]	특술람	04.01	2603	24
451607	정보	OpenAI, 아시아 최초의 거점 일본에서 서비스 [12]	특술람	04.01	3152	21
451558	일반	클로드 이새끼 뭐임 [37]	ㅇㅇ	04.01	4260	37
451538	정보	인류 역사상 AI가 인간 살상한 첫 전투 벌어졌다 [39]	ㅇㅇ	04.01	3977	33
451509	일반	와 미친.. gpt5 진짜 이정도라고? 혁명 수준인데? [43]	ㅇㅇ	04.01	6672	30
451505	정보	최근들어 나타나는 Ai기술의 공통점 [24]	테이리	03.31	3228	35
451502	일반	샘 알트만이 말하는 GPT5 성능 [35]	내복맨	03.31	5622	49
451477	일반	샘 알트만 인터뷰 [7]	ㅇㅇ(222.119)	03.31	2914	31
451392	정보	하루 만에 오픈소스 최고 성능 넘어...삼바노바, MoE 방식 모델 출시 [1]	니지카엘	03.31	1395	17
451161	정보	짐 켈러 : 반도체 물리적 한계는 극복 가능 [34]	ㅇㅇ	03.31	4497	27
451218	일반	sora 새영상 미쳤네 [17]	ㅇㅇ	03.31	2706	22
451217	정보	기억은 DNA를 부수고 수리하면서 만들어진다.nature [16]	ㅇㅇ(182.230)	03.31	2766	24
451208	정보	목재 잉크로 3D 프린팅된 목재 제품 [3]	ㅇㅇ(182.230)	03.31	772	14
451207	정보	개인용 '투명 보호막', 70달러 미만부터 판매 시작 [9]	ㅇㅇ(182.230)	03.31	1574	18
451199	정보	다리 6개 달린 쥐 배아 만들었다 [6]	ㅇㅇ(182.230)	03.31	1059	21
451016	정보	달에 철도를 건설한다.darpa [17]	ㅇㅇ(182.230)	03.30	3111	28
451051	정보	KBS 짐 켈러 3/29일자 최신 인터뷰 [16]	ㅇㅇ	03.30	1871	20
451126	역노화	노화된 면역체계 젋게 만드는 법 찾았다 [23]	ㅇㅇ	03.31	1890	25
451030	일반	로이터 Open AI 다음모델 내년초 출시 기사 수정되었음. [14]	ㅇㅇ(121.128)	03.30	2960	21
451027	정보	MS 코파일럿 AI를 위해서는 40TOPS 이상의 NPU가 필요 [1]	ㅇㅇ(182.230)	03.30	1359	14
451026	일반	Gpt5 내년이라고?ㅋㅋㅋ [2]	ㅇㅇ	03.30	2241	23