메타, '라마 3' 대형 버전 매개변수는 1400억개 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 메타, '라마 3' 대형 버전 매개변수는 1400억개

ㅇㅇ(182.230) 2024.04.10 23:05:56

조회 1850 추천 21 댓글 7

https://www.aitimes.com/news/articleView.html?idxno=158693

메타, 다음 주 '라마 3' 소형 버전 출시...

메타의 오픈 소스 대형언어모델(LLM) '라마 3'가 3가지 버전으로 출시된다. 그중 소형 버전 2개는 다음 주 출시될 것으로 예측됐다.디인포메이션은 8일(현지시간) 익명의 메타 직원을 인용, 라마 3의 소형 버전 2가지가 다음 주 출시될 것이라고 보도했다.이에 따르면 가장 작은 모델은 모바일 기기를 위한 온디바이스 AI용으로 알려졌다. 이 모델은 메타의 '레이밴 스마트안경'에 탑재, AI 비서 기능을 지원할 예정이다.또 중간 크기의 모델은 최근 트렌드에 맞춰 저렴한 실행 비용과 빠른 실행 속도에 초점을 맞췄다. 두 모델의 매개변수

www.aitimes.com

7ce88870bc8107f739ef81e040ee776b6958dd64a2a48e623d7ba55162e96d8b0339

메타의 오픈 소스 대형언어모델(LLM) '라마 3'가 3가지 버전으로 출시된다. 그중 소형 버전 2개는 다음 주 출시될 것으로 예측됐다.

디인포메이션은 8일(현지시간) 익명의 메타 직원을 인용, 라마 3의 소형 버전 2가지가 다음 주 출시될 것이라고 보도했다.

이에 따르면 가장 작은 모델은 모바일 기기를 위한 온디바이스 AI용으로 알려졌다. 이 모델은 메타의 '레이밴 스마트안경'에 탑재, AI 비서 기능을 지원할 예정이다.

또 중간 크기의 모델은 최근 트렌드에 맞춰 저렴한 실행 비용과 빠른 실행 속도에 초점을 맞췄다. 두 모델의 매개변수는 구체적으로 알려지지 않았다.

하지만 올여름 출시할 가장 큰 버전은 매개변수가 1400억개(140B) 이상으로 알려졌다. 이는 '라마 2'의 최대 2배에 달하는 크기다.

지난해 7월 출시된 '라마 2' 역시 3가지 버전으로 출시됐으며, 매개변수는 각각 700억개(70B)와 130억개(13B), 70억개(7B)로 구분됐다.

특히 라마 3 140B는 'GPT-4'의 성능을 따라잡는 데 초점을 맞춘 것으로 알려졌다. 따라서 텍스트를 넘어 이미지까지 이해하는 멀티모달모델(LMM)이라는 설명이다. 반면 소형 모델 2가지는 멀티모달은 아닌 것으로 확인됐다.

또 메타는 기존 라마 2가 너무 보수적이라고 판단, 라마 3는 논쟁의 여지가 있는 질문에도 개방적으로 대답할 수 있도록 조정한 것으로 알려졌다. 이는 라마 3가 페이스북이나 인스타그램 등을 통해 서비스 중인 메타 AI 챗봇에 작용하기 때문이다.

한편 크리스 콕스 메타 최고 제품 책임자도 런던에서 열린 행사를 통해 라마 3 출시를 계획 중이라고 확인했다.

그는 "다음 달 내, 실제로 더 빠른 시간 내에, 바라건대 매우 짧은 기간 내에 라마 3의 새로운 제품군을 출시하길 바라고 있다"라며 "올해 앞으로 다양한 기능을 갖춘 다양한 모델이 출시될 예정이며 곧 시작될 것"이라고 말했다.

하지만 '제미나이' 사태 이후 대부분 회사가 이미지 생성 기능 노출을 꺼리는 추세에 맞춰, 메타 역시 이미지 생성 기능 포함에는 신중한 모습을 보였다.

콕스 책임자는 "이미지 생성은 정확성과 안전을 위한 충분한 테스트가 매우 중요하다"라며 이미지 생성 도구인 '에뮤(Emu)'를 포함하지 않았다고 밝혔다.

고정닉 8

원본 첨부파일 1

158693_170756_3638.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
457254	일반	개념글 빨리 올려라 시발 ㅋㅋ [10]	lightvector	04.19	1858	29
457232	일반	GPT4 초 멸망ㅋㅋㅋㅋ [2]	ㅇㅇ(123.100)	04.19	2608	22
457213	정보/ 정보/뉴스	라마3 벤치마크 [16]	ㅇㅇ(211.59)	04.19	1991	22
457172	일반	라마3 70b [5]	특술람	04.18	1749	28
457168	일반	르쿤햄 오늘도 호감 1스택 적립 [5]	ㅇㅇ(218.158)	04.18	1368	27
457165	정보/ 정보/뉴스	라마3 발표 [15]	특술람	04.18	2710	34
457122	일반	국내는 솔직히 병신맞음 [4]	ㅇㅇ(118.235)	04.18	1129	18
457091	정보/ 정보/뉴스	MS-오픈AI, EU의 합병 조사 피할 듯..."단순 투자로 결론" [2]	ㅇㅇ(182.230)	04.18	960	17
457057	일반	[충격]세계 최초 뇌영상 기술 조작 논란 [28]	xdxd333	04.18	2851	24
456979	일반	근데 진짜 빅이슈면 이미 해외에서부터 ㄹ들갑떨긴 함 [4]	ㅇㅇ(115.139)	04.18	1028	22
456973	일반	념글 이거 존나웃기네 씨발 ㅋㅋㅋㅋㅋ [10]	ㅇㅇ	04.18	3459	31
456946	정보/ 정보/뉴스	삼성전자, 업계 최고 속도 LPDDR5X D램 개발 [4]	ㅇㅇ(182.230)	04.18	1894	24
456944	일반	싱글벙글 보스턴 다이나믹스 로봇 근황.gif [28]	ㅇㅇ	04.18	3069	29
456934	정보/ 정보/뉴스	피터 틸 "AI가 작가보다 수학 덕후들에게 '더 나쁠 것'" [18]	특술람	04.18	2874	26
456923	정보/ 정보/뉴스	닉보스트롬 인류미래연구소 문 닫음 [4]	특술람	04.18	1033	20
456922	정보/ 정보/뉴스	인텔, 세계 최대의 뉴로모픽 시스템 '할라 포인트' 구축 [9]	ㅇㅇ(182.230)	04.18	1521	28
456913	정보/ 정보/뉴스	새로운 아틀라스 로봇에 대해 CEO와의 Q&A [11]	ㅇㅇ	04.18	1790	23
456890	일반	얀 르쿤의 AI관련 의견에서 감안해야 하는 점은 [33]	ㅇㅇ(218.48)	04.18	1852	31
456828	일반	뉴아틀라스 떳다(링크) [43]	ㅇㅇ(121.168)	04.17	2686	30
456817	정보/ 정보/뉴스	Daniel Kokotajilo, OpenAI 퇴직 [6]	ㅇㅇ(125.191)	04.17	1150	20
456805	정보/ 정보/뉴스	생성AI가 잡아낸 진단기록 오류, 영상의학과 전문의 못지 않다 [3]	ㅇㅇ(182.230)	04.17	1201	22
456804	정보/ 정보/뉴스	"구글도 AI 슈퍼컴퓨터에 1000억달러 이상 투자할 것" [3]	ㅇㅇ(182.230)	04.17	1005	23
456803	정보/ 정보/뉴스	"AI 논문 표절 심각"…수백만명이 논문 작성에 생성 AI 활용 [5]	ㅇㅇ(182.230)	04.17	1751	16
456800	정보/ 정보/뉴스	MS, UAE G42에 2조 투자로 이사회 합류..."중국 완전 차단" [2]	ㅇㅇ(182.230)	04.17	958	16
456776	일반	한국은 알엔디를 너무 무작정 부풀렸음 [23]	ㅇㅇ(121.168)	04.17	1868	23
456768	정보/ 정보/뉴스	한국, AI 특허 수는 1위지만 작년 개발 모델 없고 인재 유출 [18]	니지카엘	04.17	1126	10
456763	정보/ 정보/뉴스	예쁜꼬마선충과 인간의 뇌 부피 간접 비교 [19]	ㅇㅇ(182.230)	04.17	1970	16
456734	정보/ 정보/뉴스	뇌에 '바코드' 새겨 일시 기억 저장한다 [14]	ㅇㅇ(182.230)	04.17	2589	20
456703	정보/ 정보/뉴스	TransformerFAM: 피드백 주의는 작업 메모리입니다. [12]	특술람	04.17	1019	14
456679	AI창 AI창작	AI야 케이크 위에 앉은 미소녀 그려줘 [17]	ㅇㅇ	04.17	1815	14
456642	일반	펌) 생식기 실험을 통한 AI 인지능력 테스트 [19]	agi2024	04.17	2907	27
456611	일반	개시발 근들갑 병신 원툴새기들 트위터 똥글은 그만퍼와라 [16]	ㅇㅇ(14.45)	04.17	1980	49
456604	일반	념글 레데리2 클리어 근들갑 같은데 [13]	ㅇㅇ(221.160)	04.16	2406	22
456599	정보/ 정보/뉴스	보스턴 다이내믹스 - 유압식 아틀라스와의 작별 [26]	SGG	04.16	2282	19
456584	정보/ 정보/뉴스	MetaAI 퇴사자, 새로운 회사 설립 [2]	ㅇㅇ(118.235)	04.16	1815	19
456567	일반	LLM 훈련비용 7년 새 20만배 이상 증가 [14]	ㅇㅇ(125.142)	04.16	1965	14
456565	정보/ 정보/뉴스	어도비, 동영상 편집기 '프리미어'에 '소라' 등 결합 예정 [17]	ㅇㅇ(182.230)	04.16	1724	23
456561	정보/ 정보/뉴스	레카, 새로운 LMM '코어' 출시..."일부 성능서 GPT-4 능가" [8]	ㅇㅇ(182.230)	04.16	1310	16
456559	정보/ 정보/뉴스	오픈AI, 1년 만에 직원수 2배 증가..."올말에는 1500명 넘을 것 [7]	ㅇㅇ(182.230)	04.16	1553	17
456558	정보/ 정보/뉴스	지난해 전 세계 파운데이션 모델 149개 출시 [7]	ㅇㅇ(182.230)	04.16	939	13
456557	일반	네옴시티 완전 망한거 알고있냐? [40]	빅모드	04.16	3241	31
456554	정보/ 정보/뉴스	"지금까지 리뷰한 최악의 제품"...Ai 핀 리뷰로 떠들썩 [10]	ㅇㅇ(182.230)	04.16	1730	11
456553	정보/ 정보/뉴스	"챗GPT로 게임 '레드 데드 리뎀션 2' 클리어 [14]	ㅇㅇ(182.230)	04.16	2332	15
456476	일반	할아버지가 특이점 와봤자 다른게 없다고한다. [21]	ㅇㅇ(218.233)	04.16	1112	21
456470	일반	"박사 과정에서 수십억 년이 걸렸을 일을 우리는 1년 만에 해냈습니다" [13]	ㅇㅇ(221.157)	04.16	1318	13
456463	정보/ 정보/뉴스	인터넷속도 176만배 빠르게 하는 기술 개발됨 [47]	ㅇㅇ(210.178)	04.16	2477	17
456461	일반	인디게임 개발자로써, GPT는 충분히 가치가 있다. [19]	ㅇㅇ(116.34)	04.16	2560	24
456443	일반	머스크 스페샬 [8]	ㅇㅇ(222.101)	04.16	632	11
456425	일반	3대 십새끼 어록 모음 [12/1]	ㅇㅇ	04.16	2306	34
456424	정보/ 정보/뉴스	압축은 지능을 선형적으로 나타냅니다. [4]	특술람	04.16	705	23