메타, '라마 3' 대형 버전 매개변수는 1400억개 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 메타, '라마 3' 대형 버전 매개변수는 1400억개

ㅇㅇ(182.230) 2024.04.10 23:05:56

조회 1849 추천 21 댓글 7

https://www.aitimes.com/news/articleView.html?idxno=158693

메타, 다음 주 '라마 3' 소형 버전 출시...

메타의 오픈 소스 대형언어모델(LLM) '라마 3'가 3가지 버전으로 출시된다. 그중 소형 버전 2개는 다음 주 출시될 것으로 예측됐다.디인포메이션은 8일(현지시간) 익명의 메타 직원을 인용, 라마 3의 소형 버전 2가지가 다음 주 출시될 것이라고 보도했다.이에 따르면 가장 작은 모델은 모바일 기기를 위한 온디바이스 AI용으로 알려졌다. 이 모델은 메타의 '레이밴 스마트안경'에 탑재, AI 비서 기능을 지원할 예정이다.또 중간 크기의 모델은 최근 트렌드에 맞춰 저렴한 실행 비용과 빠른 실행 속도에 초점을 맞췄다. 두 모델의 매개변수

www.aitimes.com

7ce88870bc8107f739ef81e040ee776b6958dd64a2a48e623d7ba55162e96d8b0339

메타의 오픈 소스 대형언어모델(LLM) '라마 3'가 3가지 버전으로 출시된다. 그중 소형 버전 2개는 다음 주 출시될 것으로 예측됐다.

디인포메이션은 8일(현지시간) 익명의 메타 직원을 인용, 라마 3의 소형 버전 2가지가 다음 주 출시될 것이라고 보도했다.

이에 따르면 가장 작은 모델은 모바일 기기를 위한 온디바이스 AI용으로 알려졌다. 이 모델은 메타의 '레이밴 스마트안경'에 탑재, AI 비서 기능을 지원할 예정이다.

또 중간 크기의 모델은 최근 트렌드에 맞춰 저렴한 실행 비용과 빠른 실행 속도에 초점을 맞췄다. 두 모델의 매개변수는 구체적으로 알려지지 않았다.

하지만 올여름 출시할 가장 큰 버전은 매개변수가 1400억개(140B) 이상으로 알려졌다. 이는 '라마 2'의 최대 2배에 달하는 크기다.

지난해 7월 출시된 '라마 2' 역시 3가지 버전으로 출시됐으며, 매개변수는 각각 700억개(70B)와 130억개(13B), 70억개(7B)로 구분됐다.

특히 라마 3 140B는 'GPT-4'의 성능을 따라잡는 데 초점을 맞춘 것으로 알려졌다. 따라서 텍스트를 넘어 이미지까지 이해하는 멀티모달모델(LMM)이라는 설명이다. 반면 소형 모델 2가지는 멀티모달은 아닌 것으로 확인됐다.

또 메타는 기존 라마 2가 너무 보수적이라고 판단, 라마 3는 논쟁의 여지가 있는 질문에도 개방적으로 대답할 수 있도록 조정한 것으로 알려졌다. 이는 라마 3가 페이스북이나 인스타그램 등을 통해 서비스 중인 메타 AI 챗봇에 작용하기 때문이다.

한편 크리스 콕스 메타 최고 제품 책임자도 런던에서 열린 행사를 통해 라마 3 출시를 계획 중이라고 확인했다.

그는 "다음 달 내, 실제로 더 빠른 시간 내에, 바라건대 매우 짧은 기간 내에 라마 3의 새로운 제품군을 출시하길 바라고 있다"라며 "올해 앞으로 다양한 기능을 갖춘 다양한 모델이 출시될 예정이며 곧 시작될 것"이라고 말했다.

하지만 '제미나이' 사태 이후 대부분 회사가 이미지 생성 기능 노출을 꺼리는 추세에 맞춰, 메타 역시 이미지 생성 기능 포함에는 신중한 모습을 보였다.

콕스 책임자는 "이미지 생성은 정확성과 안전을 위한 충분한 테스트가 매우 중요하다"라며 이미지 생성 도구인 '에뮤(Emu)'를 포함하지 않았다고 밝혔다.

고정닉 8

원본 첨부파일 1

158693_170756_3638.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
459053	일반	하사비스, 소라는 넘사벽이다 인정 [3]	ㅇㅇ(218.147)	04.23	1488	26
459050	정보	MS, 삼성·LG·SK·하이닉스 대표 등과 5월 회동...파트너십 구축 [4]	ㅇㅇ(182.230)	04.23	1439	28
459049	일반	갤에 올라왔던 유아의 언어 습득과 LLM 관련... [12]	ㅇㅇ(1.245)	04.23	1038	25
459028	정보	'한줌 흙으로'...친환경 '인간 퇴비장' 미국서 확산 [13]	ㅇㅇ(182.230)	04.23	1265	18
458964	정보	Microsoft, Phi-3 발표 [18]	ㅇㅇ(175.124)	04.23	2968	31
458899	정보	Meta, 퀘스트os 오픈소스 [15]	ㅇㅇ(123.100)	04.23	1671	25
458401	정보	개인별 커스터마이징 가능한 "암백신" 개발중 [16]	noosphere	04.21	2742	27
458785	일반	왜 '특이점이 온다'를 서점에서 팔죠..? [13]	떼껄룩해적단	04.22	3836	37
458759	일반	“K팝 이끌려 선택한 한국行, 하고 싶던 연구 맘껏” 뇌의 심장 제어 메 [8]	천재까마귀	04.22	1778	22
458758	정보	저커버그 "AI 학습 데이터보다 중요한 것은 피드백 루프" [4]	ㅇㅇ(182.230)	04.22	1258	18
458703	일반	골빈해커 피셜 LLM의 미친 발전속도.jpg [10]	lightvector	04.22	668	10
458659	정보	무스타파 술레이만, 인류를 위한 AI 발전 억제 주장 [9]	모브	04.22	632	19
458630	일반	선갤, 앰생몰이 거르고 인생 ㅈㄴ 고달픈 이유 [50]	ㅇㅇ(125.133)	04.22	3131	32
458628	정보	ollama 포스트 : 라마3은 그렇게 검열 심하지 않은 편 [9]	ㅇㅇ	04.22	1406	17
458627	일반	FFF 저 시발련은 전략 바꿈 [9]	ㅇㅇ(123.100)	04.22	441	11
458583	일반	(루머) GPT5는 5~10배 강하며, 기존 벤치마크 무의미 [29]	ㅇㅇ(123.100)	04.22	4034	31
458384	정보	힌튼 "뇌를 여전히 이해하지 못할 가능성" [24]	ㅇㅇ(121.132)	04.21	3731	25
458424	정보	요슈아 벤지오 인터뷰 요약 [3]	ㅇㅇ(220.83)	04.21	1523	22
458428	정보	주커버그 인터뷰 - Llama 3, 100억달러 모델을 오픈소싱한 이유 [13]	니지카엘	04.21	2428	27
458521	정보	中 AGI 도약 위한 하이브리드 광자 AI 칩 개발 [27]	ㅇㅇ	04.22	1583	20
458518	정보	구글, 아마존 등, 조용히 AI 기대치를 낮추는 중 [6]	ㅇㅇ(123.100)	04.22	2817	18
458383	일반	인공지능 찬양하는 노래 하나 만들어봤음 [6]	ㅇㅇ(220.118)	04.21	1441	26
458365	일반	짤 하나 건졌다 [8]	ㅇㅇ(1.11)	04.21	1990	26
458344	AI창 AI창작	NAI)후방 경찰관 개허접 아코 [8]	Samus	04.21	1981	29
458262	정보	영국 작가협회 "생성 AI로 번역가 1/3 실직...40%는 소득 감소" [18]	ㅇㅇ(182.230)	04.21	2558	26
458231	정보	닉 보스트롬 "AI는 실존적 희망의 원천" [10]	ㅇㅇ(125.191)	04.21	2707	31
458219	일반	얀르쿤 피셜 "오픈소스 하자고한건 맞는데 라마3 내가 직접만든건 아님" [22]	ㅇㅇ(59.17)	04.21	3330	22
458194	정보	라마3 챗봇 아레나 근황.. [6]	ㅇㅇ(123.100)	04.21	3439	23
458139	일반	이제 하다하다 야갤 유동 글을 믿네 [8]	Samus	04.20	512	14
458112	정보	라마3 70b 초당 3000토큰 가능 [7]	noosphere	04.20	2290	23
458089	정보	(AI겨울)주커버그는 AGI가 멀었다고 생각합니다 [26]	ㅇㅇ(123.100)	04.20	3965	25
458068	일반	403.. 이게 무슨 숫자인지 아시나요? [9]	ㅇㅇ(59.3)	04.20	2774	31
458049	정보	이너코스모스, 우울증 치료하는 뇌 임플란트 출시...간단한 수술이 장점 [12]	ㅇㅇ(182.230)	04.20	860	23
458019	정보	젠슨 황: 머지않은 미래 적절가격에 휴머노이드 보급 가능 [42]	noosphere	04.20	3247	26
457991	정보	한국이 파운데이션 모델 '0'을 기록한 이유는 [15]	ㅇㅇ(182.230)	04.20	2436	25
457974	일반	르쿤햄) 라마3 성능의 비결 [33]	ㅇㅇ(121.133)	04.20	2828	28
457963	정보	안드레 카파시의 라마3 평가 [11]	ㅇㅇ(182.230)	04.20	2245	26
457932	정보	OpenAI 포럼 강연 - 민주적 인풋 [11]	ㅁㄴㅇㄹ	04.20	293	14
457928	일반	agi 은근슬쩍 내려치기 하는 놈들이 보이네 [27]	ㅇㅇ(1.237)	04.20	2683	24
457897	일반	AGI가 코앞이 아닌거 같은 이유 [78]	ㅇㅇ(1.234)	04.20	4175	35
457875	일반	르쿤게이도 라마3 기여했다 [8]	ㅇㅇ(123.100)	04.20	1706	23
457850	일반	정치충은 막는게 맞음 [29]	ㅇㅇ(106.101)	04.20	1636	29
457839	일반	르쿤이 메타 LLM팀 아님 [7]	ㅇㅇ(125.191)	04.20	1521	20
457752	일반	한 남자의 어록 모음 [37]	agi2024	04.19	3123	53
457748	일반	???: ㅋㅋ 고작 이딴걸로 좋아하네 [13]	agi2024	04.19	3137	23
457691	일반	이미 로펌에서 GPT-4 로 변론서 작성중이라는데 ㅋㅋㅋㅋㅋ [13]	ㅇㅇ(124.49)	04.19	2714	24
457690	일반	역시 르쿤이형이냐 [12]	ㅇㅇ(59.11)	04.19	1963	56
457641	정보	(오피셜) 라마3 곧 추가될 기능들 [15]	ㅇㅇ(123.100)	04.19	2612	27
457620	일반	405B 짜리는 GPT-4 터보 걍 좆바르겠노 ㅋㅋ [8]	ㅇㅇ(123.100)	04.19	2129	20
457615	일반	라마3 한국어로 쓰고 실망 ㄴㄴ [4]	ㅇㅇ(123.100)	04.19	2205	19