https://www.aitimes.com/news/articleView.html?idxno=158943

메타, '라마 3' 소형 버전 출시...머스크

메타가 오픈 소스 대형언어모델(LLM) ‘라마 3’ 중 소형 버전 2개를 공개했다. 이에 대해 일론 머스크 테슬라 CEO는 X(트위터)에 “나쁘지 않다(Not bad)”라고 평가했다.메타가 18일(현지시간) 라마 3 시리즈 중 매개변수 80억개(8B)와 700억개(70B)의 소형 버전을 공개했다. 메타는 매개변수 4000억개(400B)의 가장 큰 버전도 개발하고 있다고 밝혔다.라마 3는 사전 훈련과 미세조정 과정을 고도화, 성능이 대폭 향상됐다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했

www.aitimes.com

메타가 오픈 소스 대형언어모델(LLM) ‘라마 3’ 중 소형 버전 2개를 공개했다. 이에 대해 일론 머스크 테슬라 CEO는  X(트위터)에 “나쁘지 않다(Not bad)”라고 평가했다.

메타가 18일(현지시간) 라마 3 시리즈 중 매개변수 80억개(8B)와 700억개(70B)의 소형 버전을 공개했다. 메타는 매개변수 4000억개(400B)의 가장 큰 버전도 개발하고 있다고 밝혔다.

라마 3는 사전 훈련과 미세조정 과정을 고도화, 성능이 대폭 향상됐다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다.

특히 15조개 이상의 토큰을 동원, 학습량이 라마 2 대비 7배 이상 많으며 코드량은 4배 더 많다. 다만 데이터셋은 공개하지 않았다.

이후 미세조정에는 일상적인 질문부터 과학·기술·공학·수학(STEM), 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용됐다. 훈련 규모를 확대하는 것은 물론, 고도화된 ‘지시 미세조정(instruction fine-tuning)’ 과정도 진행했다. 

또 라마 3는 라마 2보다 2배 큰 8000토큰의 컨텍스트 길이를 지원한다.

오픈 소스라는 점을 감안, 안전하고 책임감 있는 개발과 사용을 위한 다양한 안전장치도 마련했다고 밝혔다. 전문가와 자동화된 도구를 활용한 레드팀 테스트를 통해 부적절한 답변의 가능성을 최소화했다고 전했다.

메타는 이번에 공개한 두가지 크기의 라마 3 버전이 다양한 벤치마크 테스트에서 구글의 '젬마'나 '제미나이 프로 1.5', 미스트랄 AI의 '미스트랄 7B', 엔트로픽의 '클로드 3 소네트'와 같은 모델들을 능가한다고 주장했다.

라마 3는 객관식 문제(MMLU)와 코딩(HumanEval)에는 강하지만, 70B의 경우 수학 단어 문제(MATH) 해결이나 대학원생 수준의 객관식 문제(GPQA)에서는 제미나이 프로 1.5에 떨어졌다. 

특히 인간 선호도에서 경쟁 모델을 앞서는 것으로 알려졌다.

조언 요청, 브레인스토밍, 분류, 비공개 질문 답변, 코딩, 창의적인 글쓰기, 추출, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용 사례를 포함한 1800개 프롬프트 구축 데이터셋에 대한 인간 평가에서 오픈AI의 'GPT-3.5', 미스트랄 7B, 클로드 3 소네트보다 높게 평가됐다.

허깅페이스에 따르면, 라마 3는 공개 후 몇시간만에 LLM 리더보드 1위에 오르며 역대 가장 빠른 1위 달성 기록을 세웠다.

또 이전 라마 1과 2를 기반으로 3만개 이상의 새로운 모델이 출시됐으며, 라마 2 모델은 1700억번 다운로드됐다는 통계치도 공개해 눈길을 모았다. 

다만 라마 3는 완전한 오픈 소스가 아니다. 연구용 및 상업용으로 모두 사용할 수 있지만, 개발자가 다른 생성 모델을 훈련하기 위해 모델을 사용하는 것을 금지한다.

한편 메타는 이날 최신 라마 3로 구동되는 멀티모달 챗봇 ‘메타 AI(Meta AI)’를 페이스북, 인스타그램, 왓츠앱, 메신저 등에 출시한다고 밝혔다. 

지난해 9월 미국에서 베타 버전으로 선보인 지 7개월 만이다. 메타는 현재 호주, 캐나다, 가나, 자메이카, 말라위, 뉴질랜드, 나이지리아, 파키스탄, 싱가포르, 남아프리카공화국, 우간다, 잠비아, 짐바브웨 등 12개국 이상에서 챗봇을 확대하고 있다. 한국은 이번 대상에서 빠졌다.

메타 AI는 SNS 플랫폼 앱 검색창에 내장, 이용자가 쉽게 질문하고 답을 구할 수 있다. 예를 들어 이용자들이 레스토랑 추천을 요청하고, 휴가를 계획하거나 새 아파트를 장식하는 데 아이디어를 줄 수 있다.

또 메타 AI는 현재 마이크로소프트(MS)의 '빙'과 구글의 실시간 검색 결과를 통합하는 유일한 챗봇이다.

이미지 생성 기능도 업그레이드했다. 이미지를 애니메이션 GIF로 변환할 수 있으며, 입력 즉시 고해상도 이미지를 빠르게 생성한다.

마크 저커버그 메타 CEO는 "메타 AI는 이용자 질문에 답하고 애니메이션을 만들고 이미지를 생성할 수 있다"라며 "이제 자유롭게 이용할 수 있는 가장 지능적인 AI 어시스턴트라고 믿는다"라고 말했다.

이외에도 메타는 사용자가 SNS를 통하지 않고 독립형 메타 AI 챗봇에 액세스할 수 있도록 새로운 웹사이트도 오픈했다.

한편 일론 머스크 xAI CEO는 이날 얀 르쿤 메타 AI 수석과학자가 X에 공유한 라마 3 출시 소식에 짧은 반응을 남겼다.

이는 라마 3의 성능이 뛰어나다는 것뿐 아니라, 머스크 CEO 역시 오픈 소스를 추구하기 때문이다. 실제로 그는 지난달  '그록-1.0'을 오픈 소스로 공개했다.