• 
• MoE + Mamba + Transformer 구현
• 12B 활성 매개변수 및 총 52B 매개변수 (MoE)
• 256K 컨텍스트 길이 지원
• 단일 80GB GPU에 최대 140K 컨텍스트 토큰 수용 가능
• 생성속도 트랜스포머 대비 3배 빠름
• 일부는 Mamba 확장을 실험했지만 누구도 3B 매개변수 이상으로 확장하지 않았습니다. Jamba는 프로덕션급 규모에 도달한 최초의 하이브리드 아키텍처입니다.
  

MMLU 67.4%

HellaSwag 87.1% 등

(*LLaMa2 70B MMLU 69.8%)

Instruction finetuning이나 채팅폼에 맞게 미세조정, 정렬되지 않은 기본 모델인 점을 감안하면

꽤나 괜찮은 성적으로 보임

Mamba가 스케일 더 높였을 때도 잘 작동하나보네

메모리효율성 덕분에 컨텍스트 토큰도 엄청나게 많이 쓸 수 있는 것 같고

유망하다.

Jamba는 최첨단 하이브리드 SSM-Transformer LLM입니다. 이는 기존 Transformer 기반 모델에 비해 처리량 향상을 제공하는 동시에 가장 일반적인 벤치마크에서 해당 크기 등급의 주요 모델보다 성능이 뛰어나거나 일치합니다.

Jamba는 최초의 프로덕션 규모 Mamba 구현으로, 흥미로운 연구 및 적용 기회를 열어줍니다. 이 초기 실험에서는 고무적인 이점을 보여주지만 향후 최적화 및 탐색을 통해 이러한 이점이 더욱 향상될 것으로 기대합니다.