https://arxiv.org/abs/2405.05254

https://github.com/microsoft/unilm/tree/master/YOCO

unilm/YOCO at master · microsoft/unilm

Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities - microsoft/unilm

github.com

키-값 쌍을 한 번만 캐시하는 대규모 언어 모델을 위한 디코더-디코더 아키텍처인 YOCO를 소개합니다. 이는 두 가지 구성요소, 즉 셀프 디코더 위에 크로스 디코더가 적층되어 구성됩니다. 셀프 디코더는 크로스 어텐션을 통해 크로스 디코더에서 재사용되는 전역 키-값(KV) 캐시를 효율적으로 인코딩합니다. 전체 모델은 디코더 전용 Transformer처럼 동작하지만 YOCO는 한 번만 캐시합니다. 이 디자인은 GPU 메모리 요구량을 크게 줄이면서도 전 세계적으로 관심을 받을 수 있는 능력을 유지합니다. 또한 계산 흐름을 통해 최종 출력을 변경하지 않고도 사전 채우기부터 조기 종료까지 가능하므로 사전 채우기 단계 속도가 크게 향상됩니다. 실험 결과는 YOCO가 모델 크기 및 훈련 토큰 수를 확장하는 다양한 설정에서 Transformer에 비해 유리한 성능을 달성한다는 것을 보여줍니다. 또한 거의 완벽한 바늘 검색 정확도로 YOCO를 1M 컨텍스트 길이로 확장합니다. 프로파일링 결과에 따르면 YOCO는 컨텍스트 길이와 모델 크기에 걸쳐 추론 메모리, 사전 채우기 대기 시간 및 처리량을 수십 배로 향상시킵니다. 코드는 https URL 에서 사용할 수 있습니다 .