임베딩 모델은 IR 및 RAG와 같은 최신 NLP 애플리케이션에서 중추적인 역할을 합니다. LLM의 컨텍스트 제한이 100만 개 토큰을 넘어섰지만 임베딩 모델은 여전히 ​​8,000개 토큰을 초과하지 않는 좁은 컨텍스트 창으로 제한되어 법적 계약과 같은 긴 입력이 필요한 애플리케이션 시나리오를 자제합니다. 이 문서에서는 기존 임베딩 모델의 컨텍스트 창 확장을 탐색하여 추가 교육 없이도 한계를 32k로 확장합니다. 먼저, 새로 구축된 LongEmbed 벤치마크에서 긴 컨텍스트 검색을 위한 현재 임베딩 모델의 성능을 검사합니다. LongEmbed는 2개의 합성 작업과 신중하게 선택된 4개의 실제 작업으로 구성되어 있으며, 다양한 길이의 문서와 분산된 대상 정보를 특징으로 합니다. 벤치마킹 결과는 이러한 모델의 개선 여지가 크다는 것을 강조합니다. 이를 기반으로 한 포괄적인 실험에서는 위치 보간과 같은 훈련이 필요 없는 컨텍스트 창 확장 전략이 원래 컨텍스트가 512 또는 4k 이상인지에 관계없이 기존 임베딩 모델의 컨텍스트 창을 여러 배로 효과적으로 확장할 수 있음을 보여줍니다. 또한 APE(절대 위치 인코딩)를 사용하는 모델의 경우 짧은 입력에 대한 원래 동작을 엄격하게 유지하면서 주목할만한 성능 향상을 얻기 위해 추가 미세 조정 가능성을 보여줍니다. RoPE(회전 위치 임베딩)를 사용하는 모델의 경우 NTK 및 SelfExtend와 같은 RoPE 관련 방법을 사용할 때 상당한 향상이 관찰되었으며 이는 컨텍스트 창 확장에 있어 APE보다 RoPE가 우수함을 나타냅니다. 향후 연구를 촉진하기 위해 우리는 LongEmbed 벤치마크와 함께 E5-Base-4k 및 E5-RoPE-Base를 출시합니다.