언어 모델(LM)은 텍스트 생성, 번역, 감정 분석 등 자연어 처리(NLP)의 핵심 요소로 자리잡고 있다. 이러한 모델들은 정확하고 효율적으로 작동하기 위해 방대한 양의 훈련 데이터가 필요하다. 하지만 데이터셋의 품질과 큐레이션은 모델 성능에 결정적인 영향을 미친다. 이 분야는 모델의 효과를 높이기 위해 데이터 수집 및 준비 방법을 개선하는 데 초점을 맞추고 있다.


언어 모델 개발의 주요 과제 중 하나는 훈련 데이터셋을 개선하는 것이다. 고품질 데이터셋은 다양한 작업에서 모델이 잘 일반화할 수 있도록 하는 데 필수적이다. 하지만 이러한 데이터셋을 만드는 것은 복잡한 작업으로, 관련 없는 또는 유해한 콘텐츠를 필터링하고 중복을 제거하며 가장 유용한 데이터 소스를 선택해야 한다.


기존의 데이터셋 큐레이션 방법은 주로 휴리스틱 기반 필터링, 중복 제거 및 광범위한 웹 크롤링에서 데이터를 수집하는 방식이다. 이러한 방법들은 어느 정도 성공을 거두었지만, 표준화된 벤치마크가 부족해 언어 모델 성능 평가의 일관성이 떨어진다. 이로 인해 가장 효과적인 데이터 큐레이션 전략을 결정하기 어려워지고, 이는 분야의 발전을 저해한다.


애플, 워싱턴 대학교 및 여러 기관의 연구원들은 이러한 문제를 해결하기 위해 데이터컴프(DataComp) 언어 모델(DCLM)을 도입했다. 최근 연구진은 Hugging Face 플랫폼에서 DCIM 모델과 데이터셋을 오픈소스로 공개했다. 이번 공개에는 DCLM-7B, DCLM-1B, dclm-7b-it, DCLM-7B-8k, dclm-baseline-1.0, dclm-baseline-1.0-parquet 등이 포함됐다. 이 혁신적인 테스트베드는 대규모 데이터셋을 통해 언어 모델을 개선하기 위한 통제된 실험을 가능하게 한다. DCLM 프레임워크는 Common Crawl에서 수집한 240조 개의 토큰, OpenLM 프레임워크 기반의 효과적인 프리트레이닝 레시피, 그리고 53개의 다운스트림 평가를 포함하는 종합적인 코퍼스를 제공한다. 이를 통해 데이터셋 큐레이션에 대한 일관된 접근 방식을 제공해 일관되고 비교 가능한 실험을 가능하게 한다.


DCLM은 연구자들에게 구조화된 워크플로우를 제공한다. 참가자들은 412M에서 7B 파라미터에 이르는 다양한 규모를 선택할 수 있으며, 중복 제거, 필터링 및 데이터 혼합과 같은 데이터 큐레이션 전략을 실험할 수 있다. 연구자들은 표준화된 훈련 레시피와 특정 하이퍼파라미터를 사용해 큐레이션된 데이터셋으로 모델을 훈련시킬 수 있으며, 이러한 모델의 성능은 일련의 다운스트림 작업에서 평가된다. 이를 통해 데이터셋의 품질을 명확히 측정할 수 있다. 이러한 체계적인 접근 방식은 가장 효과적인 데이터 큐레이션 전략을 식별하는 데 도움이 된다.


DCLM의 도입은 언어 모델 훈련에 상당한 개선을 가져왔다. 예를 들어, DCLM을 사용해 생성된 기본 데이터셋은 7B 파라미터 언어 모델을 처음부터 훈련시키는 데 사용됐다. 이 모델은 MMLU 벤치마크에서 5-shot 정확도 64%를 달성했으며, 이는 이전의 최고 수준의 오픈 데이터 언어 모델인 MAP-Neo보다 6.6%포인트 향상된 수치다. 또한 DCLM 기본 모델은 Mistral-7B-v0.3 및 Llama 3 8B와 비교할 만한 성능을 보여줬으며, 이는 상당히 더 적은 컴퓨팅 자원을 사용했다.


DCLM 프레임워크의 효과는 확장성에서도 확인할 수 있다. 연구진은 Common Crawl에서 수집한 240조 개의 토큰을 사용해 DCLM-Pool이라는 코퍼스를 통해 400M에서 7B 파라미터를 초과하는 다양한 규모의 실험을 수행했다. 이러한 실험은 고품질 훈련 세트를 구성하는 데 있어 모델 기반 필터링의 중요한 역할을 강조했다. 엄격한 과정을 통해 생성된 DCLM 기본 데이터셋은 RefinedWeb 및 RedPajama와 같은 다른 오픈 소스 데이터셋을 다양한 평가에서 지속적으로 능가했다.


연구팀은 또한 다양한 데이터 큐레이션 기술의 영향을 탐구했다. 이들은 resiliparse 및 trafilatura와 같은 텍스트 추출 방법을 비교했으며, 이러한 접근 방식이 Common Crawl의 사전 추출된 텍스트보다 다운스트림 성능을 크게 개선하는 것을 발견했다. 팀은 여러 모델 기반 품질 필터링 전략을 조사했으며, 결국 fastText OH-2.5 + ELI5 분류기가 가장 효과적이라는 결론을 내렸다. 이는 정확도에서 상당한 향상을 제공했다.


결론적으로, DCLM의 도입은 연구자들이 통제된 실험을 통해 언어 모델을 개선하기 위한 가장 효과적인 전략을 식별할 수 있도록 표준화되고 체계적인 접근 방식을 제공한다. DCLM 프레임워크는 데이터셋 품질에 대한 새로운 기준을 설정하며, 적은 컴퓨팅 자원으로도 성능을 크게 향상시킬 수 있는 잠재력을 보여준다.

지피티매거진_로고.png