https://arxiv.org/abs/2404.01413

웹 규모 데이터에 대한 사전 훈련과 결합된 생성 모델의 확산은 시기적절한 질문을 제기합니다. 이러한 모델이 자체 생성된 출력에 대해 훈련되면 어떤 일이 발생합니까? 모델-데이터 피드백 루프에 대한 최근 조사에서는 이러한 루프가 모델 붕괴라는 현상으로 이어질 것이라고 제안했습니다. 이 현상에서는 적합한 모델이 쓸모 없게 될 때까지 각 모델-데이터 피드백 반복을 통해 성능이 점진적으로 저하됩니다. 그러나 이러한 연구에서는 주로 시간이 지남에 따라 새로운 데이터가 기존 데이터를 대체한다고 가정했으며, 여기서 더 현실적인 가정은 시간이 지남에 따라 데이터가 축적된다는 것입니다. 본 논문에서는 데이터 축적이 모델 붕괴에 어떤 영향을 미치는지 묻습니다. 우리는 텍스트 말뭉치에 대한 언어 모델 시퀀스를 사전 학습하여 이 질문을 경험적으로 연구합니다. 우리는 원본 실제 데이터를 각 세대의 합성 데이터로 대체하는 것이 실제로 모델 붕괴 경향이 있음을 확인한 다음 원본 실제 데이터와 함께 연속 세대의 합성 데이터를 축적하면 모델 붕괴를 피할 수 있음을 입증합니다. 이러한 결과는 다양한 모델 크기, 아키텍처 및 하이퍼파라미터에 적용됩니다. 우리는 다른 유형의 실제 데이터에 대한 심층 생성 모델(분자 구조 생성을 위한 확산 모델 및 이미지 생성을 위한 변형 자동 인코더)에 대해 유사한 결과를 얻습니다. 데이터를 축적하면 모델 붕괴를 피할 수 있는 이유를 이해하기 위해 일련의 선형 모델이 이전 모델의 출력에 맞는 이전 작업에서 도입된 분석적으로 다루기 쉬운 프레임워크를 사용합니다. 이전 연구에서는 이 프레임워크를 사용하여 데이터가 대체되면 모델 피팅 반복 횟수에 따라 테스트 오류가 증가한다는 것을 보여주었습니다. 우리는 이 주장을 확장하여 데이터가 대신 누적되면 테스트 오류는 반복 횟수와 관계없이 유한한 상한을 가지며, 이는 모델 붕괴가 더 이상 발생하지 않음을 의미합니다.