https://arxiv.org/abs/2403.15796

최근 연구에서는 언어 모델의 창발 능력이 대형 모델에만 국한된다는 믿음에 의문을 제기했습니다. 이러한 회의론은 두 가지 관찰에서 발생합니다.

1) 작은 모델도 창발 능력에 대해 높은 성능을 나타낼 수 있으며

2) 이러한 능력을 측정하는 데 사용되는 불연속 측정 기준에 대한 의구심이 있습니다.

본 논문에서는 모델 크기나 훈련 계산 대신 사전 훈련 손실의 관점에서 창발 능력을 연구할 것을 제안합니다. 사전 훈련 손실은 동일하지만 모델과 데이터 크기가 다른 모델이 다양한 다운스트림 작업에서 동일한 성능을 생성한다는 것을 보여줍니다. 또한 사전 훈련 손실이 특정 임계값 아래로 떨어지면 모델이 측정 항목의 연속성과 관계없이 특정 작업에 대해 새로운 능력을 나타내는 것을 발견했습니다. 이 임계값에 도달하기 전에는 성능이 무작위 추측 수준으로 유지됩니다. 이는 사전 훈련 손실이 낮은 모델에서 나타나는 능력으로 창발적 능력을 재정의하도록 영감을 주며, 사전 훈련 손실이 더 높은 모델의 성능 추세를 단순히 추정하는 것만으로는 이러한 능력을 예측할 수 없다는 점을 강조합니다.