https://arxiv.org/abs/2404.07544

사전 훈련된 대규모 언어 모델(예: Llama2, GPT-4, Claude 3 등)이 추가 훈련이나 경사 업데이트 없이 상황 내 예제가 제공될 때 선형 및 비선형 회귀를 얼마나 잘 수행할 수 있는지 분석합니다. 우리의 연구 결과는 여러 대규모 언어 모델(예: GPT-4, Claude 3)이 Random Forest, Bagged 또는 Gradient Boosting과 같은 기존 지도 방법에 필적하는(또는 심지어 더 뛰어난) 성능으로 회귀 작업을 수행할 수 있음을 보여줍니다. 예를 들어 까다로운 Friedman #2 회귀 데이터 세트에서 Claude 3은 AdaBoost, SVM, Random Forest, KNN 또는 Gradient Boosting과 같은 많은 지도 방법보다 성능이 뛰어납니다. 그런 다음 대규모 언어 모델의 성능이 상황 내 예시의 수에 따라 얼마나 잘 확장되는지 조사합니다. 우리는 온라인 학습의 후회 개념을 빌려 LLM이 준선형 후회를 얻을 수 있음을 경험적으로 보여줍니다.