https://www.quantamagazine.org/how-do-machines-grok-data-20240412/

 

그 결과, 연구자들은 이제 네트워크가 데이터를 수집하는 과정을 이해하기 시작했습니다. Nanda는 신경망 내에서 두 가지 다른 알고리즘을 사용하는 암기에서 일반화로의 점진적인 내부 전환의 결과로 그로킹의 명백한 외면적 갑작스러움을 봅니다. 그는 네트워크가 학습을 시작하면 먼저 기억하기 쉬운 알고리즘을 파악한다고 말했습니다. 그러나 알고리즘이 더 간단하더라도 네트워크가 훈련 데이터의 각 인스턴스를 기억해야 하므로 상당한 리소스가 필요합니다. 그러나 기억하는 동안에도 신경망의 일부는 일반적인 솔루션을 구현하는 회로를 형성하기 시작합니다. 두 알고리즘은 훈련 중에 리소스를 두고 경쟁하지만 정규화라는 추가 요소를 사용하여 네트워크를 훈련하면 결국 일반화가 승리합니다.


Liu는 “정규화는 천천히 일반화 솔루션 쪽으로 솔루션을 이동시킵니다.”라고 말했습니다. 이는 모델의 기능적 용량, 즉 모델이 학습할 수 있는 기능의 복잡성을 줄이는 프로세스입니다. 정규화가 모델의 복잡성을 제거함에 따라 덜 복잡한 일반화 알고리즘이 결국 승리합니다. Nanda는 “동일한 [수준의] 성능에 대해 일반화가 더 간단합니다.”라고 말했습니다. 마지막으로 신경망은 암기 알고리즘을 폐기합니다.

따라서 지연된 일반화 능력이 갑자기 나타나는 것처럼 보이지만 내부적으로는 네트워크의 매개 변수가 일반화 알고리즘을 꾸준히 학습하고 있습니다. 네트워크가 일반화 알고리즘을 학습하고 암기 알고리즘을 완전히 제거한 경우에만 문제가 발생합니다. Nanda는 "갑작스러워 보이는 일이 실제로 표면적으로는 점진적일 수 있습니다"라고 말했습니다. 이는 다른 기계 학습 연구 에서도 나타난 문제입니다 .