https://arxiv.org/abs/2404.19756



Kolmogorov-Arnold 표현 정리에서 영감을 받아 KAN(Kolmogorov-Arnold 네트워크)을 MLP(다층 퍼셉트론)의 유망한 대안으로 제안합니다. MLP에는 노드("뉴런")에 고정된 활성화 기능이 있는 반면, KAN에는 에지("가중치")에 학습 가능한 활성화 기능이 있습니다. KAN에는 선형 가중치가 전혀 없습니다. 모든 가중치 매개변수는 스플라인으로 매개변수화된 일변량 함수로 대체됩니다. 우리는 겉으로는 단순해 보이는 이러한 변화로 인해 KAN이 정확성과 해석 가능성 측면에서 MLP보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 정확성을 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있습니다. 이론적으로나 경험적으로 KAN은 MLP보다 더 빠른 신경 확장 법칙을 가지고 있습니다. 해석 가능성을 위해 KAN은 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호 작용할 수 있습니다. 수학과 물리학의 두 가지 예를 통해 KAN은 과학자들이 수학과 물리 법칙을 (재)발견하는 데 도움을 주는 유용한 협력자임이 입증되었습니다. 요약하면, KAN은 MLP에 대한 유망한 대안으로, MLP에 크게 의존하는 오늘날의 딥 러닝 모델을 더욱 개선할 수 있는 기회를 열어줍니다.

최종 결론: KAN과 MLP 중 어떤 것을 사용해야 할까요? 현재 KAN의 가장 큰 걸림돌ㅇ은 느린 학습 속도입니다. 동일한 수의 파라미터가 주어졌을 때, KAN은 일반적으로 MLP보다 10배 느립니다. 하지만 우리는 KAN의 효율성을 최적화하기 위해 많은 노력을 기울이지 않았다는 점을 솔직히 인정해야 합니다. 그래서 우리는 KAN의 느린 학습을 근본적인 한계라기보다는 향후 개선해야 할 공학적 문제로 간주합니다. 만약 여러분이 모델을 빠르게 학습시키고 싶다면, MLP를 사용해야 합니다. 하지만 다른 경우에는 KAN이 MLP와 비슷하거나 더 나을 수 있어 시도해 볼 만한 가치가 있습니다. 그림 6.1의 의사 결정 트리는 KAN을 사용해야 할 때를 결정하는 데 도움이 될 수 있습니다. 간단히 말해, 해석 가능성 및/또는 정확도를 중요하게 생각하고 느린 학습이 큰 문제가 되지 않는다면, KAN을 시도해 보는 것이 좋습니다.