특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] KAN 간략한 정리글

ㅇㅇ(221.152) 2024.05.02 08:49:24

조회 4498 추천 23 댓글 47

아무도 정리 할 생각이 없어보이길래 걍 내가 정리해 옴

KAN: 콜모고로프-아놀드 네트웍스(Kolmogorov-Arnold Networks)

Kolmogorov-Arnold 표현 정리에서 영감을 받아 KAN(Kolmogorov-Arnold 네트워크)을 MLP(다층 퍼셉트론)의 유망한 대안으로 제안합니다.

MLP에는 노드("뉴런")에 고정된 활성화 기능이 있는 반면, KAN에는 에지("가중치")에 학습 가능한 활성화 기능이 있습니다. KAN에는 선형 가중치가 전혀 없습니다. 모든 가중치 매개변수는 스플라인으로 매개변수화된 일변량 함수로 대체됩니다. 우리는 겉으로는 단순해 보이는 이러한 변화로 인해 KAN이 정확성과 해석 가능성 측면에서 MLP보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 정확성을 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결★ 에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있습니다. 이론적으로나 경험적으로 KAN은 MLP보다 더 빠른 신경 확장 법칙을 가지고 있습니다. 해석 가능성을 위해 KAN은 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호 작용할 수 있습니다. 수학과 물리학의 두 가지 예를 통해 KAN은 과학자들이 수학과 물리 법칙을 (재)발견하는 데 도움을 주는 유용한 협력자임이 입증되었습니다. 요약하면, KAN은 MLP에 대한 유망한 대안으로, MLP에 크게 의존하는 오늘날의 딥 러닝 모델을 더욱 개선할 수 있는 기회를 열어줍니다.

1. MLP에는 노드("뉴런")에 고정된 활성화 기능

2. KAN에는 에지("가중치")에 학습 가능한 활성화 기능

요번에 GPT2 가 KAN 의 학습메커니즘을 기반으로 만들어졌을 가능성이 있을 듯

7ef3c028e2f206a26d81f6e34e897c6d

빨간색 으로 동그라미 쳐진 부분이 뉴런("노드") 고 파란색 네모박스가 에지("가중치") 임

MLP 는 노드에 학습을 하는 반면 KAN 은 가중치에 학습을 함

"MLP가 뉴런에 대한 (보통 고정된) 활성화 기능을 갖는 반면 KAN은 가중치에 대한 (학습 가능한) 활성화 기능을 갖는다는 점에서 이중입니다. 이러한 1D 활성화 함수는 스플라인으로 매개변수화됩니다."

내가 잘 이해한건진 모르겠는데 '학습 유동성' 이 더 좋아졌다(?) 라고 생각하면될듯?

고정닉 13

원본 첨부파일 1

3.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2860	설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
476315	일반	왜 ai는 손가락을 못그리는걸까 [10]	ㅇㅇ	05.17	207	0
476314	일반	역노화 시대 오면 진짜 어린애들은 분통 터질듯 [6]	ㅇㅇ(175.199)	05.17	246	0
476313	일반	Vpn 검열법이라는 법의 진실 [13]	파이어독	05.17	347	2
476311	일반	앞으로 20년후면 매일 먹방 가능? [4]	외웨	05.17	102	0
476310	일반	Gpt4o API 은근 비싸네 [10]	ㅇㅇ(110.9)	05.17	261	0
476309	일반	역노화 성공하면 20살 여자랑 80살 여자랑 어케 구분하냐? [14]	ㅇㅇ(121.159)	05.17	292	0
476308	일반	역노화 나오는데 섹스로봇이 규제 받을 수가 있나?	ㅇㅇ(175.199)	05.17	63	0
476307	일반	보니까 인제 그림은 손가락 문제만 남은거네	ㅇㅇ(117.20)	05.17	86	0
476306	일반	블랙미러 아크엔젤 에피소드에 나오는 한 장면 [11]	shuwa	05.17	176	0
476304	정보	Meta, gpt4o와 유사한 융합토큰 모델 발표 [7]	ㅇㅇ(119.77)	05.17	386	6
476303	토의	지금 아기들에겐 뭘 가르쳐야할까 [18]	ㅇㅇ(180.81)	05.17	263	0
476302	일반	색깔이라는게 상당히 중요한 정보같음 [2]	Moriae	05.17	116	0
476301	일반	불법정보 접근 차단 기술 의무화법 [5]	shuwa	05.17	339	4
476300	AI창 AI창작	ai그림은 지시만 좀 더 잘 알아먹으면 됨 [6]	ㅇㅇ	05.17	210	1
476299	일반	자신만의 체계와 시스템을 만든다는게 너무 재밌을거같음	Moriae	05.17	47	0
476298	일반	보이스 데모만 나오고	ㅇㅇ	05.17	31	0
476297	일반	신체활동으로 채굴하는 MS의 가상화폐 특허 [5]	shuwa	05.17	192	0
476296	일반	능동적인 ai는 아직 먼 얘기인가?? [3]	ㅇㅇ(14.39)	05.17	95	0
476295	일반	그림은 이제 일관성 유지, 손가락 및 신체 비례 문제 해결해야 함 [7]	ㅇㅇ(218.147)	05.17	173	0
476293	일반	이제는 너무 화자된 손가락 문제는 [3]	ㅇㅇ(121.145)	05.17	114	0
476292	일반	예전이랑 달라진 진짜 특이한 점이 있다 [4]	ㅇㅇ(117.20)	05.17	234	0
476291	일반	낸드 혁명이라 ㅋㅋㅋㅋ	ㅇㅇ(175.214)	05.17	66	0
476290	일반	이미지생성도 agi5단계에 도달해야 완성되는거 아닌가 [3]	ㅇㅇ	05.17	82	0
476288	일반	클로드5는 클로드3보다 100배 강력 [10]	특술람	05.17	336	0
476287	일반	인간이 기억을 저장하고 불러오는 방법이 미스테리	ㅇㅇ(210.178)	05.17	91	1
476285	일반	이미지 생성 ai의 현주소는 씹덕그림이 아니지; [16]	ㅇㅇ(221.155)	05.17	368	6
476284	일반	떡밥 식은기념 [4]	ㅇㅇ(122.34)	05.17	110	0
476283	일반	내가 상류층이면 역노화는 무조건 보급화함	ㅇㅇ	05.17	85	1
476282	일반	이번 직구금지에 NMN도 포함되는 거야?	ㅇㅇ(210.178)	05.17	67	0
476281	일반	샘 알트만이 음악 AI는 안 만든다고 했음? [2]	내복맨	05.17	88	0
476280	일반	완몰가 나올쯤에는 개개인 자급자족도 가능한 그런 시대라...	ㅇㅇ	05.17	41	0
476279	일반	프론티어라는 모델이 곧 나온다는 거 알게 되니 옴니 바로 질림	ㅇㅇ(218.154)	05.17	67	0
476278	일반	ai그림수준 들고올거면 이제 이정도는 해야한다. [3]	ㅇㅇ(121.145)	05.17	256	0
476277	일반	그림이 여기가 한계부근이라 해도 ㅆㅅㅌㅊ잖어 [6]	ㅇㅇ(121.144)	05.17	212	0
476276	일반	완몰가 오면 인생을 다시살아보고싶음 [5]	ㅇㅇ(118.33)	05.17	134	1
476275	일반	지미 애플이 말한 드랍 ㅈㄴ 별거없네 [4]	ㅇㅇ(59.17)	05.17	238	0
476274	AI창 AI창작	요즘 AI 그림 수준.jpg [6]	ㅇㅇ(125.134)	05.17	505	1
476273	일반	[설문] 다음 중 가장 큰 혁신은?	내복맨	05.17	62	0
476272	정보	also good gpt2 이거 GPT4o 아님 [10]	ㅁㄴㅇㄹ	05.17	437	2
476271	일반	무료버전은 생각보다 더 횟수가 적네	ㅇㅇ(118.33)	05.17	70	0
476270	일반	아니 보이스 빨리 내라고 진짜 ㅡㅡ [2]	ㅇㅇ(106.247)	05.17	96	0
476269	일반	Ai그림이 발전이 있을이유가 없지 [3]	ㅇㅇ(59.22)	05.17	180	0
476268	일반	국내 ai기술발전위해 gpt4,클로드3 개인사용 금지 [13]	ㅇㅇ(106.248)	05.17	283	0
476267	정보	다음 주 월요일 ms 차례 [7]	특술람	05.17	235	1
476266	일반	지수적 발전대로 가는거면 내년이면 gpt 6 7 둘다 나와야하는거 아님? [2]	ㅇㅇ	05.17	115	0
476265	일반	섹스봇 나올거면 이래야함	ㅇㅇ	05.17	64	0
476264	일반	디씨앱 코드도 읽을 수 있냐? GPT4o	ㅇㅇ(110.8)	05.17	89	0
476263	일반	아아 특이점이 오면 [3]	ㅇㅇ(36.38)	05.17	72	0
476262	AI창 AI창작	요즘 AI 그림 수준.jpg [9]	ㅇㅇ(125.134)	05.17	498	4
476261	일반	테슬라 옵티머스보고 기대를 많이했는데 팍식음 [2]	야상섹상	05.17	127	0