특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] KAN 간략한 정리글

ㅇㅇ(221.152) 2024.05.02 08:49:24

조회 4586 추천 23 댓글 47

아무도 정리 할 생각이 없어보이길래 걍 내가 정리해 옴

KAN: 콜모고로프-아놀드 네트웍스(Kolmogorov-Arnold Networks)

Kolmogorov-Arnold 표현 정리에서 영감을 받아 KAN(Kolmogorov-Arnold 네트워크)을 MLP(다층 퍼셉트론)의 유망한 대안으로 제안합니다.

MLP에는 노드("뉴런")에 고정된 활성화 기능이 있는 반면, KAN에는 에지("가중치")에 학습 가능한 활성화 기능이 있습니다. KAN에는 선형 가중치가 전혀 없습니다. 모든 가중치 매개변수는 스플라인으로 매개변수화된 일변량 함수로 대체됩니다. 우리는 겉으로는 단순해 보이는 이러한 변화로 인해 KAN이 정확성과 해석 가능성 측면에서 MLP보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 정확성을 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결★ 에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있습니다. 이론적으로나 경험적으로 KAN은 MLP보다 더 빠른 신경 확장 법칙을 가지고 있습니다. 해석 가능성을 위해 KAN은 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호 작용할 수 있습니다. 수학과 물리학의 두 가지 예를 통해 KAN은 과학자들이 수학과 물리 법칙을 (재)발견하는 데 도움을 주는 유용한 협력자임이 입증되었습니다. 요약하면, KAN은 MLP에 대한 유망한 대안으로, MLP에 크게 의존하는 오늘날의 딥 러닝 모델을 더욱 개선할 수 있는 기회를 열어줍니다.

1. MLP에는 노드("뉴런")에 고정된 활성화 기능

2. KAN에는 에지("가중치")에 학습 가능한 활성화 기능

요번에 GPT2 가 KAN 의 학습메커니즘을 기반으로 만들어졌을 가능성이 있을 듯

7ef3c028e2f206a26d81f6e34e897c6d

빨간색 으로 동그라미 쳐진 부분이 뉴런("노드") 고 파란색 네모박스가 에지("가중치") 임

MLP 는 노드에 학습을 하는 반면 KAN 은 가중치에 학습을 함

"MLP가 뉴런에 대한 (보통 고정된) 활성화 기능을 갖는 반면 KAN은 가중치에 대한 (학습 가능한) 활성화 기능을 갖는다는 점에서 이중입니다. 이러한 1D 활성화 함수는 스플라인으로 매개변수화됩니다."

내가 잘 이해한건진 모르겠는데 '학습 유동성' 이 더 좋아졌다(?) 라고 생각하면될듯?

고정닉 13

원본 첨부파일 1

3.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
473960	일반	영상으로 보여준 멀티모달 모델 오늘 바로 출시해도 모자를 판에	ㅇㅇ(119.202)	05.15	80	0
473959	일반	현타오노. 새벽에 2시간 태웠는데	ㅇㅇ(221.155)	05.15	95	3
473958	일반	이게 끝이라고???????	이세이미야케	05.15	60	0
473957	일반	이렇게 되면 애플,삼성 등이 오픈AI한테 잘보여야됨? [10]	ㅇㅇ(211.179)	05.15	347	1
473956	일반	인도개발자 특징	ㅇㅇ(14.36)	05.15	105	0
473955	일반	구글IO 끝.. 이쯤에서 이새끼 개병신이면 개추 [1]	ㅇㅇ	05.15	396	14
473954	일반	와 구글은 영상 참 잘만든다~	FIREKICK	05.15	58	0
473953	일반	이거보고 장기휴가 버튼 누른 openAI팀 많을거 같다	ㅇㅇ	05.15	96	0
473952	일반	근데 오픈AI가 만약 존재안했고 구글밖에 없었다면? [2]	ㅇㅇ(222.119)	05.15	172	1
473950	일반	진짜 울트라 없네...	indie	05.15	45	0
473949	일반	(특갤 오피셜) GOD	ㅇㅇ	05.15	131	0
473948	일반	딱 4:00 네. 손흥민 경기 들가자	ㅇㅇ(121.156)	05.15	36	0
473946	일반	땡큐?	ㅇㅇ(119.77)	05.15	41	0
473945	일반	네이버도 구글급 인프라있으면 제미니 따먹음 ㅇㅇ [1]	ㅇㅇ	05.15	130	0
473944	일반	얀버지 이제야 깨닳아요	ㅇㅇ(58.234)	05.15	69	1
473943	일반	지금까지 본 사람? [2]	ㅇㅇ(112.149)	05.15	68	0
473942	일반	드디어 끝이냐?	ㅇㅇ	05.15	33	0
473941	일반	아직 클로드 남아있잖아 한잔해 [3]	ㅇㅇ(175.213)	05.15	138	0
473940	일반	라마4도 클로드4도 내년인데 씨발 [1]	ㅇㅇ(121.131)	05.15	216	0
473939	일반	구하하하하 한번더말하니까 카운트 됐어 구하하	ㅇㅇ	05.15	34	0
473938	일반	좋겠다 이 튀기련아ㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	48	0
473937	일반	하다하다 'AI 120번 말했도르' 씨발 ㅋㅋㅋㅋㅋㅋㅋ [1]	ㅇㅇ(119.77)	05.15	172	0
473936	일반	최소한 언제 공개할건지 시기라도 알려주면안되나	ㅇㅇ	05.15	27	0
473935	일반	트랜스포머를 지들이 만들었으면서 에휴	ㅇㅇ	05.15	56	0
473934	일반	GPT5는 개무거울거같음? [5]	ㅇㅇ(118.34)	05.15	181	1
473933	일반	구글은 본질적으로 AI 성능 올리는법을 모르는 상태인듯	ㅇㅇ	05.15	101	0
473932	일반	발표 지금까지 알파벳 VS 오픈AI 누구 승리임? [2]	내복맨	05.15	136	0
473931	일반	랩틸리언 웃는 소리 안들리노?	ㅇㅇ(14.36)	05.15	55	0
473930	일반	??? : 흠.... [22]	ㅇㅇ(211.200)	05.15	4569	50
473929	일반	구글 인프라 전부 해체해서 oai주자 ㅇㅇ	ㅇㅇ	05.15	54	1
473928	일반	구글은 그냥 tpu 판매 전문 기업으로 노선 틀어야 된다	ㅇㅇ	05.15	46	0
473927	일반	구글 이 병신들 이제 메타한테도 털리겠노	ㅇㅇ	05.15	53	0
473926	일반	GPT5는 GPT4O를 개쓰레기로만들어버린다던데	ㅇㅇ(118.34)	05.15	130	0
473925	일반	오픈ai랑 갈수록 기술격차 벌어질듯 [5]	ㅇㅇ(182.212)	05.15	221	2
473924	일반	로건 킬페트릭 이새끼는 구글에서 돈을 얼마나줬길래 ㅅㅂ ㅋㅋ [1]	ㅇㅇ	05.15	98	1
473923	일반	그러고보니 미스트랄 라지 챗봇 나왔더라 [2]	TS망상	05.15	101	1
473922	일반	서클투서치 존나 좋아하는 거 같으면 개추 ㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	45	0
473921	일반	LLM격차가 이렇게심각하게나노 [2]	ㅇㅇ(118.34)	05.15	142	0
473920	일반	이제 믿을건 클로드 라마 뿐이다	ㅇㅇ	05.15	61	0
473919	일반	저 인프라 가지고 조지는 거도 재능 아님?	ㅇㅇ	05.15	39	0
473917	일반	구글에게 2번당한 특갤러들	ㅇㅇ(118.34)	05.15	53	0
473916	일반	일리야 개발휴가예정ㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅋ	05.15	92	0
473915	일반	구글 객관화 안되는 거 개 꼴받네	ㅇㅇ(14.36)	05.15	70	1
473914	일반	제미니 개발할때 쓴 글카 뜯어서 제 2의 치타 클로드에 주는게 맞다 [2]	퐁칸8	05.15	99	0
473913	일반	그래..알파폴드는 잘했어 ㅇㅇ..	ㅇㅇ	05.15	111	0
473912	일반	니들이 잘해야 씻팔 gpt5가 빨리 나올 거 아니야	ㅇㅇ(116.123)	05.15	41	0
473911	일반	킹파폴드 재입갤 ㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	117	0
473910	일반	이제부터 구글은 치타 아니다 [1]	이세이미야케	05.15	136	1
473909	일반	구글 견제하던 알트만도 보다 졸려서 껐을듯 [1]	ㅇㅇ	05.15	72	0
473908	일반	별 거 없을 거라고 생각은 했는데 진짜 해도 해도 너무하네;;; [1]	ㅇㅇ	05.15	86	0