간단하게 말해서 KAN 은 학습 효율화 메커니즘이라고 생각하면될 듯

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] 간단하게 말해서 KAN 은 학습 효율화 메커니즘이라고 생각하면될 듯

ㅇㅇ(221.152) 2024.05.02 09:07:44

조회 100 추천 0 댓글 0

Ziming Liu 글 몇개 긁어옴

1. "14/N 특히 Deepmind의 MLP에는 ~300000개의 매개변수가 있는 반면 KAN에는 ~200개의 매개변수만 있습니다. KAN은 즉시 해석이 가능한 반면 MLP는 사후 분석으로 특성 속성이 필요합니다."

2. "4/N 수학 측면에서 볼 때 MLP는 UAT(Universal Approximation Theorem)에서 영감을 얻은 반면 KAN은 Kolmogorov-Arnold 표현 정리(KART)에서 영감을 받았습니다. 네트워크가 고정된 폭으로 무한한 정확도를 달성할 수 있습니까? UAT는 아니오라고 말하고 KART는 예라고 말합니다(주의 사항 있음)."

3. "KAN과 MLP는 MLP가 뉴런에 대한 (보통 고정된) 활성화 기능을 갖는 반면 KAN은 가중치에 대한 (학습 가능한) 활성화 기능을 갖는다는 점에서 이중입니다. 이러한 1D 활성화 함수는 스플라인으로 매개변수화됩니다."

4. "17/N 우리의 경험적 결과를 고려할 때, 우리는 KAN이 정확성, 매개변수 효율성 및 해석 가능성으로 인해 AI + 과학에 유용한 모델/도구가 될 것이라고 믿습니다. 기계 학습 관련 작업에 대한 KAN의 유용성은 더 추측적이며 향후 작업으로 남겨져 있습니다."

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
473936	일반	최소한 언제 공개할건지 시기라도 알려주면안되나	ㅇㅇ	05.15	27	0
473935	일반	트랜스포머를 지들이 만들었으면서 에휴	ㅇㅇ	05.15	56	0
473934	일반	GPT5는 개무거울거같음? [5]	ㅇㅇ(118.34)	05.15	181	1
473933	일반	구글은 본질적으로 AI 성능 올리는법을 모르는 상태인듯	ㅇㅇ	05.15	101	0
473932	일반	발표 지금까지 알파벳 VS 오픈AI 누구 승리임? [2]	내복맨	05.15	136	0
473931	일반	랩틸리언 웃는 소리 안들리노?	ㅇㅇ(14.36)	05.15	55	0
473930	일반	??? : 흠.... [22]	ㅇㅇ(211.200)	05.15	4569	50
473929	일반	구글 인프라 전부 해체해서 oai주자 ㅇㅇ	ㅇㅇ	05.15	54	1
473928	일반	구글은 그냥 tpu 판매 전문 기업으로 노선 틀어야 된다	ㅇㅇ	05.15	46	0
473927	일반	구글 이 병신들 이제 메타한테도 털리겠노	ㅇㅇ	05.15	53	0
473926	일반	GPT5는 GPT4O를 개쓰레기로만들어버린다던데	ㅇㅇ(118.34)	05.15	130	0
473925	일반	오픈ai랑 갈수록 기술격차 벌어질듯 [5]	ㅇㅇ(182.212)	05.15	221	2
473924	일반	로건 킬페트릭 이새끼는 구글에서 돈을 얼마나줬길래 ㅅㅂ ㅋㅋ [1]	ㅇㅇ	05.15	98	1
473923	일반	그러고보니 미스트랄 라지 챗봇 나왔더라 [2]	TS망상	05.15	101	1
473922	일반	서클투서치 존나 좋아하는 거 같으면 개추 ㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	45	0
473921	일반	LLM격차가 이렇게심각하게나노 [2]	ㅇㅇ(118.34)	05.15	142	0
473920	일반	이제 믿을건 클로드 라마 뿐이다	ㅇㅇ	05.15	61	0
473919	일반	저 인프라 가지고 조지는 거도 재능 아님?	ㅇㅇ	05.15	39	0
473917	일반	구글에게 2번당한 특갤러들	ㅇㅇ(118.34)	05.15	53	0
473916	일반	일리야 개발휴가예정ㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅋ	05.15	92	0
473915	일반	구글 객관화 안되는 거 개 꼴받네	ㅇㅇ(14.36)	05.15	70	1
473914	일반	제미니 개발할때 쓴 글카 뜯어서 제 2의 치타 클로드에 주는게 맞다 [2]	퐁칸8	05.15	99	0
473913	일반	그래..알파폴드는 잘했어 ㅇㅇ..	ㅇㅇ	05.15	111	0
473912	일반	니들이 잘해야 씻팔 gpt5가 빨리 나올 거 아니야	ㅇㅇ(116.123)	05.15	41	0
473911	일반	킹파폴드 재입갤 ㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	117	0
473910	일반	이제부터 구글은 치타 아니다 [1]	이세이미야케	05.15	136	1
473909	일반	구글 견제하던 알트만도 보다 졸려서 껐을듯 [1]	ㅇㅇ	05.15	72	0
473908	일반	별 거 없을 거라고 생각은 했는데 진짜 해도 해도 너무하네;;; [1]	ㅇㅇ	05.15	86	0
473907	일반	아오 뭔 ai 워터마크를 달아	ㅇㅇ	05.15	59	0
473905	일반	pc 똥냄새만 가득한 발표네	ddd(183.101)	05.15	40	0
473904	일반	워터마크 혁신은 구글 ㅋㅋ	ㅇㅇ(218.232)	05.15	33	0
473902	일반	자자 gpt5는 여름에 나오지 않습니다 [2]	ㅇㅇ(112.149)	05.15	149	0
473901	일반	이쯤되면 저새끼들 울트라 나와도 병신일거같음	ㅇㅇ	05.15	30	0
473900	일반	원래 잼민이 1.5 울트라 출시하려고 했는데 [1]	ㅇㅇ(58.124)	05.15	162	0
473897	일반	현재 존나 그리운 새끼 [8]	ㅇㅇ(125.183)	05.15	336	17
473896	일반	보다보니 메타가 세삼 대단하네	ㅇㅇ(174.177)	05.15	72	0
473895	일반	테러리스트들도 니들꺼 안써 븅신들아 ㅋㅋ [1]	ㅇㅇ	05.15	44	1
473894	정보/ 정보/뉴스	이제야 이해되는 그 날의 진실 [2]	ㅇㅇ(119.77)	05.15	256	1
473893	일반	저새끼들이 책임감 꺼내는 거 존나 웃기네 ㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.15	45	1
473892	일반	개발휴가 검열 염병 좆지랄할 시간에 개발이나 더하지 [1]	ㅇㅇ	05.15	52	0
473891	일반	구글이 잘하는거 =검열 [1]	ㅇㅇ	05.15	74	0
473890	일반	성능도 좆박아 글도못써 검열도 심해 pc도묻어 [1]	ㅇㅋ	05.15	112	1
473889	일반	GPT5는 지금 오픈AI연구원 1인분역할은한다던데	ㅇㅇ(118.34)	05.15	113	0
473888	일반	걍 구글 해체해서 앤쓰로픽 메타 oai한테 나눠주자 ㅇㅇ	ㅇㅇ	05.15	62	0
473887	일반	회사가 큰 건 알겠는데 [2]	빙냥이ㄱㅇㅇ	05.15	120	0
473886	일반	아니 1.5 울트라 진짜 없다고? [2]	ㅇㅇ	05.15	142	0
473885	일반	진짜 인도 등판 ㅋㅋㅋㅋ	TS망상	05.15	48	0
473884	정보/ 정보/뉴스	오늘 공개된 '제미니 1.5 플래쉬'의 혁신성 [5]	ㅇㅇ(119.77)	05.15	534	16
473883	일반	구글 이씨발련들은 영상찍느라 여행만 주구장창 다녔겠노 ㅋㅋ	ㅇㅇ	05.15	49	0
473882	일반	이제 애플워치에 지피티달아서 자비스 보여주는 부분이냐?	ㅇㅇ	05.15	103	0