특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] KAN 간략한 정리글

ㅇㅇ(221.152) 2024.05.02 08:49:24

조회 4530 추천 23 댓글 47

아무도 정리 할 생각이 없어보이길래 걍 내가 정리해 옴

KAN: 콜모고로프-아놀드 네트웍스(Kolmogorov-Arnold Networks)

Kolmogorov-Arnold 표현 정리에서 영감을 받아 KAN(Kolmogorov-Arnold 네트워크)을 MLP(다층 퍼셉트론)의 유망한 대안으로 제안합니다.

MLP에는 노드("뉴런")에 고정된 활성화 기능이 있는 반면, KAN에는 에지("가중치")에 학습 가능한 활성화 기능이 있습니다. KAN에는 선형 가중치가 전혀 없습니다. 모든 가중치 매개변수는 스플라인으로 매개변수화된 일변량 함수로 대체됩니다. 우리는 겉으로는 단순해 보이는 이러한 변화로 인해 KAN이 정확성과 해석 가능성 측면에서 MLP보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 정확성을 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결★ 에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있습니다. 이론적으로나 경험적으로 KAN은 MLP보다 더 빠른 신경 확장 법칙을 가지고 있습니다. 해석 가능성을 위해 KAN은 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호 작용할 수 있습니다. 수학과 물리학의 두 가지 예를 통해 KAN은 과학자들이 수학과 물리 법칙을 (재)발견하는 데 도움을 주는 유용한 협력자임이 입증되었습니다. 요약하면, KAN은 MLP에 대한 유망한 대안으로, MLP에 크게 의존하는 오늘날의 딥 러닝 모델을 더욱 개선할 수 있는 기회를 열어줍니다.

1. MLP에는 노드("뉴런")에 고정된 활성화 기능

2. KAN에는 에지("가중치")에 학습 가능한 활성화 기능

요번에 GPT2 가 KAN 의 학습메커니즘을 기반으로 만들어졌을 가능성이 있을 듯

7ef3c028e2f206a26d81f6e34e897c6d

빨간색 으로 동그라미 쳐진 부분이 뉴런("노드") 고 파란색 네모박스가 에지("가중치") 임

MLP 는 노드에 학습을 하는 반면 KAN 은 가중치에 학습을 함

"MLP가 뉴런에 대한 (보통 고정된) 활성화 기능을 갖는 반면 KAN은 가중치에 대한 (학습 가능한) 활성화 기능을 갖는다는 점에서 이중입니다. 이러한 1D 활성화 함수는 스플라인으로 매개변수화됩니다."

내가 잘 이해한건진 모르겠는데 '학습 유동성' 이 더 좋아졌다(?) 라고 생각하면될듯?

고정닉 13

원본 첨부파일 1

3.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	7217	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2974]	*특갤용*	23.08.06	38381	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	2338	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6994	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13000	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8717	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8074	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8934	30
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22453	33
480391	역노화	근데 난 역노화 보급률이 국가간 차이가 컸으면...	ㅇㅇ	17:24	0	0
480390	일반	앞으로 ai 카메라 이마에 심을 것임.	내복맨	17:23	2	0
480389	일반	아직도 부족함.. 방정좀그만 떨었으면	ㅇㅇ(76.38)	17:22	6	0
480388	일반	gpt5 곧 출시할려는거 같다 [1]	ㅇㅇ(218.154)	17:19	59	0
480387	일반	PROPHETIC AI 아는 사람있음? 자각몽완몰가 기기 개발한다는데? [4]	ㅇㅇ(183.105)	17:18	36	0
480386	일반	인간이 죽음을 극복하려면 의식에 대한 인식을 바꾸는게 빠를듯 [1]	ㅇㅇ	17:17	25	0
480385	일반	잼민이 수학전문가모드는 언제 업뎃해주려나	ㅇㅇ	17:14	31	0
480383	일반	내가 진짜 하이퍼클로바 ㅈㄴ 기대했는데 실망이 컸음 [7]	ㅇㅇ	17:10	94	3
480382	정보	캘리포니아 미친놈들이 이상한 AI 규제법안 내놓음 [6]	ㅇㅇ	17:09	141	0
480381	일반	한국 IT 업계 = 한국 농업계 같은거임	ㅇㅇ(114.199)	17:08	62	0
480380	일반	agi가 자리잡으면 주거 환경은 바뀌지않을까?	ㅇㅇ(211.184)	17:08	15	0
480379	일반	만약 휴머노이드한테 자아가있으면.. [8]	ㅇㅇ(104.28)	17:06	81	0
480378	일반	침습형인 뉴럴링크 좆도 기대안되는이유 [4]	ㅇㅇ(183.105)	17:05	51	0
480376	일반	Pai 언제쯤 상용화될까 폰이나 pc처럼 [2]	flower	17:01	42	0
480375	일반	클로바x 떡상하는 법	ㅇㅇ(112.161)	17:00	44	1
480374	일반	좆한씹국이 갈라파고스인 이유는 [2]	ㅇㅇ(114.199)	16:58	116	6
480373	일반	임팩트가 중요하긴 한가봄 [1]	ㅇㅇ	16:53	110	0
480372	일반	코파일럿은 정말 거지같네..발전이 없냐;	ㅇㅇ	16:51	44	0
480371	일반	MS 빌드 핵심은 이거였지 [17]	ㅇㅇ(118.36)	16:45	264	1
480370	일반	오늘도 노동해방과 특이점을 향한 기도를 올립니다	ㅇㅇ(220.127)	16:45	37	0
480369	일반	아레나 이제 gpt 잘 안나오네 ㅋㅋㅋㅋ [2]	ㅇㅇ	16:43	115	0
480368	일반	agi의 도래가 의미하는것 [1]	ㅇㅇ(211.253)	16:41	51	1
480367	일반	한국 Ai 스타트업 생태계 꼬라지.jpg [10]	ㅇㅇ(61.74)	16:40	427	15
480366	일반	초지능이 들고올 new 사회체제는 어떨지	ㅇㅇ(121.128)	16:39	42	0
480365	일반	프랑스도 미스트랄 있는데 한국은 왜 AI모델 못 만드냐 [9]	ㅇㅇ(59.15)	16:30	158	1
480364	일반	ai가 아무리 발달을 해도 사용을 잘 못하는 사람들은 [7]	ㅇㅇ(112.161)	16:30	148	1
480363	일반	성간전쟁은 별 걱정 안해도 될 거 같음 [4]	ㅇㅇ(119.193)	16:30	104	0
480362	일반	갈라파고스 아니라고 쉴드치는놈 왜 있음? [7]	ㅇㅇ(123.212)	16:29	106	2
480361	일반	유럽은 오픈ai가 이런식으로 돌파할 거 같아	ㅇㅇ(112.161)	16:27	46	0
480360	일반	미국 빅테크, 미쳐버린 AI 쩐의 전쟁 [5]	ㅇㅇ(59.26)	16:27	246	3
480358	일반	갈라파고스 여부는 국민들 성향으로 봐야지 ㅋㅋ [7]	ㅇㅇ(211.184)	16:24	123	0
480357	일반	이렇게 흘러갈수도 있는거 아니냐	ㅇㅇ(112.186)	16:22	45	0
480356	일반	나 2010년생인데 90년대생 개저씨들 존나 불쌍함 [8]	ㅇㅇ(223.175)	16:22	206	2
480355	일반	한국 갈라고파스 심각하던데 [6]	연맛	16:22	121	1
480354	일반	성간문명간에 전쟁은 어케 될까 [4]	ㅇㅇ(121.159)	16:20	57	0
480353	일반	이런씨발 gpt4한테 외모평가하지마라 ㅅㅂ [11]	ㅇㅇ(211.179)	16:18	208	1
480352	정보	유전자 가위 이용해 HIV 완전 제거 성공, 에이즈 정복 가까워져 [5]	ㅇㅇ(221.152)	16:16	218	3
480350	일반	갈라파고스가 아니라고? [2]	ㅇㅇ(123.212)	16:11	106	2
480348	일반	7~8월 에는 뭐가 나오긴 하겠지	ㅇㅇ(121.128)	16:08	29	0
480347	일반	지금 근데 구독안한사람도 gpt4o 무료임? [2]	ㅇㅇ(116.127)	16:05	80	0
480346	일반	한국이 갈라파고스지 뭐가 아님 [2]	탈조선	16:05	102	3