특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] KAN 간략한 정리글

ㅇㅇ(221.152) 2024.05.02 08:49:24

조회 4614 추천 23 댓글 47

아무도 정리 할 생각이 없어보이길래 걍 내가 정리해 옴

KAN: 콜모고로프-아놀드 네트웍스(Kolmogorov-Arnold Networks)

Kolmogorov-Arnold 표현 정리에서 영감을 받아 KAN(Kolmogorov-Arnold 네트워크)을 MLP(다층 퍼셉트론)의 유망한 대안으로 제안합니다.

MLP에는 노드("뉴런")에 고정된 활성화 기능이 있는 반면, KAN에는 에지("가중치")에 학습 가능한 활성화 기능이 있습니다. KAN에는 선형 가중치가 전혀 없습니다. 모든 가중치 매개변수는 스플라인으로 매개변수화된 일변량 함수로 대체됩니다. 우리는 겉으로는 단순해 보이는 이러한 변화로 인해 KAN이 정확성과 해석 가능성 측면에서 MLP보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 정확성을 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결★ 에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있습니다. 이론적으로나 경험적으로 KAN은 MLP보다 더 빠른 신경 확장 법칙을 가지고 있습니다. 해석 가능성을 위해 KAN은 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호 작용할 수 있습니다. 수학과 물리학의 두 가지 예를 통해 KAN은 과학자들이 수학과 물리 법칙을 (재)발견하는 데 도움을 주는 유용한 협력자임이 입증되었습니다. 요약하면, KAN은 MLP에 대한 유망한 대안으로, MLP에 크게 의존하는 오늘날의 딥 러닝 모델을 더욱 개선할 수 있는 기회를 열어줍니다.

1. MLP에는 노드("뉴런")에 고정된 활성화 기능

2. KAN에는 에지("가중치")에 학습 가능한 활성화 기능

요번에 GPT2 가 KAN 의 학습메커니즘을 기반으로 만들어졌을 가능성이 있을 듯

7ef3c028e2f206a26d81f6e34e897c6d

빨간색 으로 동그라미 쳐진 부분이 뉴런("노드") 고 파란색 네모박스가 에지("가중치") 임

MLP 는 노드에 학습을 하는 반면 KAN 은 가중치에 학습을 함

"MLP가 뉴런에 대한 (보통 고정된) 활성화 기능을 갖는 반면 KAN은 가중치에 대한 (학습 가능한) 활성화 기능을 갖는다는 점에서 이중입니다. 이러한 1D 활성화 함수는 스플라인으로 매개변수화됩니다."

내가 잘 이해한건진 모르겠는데 '학습 유동성' 이 더 좋아졌다(?) 라고 생각하면될듯?

고정닉 13

원본 첨부파일 1

3.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
474137	정보/ 정보/뉴스	OAI 안전 정렬 팀, 다수 퇴사 혹은 해고 [3]	ㅇㅇ(119.77)	05.15	484	12
474088	정보/ 정보/뉴스	일리야, OAI와 결별 및 프로젝트 공개 예고 [12]	ㅇㅇ(119.77)	05.15	3946	38
473930	일반	??? : 흠.... [22]	ㅇㅇ(211.200)	05.15	4584	50
473884	정보/ 정보/뉴스	오늘 공개된 '제미니 1.5 플래쉬'의 혁신성 [5]	ㅇㅇ(119.77)	05.15	541	16
473681	일반	내가 느낀 openai와의 차이점 [24]	ㅇㅇ(116.123)	05.15	4430	32
473461	일반	여기서 GPT-4o 메디컬 개 미친 성능 [18]	Spark	05.15	5293	39
472895	일반	gpt4o이새끼 좀 지리는데 [6]	ㅇㅇ(121.151)	05.15	2147	24
472667	일반	GPT-4o vs GPT-4 풍경 이미지 인식 비교 [18]	elryiop	05.14	5495	37
472656	일반	gpt4o는 상상력도 풍부하네 [16]	친근한게이브	05.14	4802	43
472472	일반	진짜 나만 다른 세상인건가 4o 코딩성능 ㅈ되는거같은데 [11]	ㅇㅇ(175.213)	05.14	5276	32
472439	일반	GPT4O 갓 패치 ㅇㅈ한다	ㅇㅇ(118.235)	05.14	3531	30
472362	정보/ 정보/뉴스	오픈AI 직원 : 사람들이 GPT-4o에 대해 오해하고 있다 [42]	rtOS	05.14	7097	53
471494	정보/ 정보/뉴스	처음으로 mathvista에서 인간을 능가한 gpt4o [24]	특술람	05.14	4089	32
472057	정보/ 정보/뉴스	OAI 이벤트 초대남이 우연히 들은 말 [10]	ㅇㅇ(119.77)	05.14	635	16
472054	일반	"숨죽였던 치타가 달리기 시작한다" [19]	ㅇㅇ(118.37)	05.14	4460	36
471541	일반	■완장들은 특갤계엄령 선포해라 분탕들 좆지랄떠는거 안보이나 [24]	ㅇㅇ(61.97)	05.14	2684	44
471512	일반	GPT-4o 실체.jpg (특슬람, 선형충 멸망) [13]	ㅇㅇ(218.238)	05.14	7085	32
471475	일반	념글 사과문제 영어로 하니까 맞추는데? [14]	ㅇㅇ(119.192)	05.14	4006	29
471384	일반	념글GPT4도 리롤하면 사과문제 못맞추잖아 [7]	ㅇㅇ(121.184)	05.14	3159	17
471376	일반	4o에 왜 열광하는지 모르겠음 [61]	비닌	05.14	6560	37
471362	일반	gpt 4o 빠른대신 구리네 [24]	ㅇㅇ(175.125)	05.14	6102	25
471328	토의	하도 근들갑 떨어대길래 공식영상 보고 왔는데 [21]	ㅇㅇ(103.212)	05.14	3773	31
471293	일반	솔직히 살짝 짜치면 개추... [7]	ㅇㅇ(183.98)	05.14	5527	40
471208	일반	gpt4o 이미지 인식 미쳤네 ㅋㅋㅋㅋ [27]	비오는날의개구리	05.14	6126	24
471167	정보/ 정보/뉴스	개쩌는 오픈AI, GPT-4o 음성 모델 영상 모음 [22]	월코존버	05.14	5303	37
471082	일반	ㄹㅇ TTS, stt 모델 갖다 버렸네 도약이노 [16]	ㅇㅇ(220.71)	05.14	4198	21
471058	일반	오늘새벽 광란의 특갤 실전 요약.jpg [10]	ㅇㅇ	05.14	4697	39
471035	일반	GPT-5 진행상황 곧 공개? [12]	ㅇㅇ(59.5)	05.14	4630	24
470838	일반	이미지 인식능력 돌았다 [9]	ㅇㅅㅇ(210.91)	05.14	3841	22
470819	일반	Gpt4o 이미지 인식능력 장난아니네 [7]	ㅇㅅㅇ(210.91)	05.14	4148	19
470537	정보/ 정보/뉴스	GPT-4o MMLU 88.7 [9]	ㅇㅇ(61.82)	05.14	3198	19
470528	AI창 AI창작	gpt4o로 만든거 gif로 쪄왔다 ㅋㅋㅋㅋ 싹 다 가속시켜!!! [18]	ㅇㅇ(121.162)	05.14	2330	22
470492	일반	GPT-4o는 3시간당 80개 메세지 가능 [20]	ㅇㅇ(175.208)	05.14	4520	25
470467	일반	이쯤에서 특갤 민심 테스트 간다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [15]	lightvector	05.14	3364	70
470406	정보/ 정보/뉴스	너희들 마지막에 집중안했노 [5]	ㅇㅇ(119.77)	05.14	3040	23
470303	일반	영화 her 새짤 개웃기노 ㅋㅋㅋㅋ [15]	ㅇㅇ(222.99)	05.14	5026	41
470283	일반	GPT4 초기랑 비슷하니 뭐니하던거 웃음벨이고 ㅋㅋㅋㅋ [2]	ㅇㅇ	05.14	2136	23
470248	일반	얘한테 당장 7000조 줘야하면 개추 [9]	ㅇㅇ(121.131)	05.14	3718	67
470244	정보/ 정보/뉴스	gpt4o 추가 예시 [26]	특갤용	05.14	4580	31
469010	정보/ 정보/뉴스	[오피셜] 고화질 also 벤치마크 떴다!!!! [20]	lightvector	05.14	3518	29
470025	정보/ 정보/뉴스	오늘 밝혀진 중요한 정보 [13]	ㅇㅇ(119.77)	05.14	3570	27
470148	정보/ 정보/뉴스	속보))알트만의 gpt-4o 모델 설명!!!!!!!! [10]	lightvector	05.14	4155	31
470217	일반	알트만 : her [23]	ㅇㅇ(59.5)	05.14	2964	28
470153	일반	gpt-4o api 써봤다 속도 뭐냐..................?? [29]	ㅇㅇ(49.143)	05.14	4233	26
470139	일반	한국어 토큰 1.7배 감소 [3]	ㅇㅇ(125.250)	05.14	2850	23
469815	정보/ 정보/뉴스	오늘 새벽 OpenAI 발표 총요약본...txt [26]	lightvector	05.14	7435	60
469797	일반	시발년들아 개추 안박고 뭐하냐 [8]	ㅇㅇ(58.29)	05.14	2251	56
467482	일반	와 진짜 뭐가오길래 공홈에다 이따구로 근들갑떨어놓은거임? ㅋㅋ [29]	ㅇㅇ(124.111)	05.13	4838	40
467404	일반	오늘 자러간 꿀잠충, 출근충, 선형충이 보게 될 상황...JPG [13]	ㅇㅇ(175.125)	05.13	3492	33
467355	일반	와 시발 also 진짜 말도 안 되네 [14]	ㅇㅇ(210.106)	05.13	4061	22