특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] KAN 간략한 정리글

ㅇㅇ(221.152) 2024.05.02 08:49:24

조회 4587 추천 23 댓글 47

아무도 정리 할 생각이 없어보이길래 걍 내가 정리해 옴

KAN: 콜모고로프-아놀드 네트웍스(Kolmogorov-Arnold Networks)

Kolmogorov-Arnold 표현 정리에서 영감을 받아 KAN(Kolmogorov-Arnold 네트워크)을 MLP(다층 퍼셉트론)의 유망한 대안으로 제안합니다.

MLP에는 노드("뉴런")에 고정된 활성화 기능이 있는 반면, KAN에는 에지("가중치")에 학습 가능한 활성화 기능이 있습니다. KAN에는 선형 가중치가 전혀 없습니다. 모든 가중치 매개변수는 스플라인으로 매개변수화된 일변량 함수로 대체됩니다. 우리는 겉으로는 단순해 보이는 이러한 변화로 인해 KAN이 정확성과 해석 가능성 측면에서 MLP보다 뛰어난 성능을 발휘한다는 것을 보여줍니다. 정확성을 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결★ 에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있습니다. 이론적으로나 경험적으로 KAN은 MLP보다 더 빠른 신경 확장 법칙을 가지고 있습니다. 해석 가능성을 위해 KAN은 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호 작용할 수 있습니다. 수학과 물리학의 두 가지 예를 통해 KAN은 과학자들이 수학과 물리 법칙을 (재)발견하는 데 도움을 주는 유용한 협력자임이 입증되었습니다. 요약하면, KAN은 MLP에 대한 유망한 대안으로, MLP에 크게 의존하는 오늘날의 딥 러닝 모델을 더욱 개선할 수 있는 기회를 열어줍니다.

1. MLP에는 노드("뉴런")에 고정된 활성화 기능

2. KAN에는 에지("가중치")에 학습 가능한 활성화 기능

요번에 GPT2 가 KAN 의 학습메커니즘을 기반으로 만들어졌을 가능성이 있을 듯

7ef3c028e2f206a26d81f6e34e897c6d

빨간색 으로 동그라미 쳐진 부분이 뉴런("노드") 고 파란색 네모박스가 에지("가중치") 임

MLP 는 노드에 학습을 하는 반면 KAN 은 가중치에 학습을 함

"MLP가 뉴런에 대한 (보통 고정된) 활성화 기능을 갖는 반면 KAN은 가중치에 대한 (학습 가능한) 활성화 기능을 갖는다는 점에서 이중입니다. 이러한 1D 활성화 함수는 스플라인으로 매개변수화됩니다."

내가 잘 이해한건진 모르겠는데 '학습 유동성' 이 더 좋아졌다(?) 라고 생각하면될듯?

고정닉 13

원본 첨부파일 1

3.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
475750	일반	전독시 AI로 게임처럼 하니까 ㅈㄴ 재밌노 ㅋㅋㅋ [23]	ㅇㅇ	05.16	4338	38
475735	AI창 AI창작	거의 다 그린 그림 AI가 마지막 보정만 살짝 해줌 [48]	ㅇㅇ(211.109)	05.16	6798	51
475603	일반	gpt4o 현재까지 공개된 벤치로 제미니, 클로드, 4t와 비교 [8]	ㅇㅇ	05.16	3830	25
475377	정보/ 정보/뉴스	잠잘때 뇌 노폐물 청소? “딱히 그렇지 않아” [48]	ㅇㅇ(182.230)	05.15	5857	27
475470	정보/ 정보/뉴스	OpenAI 공동창립자 겸 과학자 "내 직업 대체? 5년정도 걸릴듯" [26]	ㅇㅇ(59.17)	05.16	4645	28
475551	정보/ 정보/뉴스	돼지 뇌, 몸에서 분리된 채 5시간 동안 생존 [34]	ㅇㅇ(182.230)	05.16	4761	35
475219	일반	챗GPT-4o 미친것같다 진심;;; [17]	불곰적위대	05.15	8005	44
475180	일반	gpt-4o 이년 진짜 미쳤네 [45]	도서관킬러	05.15	4356	26
475173	일반	GPT-4ㅇ한테 태양계 공전 시스템 코딩시켜봄 [47]	ㅇㅇ(221.155)	05.15	5545	41
475023	일반	gpt4o으로 10분만에 만든 하노이탑 시뮬레이션 [14]	et	05.15	4265	33
475017	일반	일리야와 초정렬팀이 근본인 이유...factos [15]	ㅇㅇ(118.37)	05.15	3644	39
474896	일반	지금 특갤 상황보니까 완장들은 운영 이렇게해야할거같음 ㅇㅇ [25]	ㅇㅇ(61.97)	05.15	2845	42
474882	일반	gpt-4o 개오져서 갤순위 높아지니까 유입 분탕충새끼들 개지랄을 하네 [9]	ㅇㅇ(125.137)	05.15	2768	44
474787	정보/ 정보/뉴스	Super Alignment 프로젝트 사실상 붕괴 [6]	ㅇㅇ(119.77)	05.15	649	17
474775	일반	현재 특이점 갤러리 상황 요약.....jpg [15]	ㅇㅇ(59.9)	05.15	5433	34
474618	정보/ 정보/뉴스	새로운 언어모델 벤치마크 MMLU-Pro [15]	특갤용	05.15	507	16
474562	일반	gpt4o 이거 코드 천줄 넘어가도 잘 인식 하는데 머임? [10]	lightvector	05.15	4066	41
474535	정보/ 정보/뉴스	Google I/O 2024에서 발표된 모든 것들 [6]	니지카엘	05.15	511	15
474343	일반	속보) 일리야 큰거온다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [8]	ㅇㅇ(118.37)	05.15	5324	30
474294	일반	안전, 초정렬, 일리야 내치고도 점진적 발전 ㅇㅈㄹ ㅋㅋ [5]	ㅇㅇ(115.22)	05.15	3489	37
474251	일반	Sam Altman 오늘자 인터뷰 요약 [42]	ㅇㅇ(58.123)	05.15	5518	59
474137	정보/ 정보/뉴스	OAI 안전 정렬 팀, 다수 퇴사 혹은 해고 [3]	ㅇㅇ(119.77)	05.15	480	12
474088	정보/ 정보/뉴스	일리야, OAI와 결별 및 프로젝트 공개 예고 [12]	ㅇㅇ(119.77)	05.15	3934	38
473930	일반	??? : 흠.... [22]	ㅇㅇ(211.200)	05.15	4570	50
473884	정보/ 정보/뉴스	오늘 공개된 '제미니 1.5 플래쉬'의 혁신성 [5]	ㅇㅇ(119.77)	05.15	534	16
473681	일반	내가 느낀 openai와의 차이점 [24]	ㅇㅇ(116.123)	05.15	4411	32
473461	일반	여기서 GPT-4o 메디컬 개 미친 성능 [18]	Spark	05.15	5263	39
472895	일반	gpt4o이새끼 좀 지리는데 [6]	ㅇㅇ(121.151)	05.15	2118	24
472667	일반	GPT-4o vs GPT-4 풍경 이미지 인식 비교 [18]	elryiop	05.14	5461	37
472656	일반	gpt4o는 상상력도 풍부하네 [16]	친근한게이브	05.14	4765	43
472472	일반	진짜 나만 다른 세상인건가 4o 코딩성능 ㅈ되는거같은데 [11]	ㅇㅇ(175.213)	05.14	5244	32
472439	일반	GPT4O 갓 패치 ㅇㅈ한다	ㅇㅇ(118.235)	05.14	3515	30
472362	정보/ 정보/뉴스	오픈AI 직원 : 사람들이 GPT-4o에 대해 오해하고 있다 [43]	rtOS	05.14	7062	53
471494	정보/ 정보/뉴스	처음으로 mathvista에서 인간을 능가한 gpt4o [24]	특술람	05.14	4071	32
472057	정보/ 정보/뉴스	OAI 이벤트 초대남이 우연히 들은 말 [10]	ㅇㅇ(119.77)	05.14	614	16
472054	일반	"숨죽였던 치타가 달리기 시작한다" [19]	ㅇㅇ(118.37)	05.14	4446	36
471541	일반	■완장들은 특갤계엄령 선포해라 분탕들 좆지랄떠는거 안보이나 [24]	ㅇㅇ(61.97)	05.14	2681	44
471512	일반	GPT-4o 실체.jpg (특슬람, 선형충 멸망) [13]	ㅇㅇ(218.238)	05.14	7055	32
471475	일반	념글 사과문제 영어로 하니까 맞추는데? [14]	ㅇㅇ(119.192)	05.14	3993	29
471384	일반	념글GPT4도 리롤하면 사과문제 못맞추잖아 [7]	ㅇㅇ(121.184)	05.14	3147	17
471376	일반	4o에 왜 열광하는지 모르겠음 [61]	비닌	05.14	6534	37
471362	일반	gpt 4o 빠른대신 구리네 [24]	ㅇㅇ(175.125)	05.14	6057	25
471328	토의	하도 근들갑 떨어대길래 공식영상 보고 왔는데 [21]	ㅇㅇ(103.212)	05.14	3761	31
471293	일반	솔직히 살짝 짜치면 개추... [8]	ㅇㅇ(183.98)	05.14	5513	40
471208	일반	gpt4o 이미지 인식 미쳤네 ㅋㅋㅋㅋ [27]	비오는날의개구리	05.14	6093	24
471167	정보/ 정보/뉴스	개쩌는 오픈AI, GPT-4o 음성 모델 영상 모음 [22]	월코존버	05.14	5284	37
471082	일반	ㄹㅇ TTS, stt 모델 갖다 버렸네 도약이노 [16]	ㅇㅇ(220.71)	05.14	4185	21
471058	일반	오늘새벽 광란의 특갤 실전 요약.jpg [10]	ㅇㅇ	05.14	4688	39
471035	일반	GPT-5 진행상황 곧 공개? [12]	ㅇㅇ(59.5)	05.14	4611	24
470838	일반	이미지 인식능력 돌았다 [9]	ㅇㅅㅇ(210.91)	05.14	3832	22