ML, 더블딥 - 경제학이론 마이너 갤러리

경제학이론 갤러리
마이너

경제학 이론 및 현실경제와 금융에 관한 이야기를 하는 곳입니다. 경제학과생의 취업 또는 학부/대학원 생활에 대해서도 이야기합니다.

매니저

Erudite(bbus301)

부매니저

Utility(dceconom…)

개설일

2017-03-13

[일반] ML, 더블딥

경갤러(218.53) 2024.02.03 13:19:29

조회 122 추천 1 댓글 1

https://medium.com/mlearning-ai/intuitive-explanations-of-why-over-parameterised-deep-nets-dont-overfit-8a323b223ba6

Why over-parameterised deep nets don’t overfit?

Over parameterisation in deep neural network is not as bad as classical ML models.

medium.com

데이터에 비해 파라미터 수가 매우 적을때는 몇개만 추가해도 적합도 상승

추가하다 보면 비교적 적은 파라미터를 가지고 제일 좋은 예측을 하는 구간 도달 (첫번째 딥dip)

그 이후에 파라미터 추가하면 과적합되어 예측성능 나빠짐

그런데 또 추가하다 보면 어느 순간 예측성능이 다시 좋아지기 시작해서

최종적으로는 적은 파라미터를 사용한 최선의 예측보다 더 나은 예측이 되기 시작함 (두번째 딥)

왜 그런지는 모른다고 하는데 들어본 가설 중에는 (파라프레이징하자면)

파라미터가 많아지면 주어진 데이터에 최적인 모델이 아니라 로컬 최적인 모델간의 셀렉션하는 모델이 생긴다

파라미터가 많아지면 에러표면이 평활화되어서 알고리즘이 전역최적화하기 좋아진다

이런 것들이 있었음

경제학은 문과이기도 하니까 문과감성으로 이야기하자면

이런 유머 있었지

첫번째 딥의 왼쪽이 학사 석사고 오른쪽이 박사 교수

그래서 교수는 중간의 봉우리에 있다고 볼 수 있지 않나

그럼 두번째 딥으로 내려가는 부분은 왜 못 가봤나?

현실에 아직 나타나지 않은 데이터라서

학문의 대가란 무엇인가?

두번째 딥으로 내려가는 방향을 제시하고 이해시키는 사람

이런 생각이 들었다

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
26499	일반	아주 쉬운 원론 문제 하나만 질문드리겠습니다 [1]	경갤러(175.119)	02.28	190	0
26498	일반	윌리엄슨 거시경제학은 번역본 없나요? [2]	ㅇㅇ(118.235)	02.27	199	0
26496	일반	자본주의는 지속가능한가. [3]	경갤러(223.39)	02.26	337	12
26495	일반	파생이는 코리아디스카운트 어떻게 생각하냐 [2]	ㅇㅇ(118.235)	02.26	233	0
26494	일반	개추 주작하시는 형님 비법좀... [4]	김파생	02.25	345	16
26493	일반	경린이들 인접학문을 무시하는게 은근 꼴림... [2]	김파생	02.25	635	22
26492	일반	벡터미적분학 경제학 어디서 쓰이는지 알려달라...	김파생	02.25	324	16
26491	일반	r제곱 낮아도 되는 경우=	김파생	02.25	500	17
26490	일반	dsge에 베이지안 mcmc하는 이유... [1]	김파생	02.25	480	19
26488	경제이 경제이론	아주쉬운 경제학원론 문제 하나만 알려주실분 [2]	ㅇㅇ(49.166)	02.25	165	0
26485	일반	동거시에 라이프니츠 룰이 나오는데 어떻게 하는 건가요 [2]	경갤러(118.44)	02.25	224	0
26484	일반	경영학과 원론	경갤러(211.185)	02.25	70	0
26483	일반	반갑읍니다 학부 1학년따리입니다…..	ㅇㅇ	02.25	113	0
26482	일반	중경외시에도 한은 경제 가능하려나 [5]	ㅇㅇ(211.104)	02.24	510	0
26480	일반	디씨 처음하노	ㅇㅇ(223.39)	02.24	11	0
26479	일반	글들이 자꾸 사라지네요 [1]	석사김(61.99)	02.24	23	0
26477	일반	R^값이 .1~.2인데도 논문으로 출판가능한 이유가 뭐임? [4]	ㅇㅇ(223.39)	02.24	281	0
26470	일반	황상필 시계열 어떰?	ㅇㅇ(118.235)	02.23	99	0
26469	일반	근데 공대생들이 수학 잘한다는것도 좀 근거없는소리 아님? [9]	ㅇㅇ(223.38)	02.23	255	0
26468	일반	와 증권사 가니까 사람 얼굴이 흙빛으로 변하네 [1]	경갤러(218.51)	02.23	412	1
26467	경제이 경제이론	경린이 생산가능곡선 질문입니다!	ㅇㅇ(223.38)	02.23	81	0
26465	일반	경제학부 졸업생 진로 보통 뭐임? [4]	ㅇㅇ(106.101)	02.23	415	0
26464	일반	그 탑스쿨 프리패스 서울대 경붕이 어딨냐? [3]	경갤러(118.235)	02.23	147	0
26463	일반	경제학자의 고민 [1]	경갤러(223.39)	02.23	145	0
26462	일반	경제는 숫자가 아니라 사람이다? [5]	ㅇㅇ(1.242)	02.22	203	0
26461	경제이 경제이론	재정학 ㅡ 신고전파 투자이론 ㅡ 중립적 법인세 질문 [2]	ㅇㅇ(110.70)	02.22	134	0
26458	경제이 경제이론	세무사 재정학 하는 중인데 질문점 [5]	ㅇㅇ(110.70)	02.22	223	0
26456	생활이 생활이야기	탁월한 엘리트 경제 두뇌집단 경마갤이 생존해나가는 방식에 대한 짧은 글 [5]	naehan	02.21	350	1
26454	일반	의대 논란으로 핫한 이때	경갤러(124.195)	02.21	117	1
26453	일반	요즘 부쩍 열받게 하는 글이 많이 올라오노 [2]	경갤러(223.39)	02.21	678	13
26452	일반	원서보고 싶은데 영어를 개못해 [7]	꾸물꾸물	02.20	303	0
26451	일반	경제학자에게 필요한 수학적 역량 [7]	경갤러(223.39)	02.20	508	0
26450	일반	석박 하신분들께 질문 [10]	경갤러(124.195)	02.20	432	0
26449	일반	맨큐의경제학 10판 번역본 언제나옴?	경갤러(220.117)	02.20	91	0
26447	경제이 경제이론	브렛 크리스토퍼스라는 경제학자 아시는 분 있나요? [3]	ㅇㅇ(112.187)	02.20	200	2
26446	일반	경원12 동시 수강 ㄱㄴ? [4]	ㅇㅇ(175.193)	02.20	137	0
26444	일반	컴공 복전이 의미가 있을까 [9]	ㅇㅇ(125.240)	02.19	305	0
26442	일반	경제학자의 본분 [7]	경갤러(223.39)	02.19	778	12
26441	일반	성장에 미친 괴물 [3]	각연(118.235)	02.18	567	10
26439	일반	dsge에 mcmc [8]	경갤러(106.102)	02.18	267	0
26438	생활이 생활이야기	게임분석으로 이해하는 온라인 의사소통 방식의 역학 [9]	naehan	02.18	227	0
26435	일반	의외로 맨큐 원리가 저평가 받는거 좀 안타까움 [3]	ㅇㅇ(210.3)	02.17	367	0
26433	일반	학부생 커리큘럼 [16]	경갤러(223.39)	02.16	594	0
26432	일반	수학답)세상에 나쁜 개는 없다... [5]	김파생	02.16	663	11
26431	일반	한국 경제학계는 플랜테이션 농장 같은거에여... [1]	김파생	02.16	782	15
26428	일반	상위 지거국(부경) 경제인데 미박 질문 [9]	경갤러(124.195)	02.16	521	0
26427	생활이 생활이야기	WFA 리젝 [3]	AssetBubble	02.16	215	1
26426	일반	답답한 인간들 진짜 많네 왜 저러냐 진짜 [3]	ㅇㅇ(211.234)	02.15	563	10
26425	일반	계량 다음 책 뭐 보면 됨? [1]	ㅇㅇ(118.235)	02.15	239	0
26424	일반	석사 가기 전에 수학 공부할건데 최대한 쉬운 거 추천좀 [6]	ㅇㅇ(211.36)	02.15	378	0