크롤링 << 이거 진짜 실력향상에 도움 많이됨

1/1

군캉스갓다올게 작성자 : 골방외톨이

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 136 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
2706713	간만에 운전햇다가 죽을뻔했다 [7]	헬마스터	14:16	49	0
2706712	석유 관련 대통령 뉴스에 관한 분석 보고서 [1]	프갤러(121.172)	14:14	35	0
2706711	솔직히 말하면 성공해도 구디가서 SI 밖에 안됨 [2]	프갤러(14.39)	14:08	63	0
2706710	왤케 기엽냐 ㅋ [2]	AppHiki	14:08	33	0
2706709	안찾아보고 코드 짤 수 있을 정도는 돼야 프로그래밍 할 수 있다임? [6]	프갤러(210.237)	14:06	79	0
2706708	꼰대들 말이야 왜 자꾸 잔소리하는거임? 좀 조용히 하면안됨? [4]	프갤러(14.39)	14:05	30	0
2706707	취업안돼서 알바면접 보러다녔는데	ㅇㅇ(223.62)	14:04	46	0
2706706	죽고 앂드ㅏ…	ㅇㅇ(223.62)	14:02	16	0
2706705	길냥이 임신한듯?	♥물병자리냥덩♥	13:57	30	0
2706704	프갤은 편하다. [9]	cvs.	13:54	68	0
2706703	부캠 나이 많은 사람들도 있구나 [2]	프갤러(125.246)	13:54	61	0
2706702	알바 두 개만 뛰어도 7200 [2]	프갤러(121.172)	13:53	55	0
2706701	정처기랑 sqld 떨어졌는데 개발자 접을까 [11]	프갤러(112.150)	13:51	120	0
2706700	지금 국비는 취업 자체가 안되지않아? [6]	프갤러(14.39)	13:46	97	3
2706699	아마존에서 책사본놈	키비	13:45	26	0
2706698	국비중인데 파이썬으로 숫자게임 만드는데 왜 이렇게 재미있냐? [2]	프갤러(14.39)	13:45	44	0
2706697	초급개발자 채용할래? vs 실수령 월+150해서 업무 +@ 할래? [5]	프갤러(210.127)	13:44	57	0
2706696	배불러서 토할거 같당..	♥끙르가즘냥덩♥	13:37	20	0
2706695	여자는 근데 얘 잘낳고 잘 키우면 되는거 아님? [5]	ㅇㅇ(223.62)	13:36	39	0
2706694	한국 서서히 망하는건 일론머스크도 어쩔수없다	프갤러(218.234)	13:31	23	0
2706693	3번의 핵이 떨어진다.. 그 중 한 곳은 프랑스 나머지 2곳은..	♥끙르가즘냥덩♥	13:31	24	0
2706692	내굽삐동기들은 취업했을까 [10]	멍청한유라ㅋ	13:30	90	0
2706691	회사에 가자 [2]	멍청한유라ㅋ	13:30	39	0
2706690	웹개발 국비해보신분들 취업률 어느정돈가요 [9]	ㅇㅇ(223.62)	13:25	105	0
2706689	누누이 말하지만 ai가 개발자 대체까진 아닌데 [8]	딱지(210.183)	13:22	75	0
2706688	포항에 기름이 난대요 [2]	ㅇㅇ(223.62)	13:19	38	0
2706687	이거 ㅈㄴ 웃기네ㅋㅋㅋㅋ [1]	ㅇㅇ(122.199)	13:16	41	0
2706686	님들 TV 외부 공유기 연결 일그러짐. 어떻게 해결해야 할까요?	도리스아(119.195)	13:15	15	0
2706685	개발자 하향평준화중 [5]	프갤러(211.234)	13:14	89	0
2706684	실베 보면 뇌가 혐오로 절여지는 것 같다 [3]	아스카영원히사랑해	13:12	35	0
2706683	노무현은 좋습니다. [2]	ㅇㅇ(223.62)	13:09	23	0
2706682	ㅈ같다	아스카영원히사랑해	13:08	15	0
2706680	개발자는 침몰중 [1]	프갤러(211.234)	12:54	54	0
2706677	★개발자 Ai대체되고 이혼당했다...★ [86]	프갤러(119.199)	12:32	349	6
2706676	애들아 우리나러 석유나왔다는데 [4]	ㅇㅇ	12:31	66	0
2706675	서초경찰서는 운전자 20대 여성 A 씨를 특가법상 도주치상, 마약류	프갤러(211.170)	12:21	19	0
2706674	아니 개발자는 아니어도 개발자랑 일하려면 [4]	ㅇㅇ(211.234)	12:18	87	0
2706673	20주년 vs 25주년	ㅁㅇ(1.237)	12:17	24	0
2706671	직구 외서는 안막히지? [2]	키비	12:05	37	0
2706670	좌익들의 언론사 장악음모 ㄷㅅㄷ	♥끙르가즘냥덩♥	11:57	23	0
2706667	요즘도 VMware로 맥 돌리는 거 복잡하냐	€워너럼보$	11:51	27	0
2706665	개씨이이이발	Atoaria	11:43	34	0
2706664	아이티노조 (SI SM 프리랜서 사이트)에서 급식들이랑 틀딱들이랑 싸움남	프갤러(172.224)	11:38	38	0
2706662	이상하게 인스타 타오바오 보따리상 광고 냄새가 나서 까보면	프갤러(49.165)	11:37	23	0
2706659	맥 잠시만 쓸 만한 곳 없겠지? [5]	€워너럼보$	11:33	60	0
2706658	결국 금융권이 답인가... 어딜가도 괙 소리만 들리네 [1]	딘퐁	11:30	68	0
2706657	대학생이나 부트캠프하는 애들한테 정보 준다. [1]	프갤러(220.76)	11:25	100	2
2706656	전공자 mes취업하는건 어떻게 생각하냐 [11]	프갤러(180.64)	11:13	95	0
2706655	전공자가 부트캠프 이력 있으면 마이너스임?? [9]	딘퐁	11:04	118	0
2706654	메이플 브금들으면서 일하는 중 [6]	노력	11:02	55	0