크롤링 << 이거 진짜 실력향상에 도움 많이됨

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 121 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
2700138	가까운 미래에 SNS는 가상캐릭터가 대다수고 사람은 소수가 될겁니다	발명도둑잡기	03:28	20	0
2700137	다들 술마시고도 양치질까지 꼼꼰하이 하고자냐?? [3]	ㅇㅇ(223.38)	03:28	29	0
2700136	원래 술먹으면 숨쉬기 조오금 힘드냐??	ㅇㅇ(223.38)	03:24	13	0
2700134	뜻이 오염되어 버린 알파메일 단어.JPG	발명도둑잡기	03:11	29	0
2700132	디시 클리너 어떻게 쓰는거임?	프갤러(103.125)	03:07	14	0
2700130	오늘도 한건했다 [1]	프갤러(211.230)	03:02	31	0
2700129	독거할베의 전업주부 이해	프갤러(211.230)	03:00	16	0
2700127	들어주세요) 현재 성인인 내가 학창시절 공부를 놓은 이유 *장문 [2]	ㅇㅇ	02:55	39	0
2700126	윈도우 좆같아서 시발 애플컴퓨터 쓸수도 없고	라그네파	02:55	29	0
2700121	코드몽키는 gpt-5선에서 컷이지	프갤러(221.140)	02:49	24	0
2700120	북조선 노래는 요즘에도 전주가 다 나옵니다	발명도둑잡기	02:48	14	0
2700119	[IT기업] GPT 모델에 의해서 Coding 은 필요없게 되었습니까? [1]	+abcd3421	02:44	75	0
2700118	아 씨발 매일 맥주 2리터씩 쳐먹는것도 일이다 일이야... 힘드네	ㅇㅇ(123.213)	02:41	14	0
2700116	부캠 시작까지 일주일도 안남았는데 C#기초 언제끝나냐....... [2]	ㅇㅇ(175.117)	02:19	58	1
2700114	이거 보니까 배고프다	발명도둑잡기	02:17	38	0
2700113	지금 하고잇는거 ㅈㄴ마늠 [3]	따당이	02:16	55	0
2700112	혹시 이정도 프로그래밍 어려움? [11]	프갤러(125.178)	02:16	136	0
2700111	여긴 말하는사람 90% 듣는사람 10% ㅋㅋㅋㅋㅋ [1]	프갤러(121.135)	02:15	48	0
2700110	형욱씨 아직도 잠수탔던데 [4]	헬마스터	02:06	72	0
2700109	지금 공부하면 ai 학습속도 못따라감	ㅇㅇ	01:54	37	0
2700108	김호중 삼행시	발명도둑잡기	01:53	14	0
2700107	개발자 유입은 영원히 끝났다	ㅇㅇ	01:51	79	0
2700106	ai가 잠식할려면 3년이나 걸린다	ㅇㅇ	01:48	35	0
2700104	나라가 밉다... 이렇게 좋은 나날들을 뺏어간 나라가 서럽다 그냥... [6]	ㅇㅇ(223.38)	01:23	85	0
2700103	포프 전문 주니어 개발자 ㅋㅋ	프갤러(172.226)	00:56	53	0
2700102	진지하게 sqlp도전한다 [4]	피에로가르뎅	00:34	76	0
2700101	가난이 밉다... 남들은 배달시켜먹을때 직접 포장해가는 인생이 서럽다..	ㅇㅇ(223.38)	00:29	41	0
2700099	클라우드가 진짜 개꿀이구나 [1]	ㅇㅇ(218.150)	00:27	81	0
2700098	프로그래머스 sql문제 꽤 많네 [3]	피에로가르뎅	00:22	68	0
2700097	자바의 정석 같은 ㅂㅅ책으로 자바 시작하지마라. [1]	프갤러(113.33)	00:19	66	1
2700096	앞으로 일반 사무직도 데이터분석 정도는 기본소양이 될거같음	프갤러(14.39)	00:16	28	0
2700095	주석 추가된 코드입니다. [1]	프갤러(121.170)	05.23	77	2
2700094	나는내향적이야	ㅇㅇ(223.39)	05.23	23	0
2700092	책상청소 비포/에프터 어떤가요?! 깔끔히 잘 치운것 같나요?? [2]	ㅇㅇ(223.38)	05.23	33	0
2700091	VBA 이거 코딩 이해 되는 애 주석 좀!!!! [1]	프갤러(211.44)	05.23	44	0
2700090	프로그래머는 앞으로 고급직종이 될거고 그만큼 어려워짐	프갤러(14.39)	05.23	56	1
2700089	딥러닝 배워서 취직하면 되잖아. 뭘 그리 고민들함 [2]	프갤러(1.251)	05.23	64	0
2700088	냥덩아 김건희 동영상 SSD에서 지워라	발명도둑잡기	05.23	35	0
2700087	그리고 신입개발자는 걍 같이 삽질하는것만 도와줘도됨 [8]	프갤러(118.33)	05.23	136	1
2700086	GPT에 밀릴 걱정하는얘들은 진짜로 걍 접어라; [10]	프갤러(118.33)	05.23	125	2
2700085	5분마다 하품하는 상사	프갤러(119.197)	05.23	27	0
2700084	인공지능으로 실제로 타격입은 곳 있음? [3]	프갤러(211.246)	05.23	64	0
2700083	내년이면 GPT가 개발의 80%를 차지하겠지...?	프갤러(116.255)	05.23	24	0
2700082	리액트 강의 추천 좀	ㅇㅇ(117.111)	05.23	21	0
2700081	큭큭큭 재밌는 아이 왔다 [2]	프갤러(121.172)	05.23	53	1
2700079	슬슬 퇴근해야겠군. [8]	프갤러(121.172)	05.23	48	1
2700078	대기업은 보통 개발자 뽑을때 경력자만 뽑음? [3]	ㅇㅇ(1.248)	05.23	74	1
2700077	내가 냥덩이랑 친구 안하는 이유 ㅇㅅㅇ [2]	AppHiki	05.23	59	1
2700076	딱단국비	ㅇㅇ(211.234)	05.23	27	3
2700074	세월호를 침몰시킨 제주해군기지 철근, 미군, 노무현, 이명박 때문이다	발명도둑잡기	05.23	26	1