디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07
조회 129 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

추천 비추천

1

고정닉 0

1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는? 운영자 24/05/20 - -
2700575 SUZY (수지) '다른사람을 사랑하고 있어' 발명도둑잡기갤로그로 이동합니다. 05.24 18 0
2700574 예쁜 여자도 금방 늙어. 우리 진정한 사랑을 찾자구 [7] 춘절갤로그로 이동합니다. 05.24 49 1
2700573 몸매좋은 여자가 꼴릿한것처럼 [1] 딱꾹(61.99) 05.24 35 0
2700572 디시 압수수색 당해서 그런가 [1] 프갤러(175.115) 05.24 48 0
2700571 학식이랑 개발자도 아닌 새끼들이 ai로 개발자 끝났다 거리는거 [2] ㅇㅇ(106.101) 05.24 52 0
2700570 퇴사한 썰 풀 [5] 피에로가르뎅갤로그로 이동합니다. 05.24 61 0
2700569 예쁜 여자는 남자친구가 있을 확률이 높다는 사실 [2] 발명도둑잡기갤로그로 이동합니다. 05.24 42 0
2700567 따꾸기는 절륜군♡ [2] 딱꾹(61.99) 05.24 31 0
2700566 코딩테스트가 어려워봤자 구현력이라고 생각한 내가 병신인듯 [3] 프갤러(221.146) 05.24 86 1
2700564 취한다 으어 [1] 피에로가르뎅갤로그로 이동합니다. 05.24 23 0
2700562 네접니더 [3] 피에로가르뎅갤로그로 이동합니다. 05.24 29 0
2700561 조르디 남친 사진 올려방 [7] 딱꾹(61.99) 05.24 50 2
2700560 네접니더? 피에로가르뎅갤로그로 이동합니다. 05.24 14 0
2700559 네접니더? 피에로가르뎅갤로그로 이동합니다. 05.24 14 0
2700558 개발자 gpt로 해줘해줘만해도 대체 되잖아 [1] ㅇㅇ(221.143) 05.24 42 0
2700557 네접디너 [5] 피에로가르뎅갤로그로 이동합니다. 05.24 25 0
2700556 연봉 40% 올린 썰 푼다 [8] 춘절갤로그로 이동합니다. 05.24 87 0
2700555 접미더 [32] 가연아갤로그로 이동합니다. 05.24 85 0
2700554 오늘의 발명 실마리: 공연표를 채권처럼 증권시장에서 거래 [2] 발명도둑잡기갤로그로 이동합니다. 05.24 25 0
2700553 평화를 되찾았어 [2] 멍청한유라ㅋ갤로그로 이동합니다. 05.24 32 0
2700552 님들 후임이 디시에서 개추주작하고 있으면 어때 보임???? [3] ㅇㅇ(221.143) 05.24 56 0
2700551 슬랙도 다 볼 수 있겠지? 1(121.173) 05.24 16 0
2700550 백준 이런거 책같은거 보고 해도 되는거? [5] ㅇㅇ갤로그로 이동합니다. 05.24 45 0
2700549 개발자가 뭐가 힘들다는거임? [3] 프갤러(211.44) 05.24 56 0
2700547 美법무부, '콘서트티켓 독점 판매·가격 횡포' 티켓 마스터 기소 발명도둑잡기갤로그로 이동합니다. 05.24 19 0
2700545 아이유 최소200억→임영웅233억, 비결은 '1인 기획사' 시스템 발명도둑잡기갤로그로 이동합니다. 05.24 27 0
2700541 프로그래머도 인턴경험 중요함? [8] ㅇㅇ(223.38) 05.24 87 0
2700539 맥북안쓰는사람 죽어죽어죽어죽어죽어죽어죽어 ㅇㅇ(221.143) 05.24 18 0
2700537 정보보안/서버관리/게임개발 쪽으로 진로 방향 정했는데 셋 중 하나로 [4] 프갤러(210.101) 05.24 40 0
2700536 아직도 윈도우 쓰면 미개하다고 해야하나 프갤러(221.143) 05.24 16 0
2700535 윈도우: 호환성 위해서 팔다리 다묶음 프갤러(221.143) 05.24 15 0
2700534 윈도우 지지한다? x86 카르텔 프갤러(221.143) 05.24 16 0
2700533 하 맥에서 잘돌아가는데 윈도우에서 안돌아가네 프갤러(221.143) 05.24 16 0
2700531 윈도우 = 호환성 지킬려고 80~90대까지 일하게 시킴 프갤러(221.143) 05.24 13 0
2700530 윈도우같은 os는 세상에 나왔으면 안됨 프갤러(221.143) 05.24 14 0
2700529 윈도우 뭐이럼?? 프갤러(221.143) 05.24 13 0
2700528 윈도우 에서 코딩하고 인생이 망함 프갤러(221.143) 05.24 20 0
2700527 반도체 발전시킬필요없음 arm 쓰면 2배 성능업 프갤러(221.143) 05.24 17 0
2700526 윈도우가 없어져야 x86 프로그램도 없어짐 프갤러(221.143) 05.24 16 0
2700525 맥만 있으면 세상이 2배는 빨라짐 프갤러(221.143) 05.24 17 0
2700523 윈도우쓰지마세요 프갤러(221.143) 05.24 13 0
2700522 윈도우의 죄악 arm의 발전을 늦춤 프갤러(221.143) 05.24 15 0
2700520 사상최악의 os 윈도우 [2] 프갤러(221.143) 05.24 34 0
2700519 요즘 mz들은 맥북만씀 [4] 프갤러(221.143) 05.24 36 0
2700518 윈도우 = 호환지킬려고 80~90대 노인네도 살수있게함 [3] 프갤러(221.143) 05.24 21 0
2700517 나님 지금 조금 위험한 상태..✨ ♥순수퓨어냥덩♥갤로그로 이동합니다. 05.24 27 0
2700516 윈도우 쓰는 사람은 그냥 툴키디죠 [3] 프갤러(221.143) 05.24 26 0
2700515 윈도우에서 프로그래밍 하지마세요 [4] 프갤러(221.143) 05.24 36 0
2700513 좆소 2년 다녔는데 고참됨 [2] 프갤러(211.44) 05.24 37 0
2700512 형욱씨 잠수 왜케 오래하냐 [7] 헬마스터갤로그로 이동합니다. 05.24 42 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2