디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러 하나 만들어봤는데 써보실분?

ㅇㅇ(182.224) 2020.04.15 10:39:42
조회 5407 추천 26 댓글 23
														

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73ded80fa11d028310c0dd27a92083f8186361ad12de9c0c85c0a82785ba1bf780be8c9185cc5cdca82c1efdf6c0edb8093e32583322268ac2f9876c33036

<패턴 추출기>


viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73ded80fa11d028310c0dd27a92083f8186361ad12de9c0c85c0a82785ba1bf780be8c9185cc5cdca82c1efdf6c0edb8093e377d630236aaeda9c7a963945

https://imgur.com/hZkxmdv.gif

<동적 웹 분석기 - 동적으로 로딩된 리플 요소의 콜스택을 분석하고, 관련 있는 리퀘스트들을 자동으로 조사한 것>


정확히말하면 크롤러는 아니고 크롬,파폭 개발자 도구같이 크롤러를 만드는데 도움을 주는 도구예요

개발자 도구만으로는 부족한 부분이 많아서 이미 개발자도구에 있는 것들은 빼고, 쓸만하다고 싶은거 구현해본거

개발자 도구에 없는 것만 구현해놨음


소스코드: https://github.com/rollrat/custom-crawler

윈도우만 되고, 사용법은 한국어 설명말고 영어로된 README를 읽어주세요


기능들

1. 정적 웹 분석 툴

태그 정보 추출기: 태그 정보를 그룹화시켜서 특정 패턴을 추출할 수 있는 도구

선형 클러스터링 도구: 같거나 비슷한 하위 요소들이 많은 특정 요소들을 나열해주는 도구

스타일리스트 클러스터링 도구: 웹 페이지에서 요소들이 차지하는 영역별로 분석해주는 도구

형식화된 패턴 추출기: 중복되는 웹 요소들을 추상화시키고 크롤링 가능한 형태의 코드로 출력해주는 도구

차이점 분석기: 두 HTML의 차이점을 비교하기 위한 툴. 같은 형식의 서로다른 웹 페이지가 있다면 다른 부분들을 한눈에 볼 수 있음.


2. 동적 웹 분석 툴

동적으로 로딩된 요소의 콜스택 추적: 개발자도구에 넣을 법도 한데 왜 안넣는지 모르겠음

동적으로 로딩된 요소와 관련있는 네트워크 리퀘스트 찾기: 콜스택을 기반으로 자바스크립트를 정적 분석해 함수단위, 블록단위, 호출단위별 거리 순으로 가장 가까운 거리에 있는 관련있는 리퀘스트를 찾아주는 도구


크롤러를 한 번이라도 만들어 봤다면 얼마나 쓸만한 도구인지 알꺼임

셀레니움같은거 쓰는 사람 빼고


시간나면 어떻게 만들었는지도 쓸 예정

추천 비추천

26

고정닉 7

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 공개연애가 득보다 실인 것 같은 스타는? 운영자 25/10/06 - -
AD 프로게이머가 될테야!! 운영자 25/10/01 - -
공지 프로그래밍 갤러리 이용 안내 [96] 운영자 20.09.28 47701 65
2894662 친중국가는 관광도 가지 말아야함 [1] ♥덩냥이♥갤로그로 이동합니다. 06:59 7 1
2894661 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 06:31 11 0
2894660 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 06:29 9 0
2894652 모기가 두 마리였다 [1] 발명도둑잡기(118.216) 04:31 22 0
2894646 총애를 받으면 놀란 듯이 하라 발명도둑잡기(118.216) 04:03 15 0
2894638 도둑한테 휴일이 어딨냐 발명도둑잡기(118.216) 02:53 29 0
2894637 다카이치는 결국 카미카제의 반복으로 귀결될 뿐이다 [1] 발명도둑잡기(118.216) 02:36 19 0
2894636 음기 충전 발명도둑잡기(118.216) 02:29 17 0
2894621 절대 공개하지 않는 AS센터의 전설의 기술 100% 다 공개합니다 발명도둑잡기(118.216) 01:22 20 0
2894619 다른곳은 모르겠는데 오사카 여기는 모기가 없네 류류(122.196) 01:18 19 0
2894613 이건 진짜 혁명이다… 구글 나노바나나 20가지 활용법 직접 보여드립니다! 발명도둑잡기(118.216) 01:05 24 0
2894610 I Turned This Broken Phone Into A Home S 발명도둑잡기(118.216) 00:59 14 0
2894609 This hacked Chromebox is INSANELY impres 발명도둑잡기(118.216) 00:58 13 0
2894607 운영 체제 없이 어셈블리로 프로그래밍하기 발명도둑잡기(118.216) 00:55 25 0
2894604 숙소 도착 ㅠㅠ 류류(122.196) 00:48 31 0
2894602 introducing copyparty, the FOSS file ser 발명도둑잡기(118.216) 00:42 14 0
2894600 기존 아날로그 SLR 카메라 안에 CCD를 넣어 디지털로 바꾸는 장치 발명도둑잡기(118.216) 00:37 13 0
2894598 22살에 창업해 AI로 연매출 100억 원~!창업 6년차 발명도둑잡기(118.216) 00:34 25 0
2894591 다카이치 사나에 성능 확실하네 [1] ㅇㅇ(121.168) 00:06 33 0
2894589 STOP Buying ANDROID TV Boxes! 발명도둑잡기(118.216) 00:06 12 0
2894587 중국인보다 미국인 입국이 훨씬 위험하지 [1] 야옹아저씨갤로그로 이동합니다. 10.06 25 0
2894584 Sap 개발자 좋음?? [2] 프갤러(49.172) 10.06 79 0
2894583 나님 ㄹㅇ 암것두 안하고 쉬는날이 1년에 1주일도 안됨 [7] ♥덩냥이♥갤로그로 이동합니다. 10.06 73 0
2894582 시그니처(cignature) - Boyfriend 발명도둑잡기(118.216) 10.06 12 0
2894581 cignature(시그니처) - 오로라(AURORA) 발명도둑잡기(118.216) 10.06 12 0
2894580 망해가는 그룹 살리면서 성격이 변했다는 전 아이돌 발명도둑잡기(118.216) 10.06 13 0
2894579 이재명이 말하는.. 중국을 욕 하면 안 되는 이유 발명도둑잡기(118.216) 10.06 14 0
2894575 100여 년 만에 재발굴, 김해 구산동 고분군 발명도둑잡기(118.216) 10.06 13 0
2894574 90년대 최고의 미녀연예인 10인 발명도둑잡기(118.216) 10.06 19 0
2894573 움짤같은거 어떻게 따는건줄알아?유튜브같은 거 프갤러(175.212) 10.06 14 0
2894571 당신이 난처할땐 짱깨여권을 보여주십시오 ♥덩냥이♥갤로그로 이동합니다. 10.06 29 0
2894567 TRMNL 전자종이 오픈소스 액 발명도둑잡기(118.216) 10.06 15 0
2894565 Video Card… as a Hard Drive? 발명도둑잡기(118.216) 10.06 14 0
2894563 조승연 상병 (WOODZ) - Drowning 조회수 2138만회 발명도둑잡기(118.216) 10.06 36 0
2894562 모기 너무 싫어 ♥덩냥이♥갤로그로 이동합니다. 10.06 42 0
2894557 한국도 우크라이나처럼 자국민보다 미국, 일본 꼬붕 발명도둑잡기(118.216) 10.06 15 0
2894556 전남친한테 일침 날리는 여대생 발명도둑잡기(118.216) 10.06 18 0
2894555 1평 남짓 시골집에서 주변 사람 도움 없이 산다는 100세 남성 발명도둑잡기(118.216) 10.06 21 0
2894554 DAW로 바뀌는 Audacity 4 발명도둑잡기(118.216) 10.06 16 0
2894553 (투표) 부캠 추천 프갤러(103.6) 10.06 55 0
2894552 맨유 레전드들이 다 같이 한국 노래방을 간다면??? 루니 가창력 뭐야 발명도둑잡기(118.216) 10.06 24 0
2894551 코덱스 이새끼 진짜 개똑똑하네 시발 [1] ㅇㅇ(106.102) 10.06 53 0
2894543 명절에 50만원은 그냥 쓰네 ㅅㅂ ㅇㅇ(175.223) 10.06 41 0
2894542 님들 하루 순수 커밋 코드 변화량 몇줄임 [4] 주아갤로그로 이동합니다. 10.06 67 0
2894541 와 개씨빌 모기있네 [3] ♥덩냥이♥갤로그로 이동합니다. 10.06 75 0
2894540 사람 장난 아니게 많음 ㅇㅅㅇ [3] 류류(175.223) 10.06 56 0
2894539 오사카 도착 ㅇㅅㅇ 류류(175.223) 10.06 22 0
2894538 저수준에서 코드딸 치는게 제일 쉬운거같은데 [1] ㅇㅇ(106.241) 10.06 35 0
2894537 [냥덩칼럼] 집시와 유대인 그리고 ♥덩냥이♥갤로그로 이동합니다. 10.06 52 0
뉴스 김수현, 김나영 재혼 등 연예계 희비 디시트렌드 10.06
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2