디시 짤방 크롤링해서 성인이미지 판별하는 거 만들어 봤는데 평가좀

파이썬개발자(182.237) 2018.03.23 09:58:31

조회 8491 추천 64 댓글 29

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077dfa7a1f9fc6f24af2d0a158

3월에 카카오 비전이라고 새로운 api가 나왔더라

거기에서 성인이미지 판별이라는 기능이 있길래 한번 테스트해봤음

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c50729f72b1a9ec9a646f2d01043

기능 데모도 제공하니깐 궁금한 사람들은 한번 해보셈

사진 보고서 soft한지 adult한지 수치를 json으로 리턴해주는 방식임

이걸 보고 딱 떠오른게 디시에서 짤방 다 모아가지고 돌려버리면

성인이미지만 필터링해서 뽑아낼 수 있겠구나 생각해봄

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5072afc744acfcbaf13f2d08b62

그래서 야짤 많이 올라오는 야구갤러리 리퀘스트 요청하고

리스폰스 받아서 크롤링 프로그래밍 함

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077dab7e1ecbc6f210f2d02032

예쩐에는 User-Agent 체크 안했는데 요즘은 체크하더라 헤더 같이 안날려주면 html 리스폰스로 안던져줌

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077fae291dcbcdf513f2d07fbc

a태그에 icon_pic_n 클래스가 존재하면 게시판 내부에 사진이 존재한다는거잖아

그래서 얘네들만 크롤링 대상으로 조건을 걸고 내부 링크에 다시 리퀘스트를 던짐

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5072cfb2917ce9aa645f2d0cea0

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077ffc7e1ccb9da341f2d057f6

이렇게 던지면 내부에 첨부파일 다운로드 받는 곳이 있거든

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077efa7b4c95c9ae17f2d0dcc8

이거 따서 또 다시 사진 저장되있는 서버에 리퀘스트를 날려줌

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c50779fe281ccbcaa64bf2d00239

그다음 리스폰스를 파일입출력으로 써주면 짤방들 수집이 가능한데

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5072bfc2f499ac9a711f2d0abe5

이런 느낌으로 다운로드가 됨

그럼 얘네를 디비에 넣고

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077bfb7f4e9bc8f246f2d08dff

nginx로 사진 서비스하고 카카오 API를 이용해서 성인이미지 판별을 시켜줌

처음에는 normalm, soft, adult가 null인데 카카오 API가 돌아가면 수치를 넣어줌

error는 png, jpg 아니면 나는거니깐 어쩔 수 없음

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077bf6784ececaf240f2d0a9db

이렇게 단순한 쿼리로 디비조회하면 성인이미지만 뽑아볼 수 있음

어떄?

고정닉 16

원본 첨부파일 13본문 이미지 다운로드

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	영포티룩도 멋지게 소화할 것 같은 40대 스타는?	운영자	25/10/27	-	-
AD	할로윈 슈퍼위크~!!	운영자	25/10/23	-	-
공지	프로그래밍 갤러리 이용 안내 [97]	운영자	20.09.28	48326	65
2899479	늘 생각하지만 당장 애니메이션 구현 하나 하는것도 며칠씩 걸리고	ㅆㅇㅆ(124.216)	04:44	1	0
2899475	석사 과정은 방송대 대학원으로, 박사 과정은 국립대 대학원으로	나르시	03:36	18	0
2899464	님들 저 잘건데 응원 부탁드립니다	공기역학	01:35	17	0
2899460	리눅스 설치하면 기존 파일들 날아감?	프갤러(79.110)	01:01	18	0
2899454	내가 코딩 유튜버를 안믿는 이유 [5]	ㅆㅇㅆ(124.216)	10.29	70	0
2899453	김서현은 끝까지 제구 안됭	♥벼락부자냥덩♥	10.29	60	0
2899452	심우준 ㄷㅅㄷ	♥벼락부자냥덩♥	10.29	31	0
2899451	완전 아크로바틱 야궁	♥벼락부자냥덩♥	10.29	29	0
2899450	와.. ㅁㅊ..	♥벼락부자냥덩♥	10.29	31	0
2899449	한국시리즈 3차전 하니라이트	♥벼락부자냥덩♥	10.29	16	0
2899448	이번에 PHP로 된 게시판 마이그레이션 150만에 옴 [12]	ㅆㅇㅆ(124.216)	10.29	63	0
2899446	그리고 개발문서만 본다고 전문가 되는거 아니다 [1]	ㅇㅇ(106.101)	10.29	42	0
2899445	인생은 왜 이리 매일매일 배울게많고 즐거울까 [2]	ㅆㅇㅆ(124.216)	10.29	35	0
2899444	ㅆㅇㅆ야 고생 많았따	ㅇㅇ(124.48)	10.29	55	0
2899442	좆됐다. 우주 팽창속도 감소중. [1]	프갤러(110.8)	10.29	44	0
2899441	법왜곡죄	chironpractor	10.29	18	0
2899440	오늘 2시간 동안 떠들고 4만원 받음. [2]	ㅆㅇㅆ(124.216)	10.29	47	0
2899439	나님 주무시기전엔 나와야 하는댕댕이와두루미흑산도홍어~	♥벼락부자냥덩♥	10.29	35	0
2899438	애널 하이라이트 언제 나오려낭	♥벼락부자냥덩♥	10.29	27	0
2899437	지피티 코드 던져주길래 이거 안돌아갈거라니까 뭔 지랄을 하는지	ㅆㅇㅆ(124.216)	10.29	26	0
2899436	기분이 좋을땐 냥덩이 흔들어봥~❤ [2]	♥벼락부자냥덩♥	10.29	41	0
2899434	Lg 3 : 7 한화	♥벼락부자냥덩♥	10.29	39	0
2899432	갑자기 앱 2개를 다음주 말까지 만들라함. [6]	프갤러(211.234)	10.29	72	0
2899419	금값이 다시 살살 올라가네	chironpractor	10.29	29	0
2899418	웹브라우저 tts 결국 운영체제 따라가는건가 보네 [1]	프갤러(110.8)	10.29	41	0
2899416	ヾ(๑╹◡╹)ﾉ" [2]	♥벼락부자냥덩♥	10.29	31	0
2899414	추모 강요는 좀 ㅇㅅㅇ [2]	류류(203.229)	10.29	45	0
2899411	나님.. 가을모기 무섭다냥.. [1]	♥벼락부자냥덩♥	10.29	43	0
2899407	무안공항은 왜 추모 안함? [10]	chironpractor	10.29	65	0
2899399	오 대박이네. 웹 브라우저에 tts 내장되어 있네	프갤러(27.170)	10.29	24	0
2899397	차에서 모기본듯..? [3]	♥벼락부자냥덩♥	10.29	24	0
2899395	나님 방금 못볼걸본걸깡..? [1]	♥벼락부자냥덩♥	10.29	40	0
2899393	씨발 ㅋㅋㅋㅋㅋ 재명이 멀뚱멀뚱 찐 존나 현웃 터지넹 [2]	♥벼락부자냥덩♥	10.29	62	0
2899392	냥덩줍❤+	♥벼락부자냥덩♥	10.29	19	0
2899391	빨러마~ 던 점 있냥?	♥벼락부자냥덩♥	10.29	18	0
2899389	요새 불법충들 트렌드가 [3]	프갤러(121.185)	10.29	47	1
2899388	예전에 위키 프로젝트인가 그거 만든다던 사람 있던거 같은데 어케 됬음? [4]	프갤러(121.185)	10.29	36	0
2899386	트럼프 "부정선거는 개소리. 이재명은 훌륭한분"	야옹아저씨	10.29	59	0
2899385	마트에서 생굴 사왔음 오늘 저녁은 굴이다 [2]	chironpractor	10.29	19	0
2899384	대학원 지원했는데 만점짜리 성적표에 놀라는군 ㅋㅋ [5]	나르시	10.29	53	1
2899382	나한테 파이썬 배워두라고 알려줬던 연구실 동료였던 나딤(파키스탄인)	ㅆㅇㅆ(124.216)	10.29	43	0
2899381	아버지 수술 끝나서 한 5시간 하셔서... [2]	넥도리아(119.195)	10.29	31	0
2899380	근데 파이썬이 다양성을 포용안하면 그것도 이상한게	ㅆㅇㅆ(124.216)	10.29	32	0
2899379	이번 트럼프정부 파이썬 150만달러 이야기 봤냐 너네? [5]	ㅆㅇㅆ(124.216)	10.29	71	0
2899378	중국기사보는데 타입스크립트 배워두길 잘했더라 [2]	ㅆㅇㅆ(124.216)	10.29	59	0
2899377	근데 중국쪽 정보 보는 애들은 느끼지만 중국이 흐름따라가기 존나 편함 [3]	ㅆㅇㅆ(124.216)	10.29	44	0
2899376	저장용 [1]	♥벼락부자냥덩♥	10.29	25	0
2899375	코드 납품하다보면 신기한게 분명히 다 같이 지피티 쓰잖아? [6]	ㅆㅇㅆ(124.216)	10.29	80	0
2899374	장사하는데 손년놈들 중에 좆문가가 너무 많다 [9]	chironpractor	10.29	50	0