디시 짤방 크롤링해서 성인이미지 판별하는 거 만들어 봤는데 평가좀

프로그래밍 갤러리

1/1

한국인들 이해안가는 점 프로외노자
우리 같이 못사는 서민 일수록 환경파괴 위해 노력해야 하는 이유 나트륨찡
어린이날에 불행한 어린이를 걱정하는 마음 ㅇㅇ
안드를 aos라고 하는거 극혐아니냐? 헬마스터
프갤 최상위권 갤러목록 2024.5.11 나트륨찡

저출산 해결하려면 부자들 끌어내려서 빈부격차 해소해야함 야옹이는 야옹야옹 작성자 : 골방외톨이

디시 짤방 크롤링해서 성인이미지 판별하는 거 만들어 봤는데 평가좀

파이썬개발자(182.237) 2018.03.23 09:58:31

조회 7870 추천 63 댓글 29

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077dfa7a1f9fc6f24af2d0a158

3월에 카카오 비전이라고 새로운 api가 나왔더라

거기에서 성인이미지 판별이라는 기능이 있길래 한번 테스트해봤음

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c50729f72b1a9ec9a646f2d01043

기능 데모도 제공하니깐 궁금한 사람들은 한번 해보셈

사진 보고서 soft한지 adult한지 수치를 json으로 리턴해주는 방식임

이걸 보고 딱 떠오른게 디시에서 짤방 다 모아가지고 돌려버리면

성인이미지만 필터링해서 뽑아낼 수 있겠구나 생각해봄

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5072afc744acfcbaf13f2d08b62

그래서 야짤 많이 올라오는 야구갤러리 리퀘스트 요청하고

리스폰스 받아서 크롤링 프로그래밍 함

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077dab7e1ecbc6f210f2d02032

예쩐에는 User-Agent 체크 안했는데 요즘은 체크하더라 헤더 같이 안날려주면 html 리스폰스로 안던져줌

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077fae291dcbcdf513f2d07fbc

a태그에 icon_pic_n 클래스가 존재하면 게시판 내부에 사진이 존재한다는거잖아

그래서 얘네들만 크롤링 대상으로 조건을 걸고 내부 링크에 다시 리퀘스트를 던짐

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5072cfb2917ce9aa645f2d0cea0

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077ffc7e1ccb9da341f2d057f6

이렇게 던지면 내부에 첨부파일 다운로드 받는 곳이 있거든

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077efa7b4c95c9ae17f2d0dcc8

이거 따서 또 다시 사진 저장되있는 서버에 리퀘스트를 날려줌

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c50779fe281ccbcaa64bf2d00239

그다음 리스폰스를 파일입출력으로 써주면 짤방들 수집이 가능한데

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5072bfc2f499ac9a711f2d0abe5

이런 느낌으로 다운로드가 됨

그럼 얘네를 디비에 넣고

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077bfb7f4e9bc8f246f2d08dff

nginx로 사진 서비스하고 카카오 API를 이용해서 성인이미지 판별을 시켜줌

처음에는 normalm, soft, adult가 null인데 카카오 API가 돌아가면 수치를 넣어줌

error는 png, jpg 아니면 나는거니깐 어쩔 수 없음

viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73cef84fa11d02831d4e5505a1e01769e4e91e1ab79a252edaa7286c500e672fb2dfbcec69520e79a1614ad59c5077bf6784ececaf240f2d0a9db

이렇게 단순한 쿼리로 디비조회하면 성인이미지만 뽑아볼 수 있음

어떄?

고정닉 16

원본 첨부파일 13본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
공지	프로그래밍 갤러리 이용 안내 [68]	운영자	20.09.28	34615	62
2694206	프로그래머는 글두 열심히하면 애기키울수 있잖아	딱국(61.99)	04:09	1	0
2694205	그니까 빨리 다들 열씨미해서 내가 좋아하는 여자한테 달려간다구	딱국(61.99)	04:07	3	0
2694204	여자들은 돈많은 남자를 좋아하는게 아니야	딱국(61.99)	04:02	5	0
2694203	The Restless Age - Don’t Forget About Me	발명도둑잡기	03:59	2	0
2694202	세금 다 이쁜여자들한테 주고	딱국(61.99)	03:56	7	0
2694201	동대문경찰서, 드라마 '크래시' 배우 이민기와 특별상영회 개최	발명도둑잡기	03:47	4	0
2694200	유연석·채수빈, 부부된다… MBC 드라마 '지금 거신 전화는' 출연 확정	발명도둑잡기	03:47	4	0
2694199	이쁜 여자들은 나라에서 몇십억씩 공짜로 줘야돼	딱국(61.99)	03:33	11	0
2694198	롤갤에서 갖고온건데	딱국(61.99)	03:18	17	0
2694197	Ed Sheeran - Curtains, Lauv - Potential	발명도둑잡기	03:18	7	0
2694196	Ed Sheeran 모음	발명도둑잡기	03:16	7	0
2694195	Ed Sheeran - The Joker And The Queen (fe	발명도둑잡기	03:14	7	0
2694194	딱꾸기 짝녀가 딱구기보고	딱국(61.99)	03:14	15	0
2694193	뭔가 성욕이 올라가면 얼굴도 잘생겨지는거같아	딱국(61.99)	03:07	20	0
2694192	하 어떡해어떡해	딱국(61.99)	03:05	17	0
2694191	노라조 - Leave me alone \| 일개미도 가끔은 혼자 있고 싶다	발명도둑잡기	03:03	8	0
2694190	Hozier - Too Sweet	발명도둑잡기	03:01	7	0
2694189	2017.04.26 - 다중음격 147회: 대선 후보들의 로고송 [한동윤	발명도둑잡기	02:51	7	0
2694188	김대중 대통령 취임식에 온 마이클 잭슨	발명도둑잡기	02:45	11	0
2694187	플러터 쓰지마라 [1]	프갤러(180.71)	02:44	27	0
2694186	게임 코드좀 잘만지는 사람있음?	프갤러(183.102)	02:43	16	0
2694185	유튜브보다 틱톡이 10배 이상 나옵니다	발명도둑잡기	02:35	11	0
2694184	박스 줍는 노인 입갤이요.~ ㅇㅅㅇ	헤르 미온느	02:31	9	0
2694183	식물이랑 헤드셋이랑 사서 lofi 감성으로 코딩 데스크 셋업 해볼까?	프갤러(14.39)	02:23	10	0
2694182	딱국이가 잘못한거같아 ㅠㅠㅠㅠ [2]	딱국(61.99)	02:20	30	0
2694181	연차에 비해 개발 못하는 특 [1]	프갤러(118.235)	02:04	50	0
2694180	106회 <압구정 종갓집>과 m-flo-All I want is you	발명도둑잡기	01:56	13	0
2694179	따당이 정신차룟!!!	딱국(61.99)	01:51	30	0
2694176	따당이 탈퇴했네	프갤러(180.71)	01:42	31	0
2694175	프로그래머 수학 [9]	ㅇㅇ(211.234)	01:40	72	0
2694174	애들아 나 잘게 ㅇㅅㅇ... [3]	초코냥	01:36	49	0
2694173	여자가 남자친구의 정관수술을 망설인 이유	발명도둑잡기	01:25	29	0
2694172	docker 랑 kubernetes 꼭 써야할까? [6]	ㅇㅇ	01:12	53	0
2694171	프갤보고 개발자에대해 느끼는 점. [1]	프갤러(218.49)	01:11	59	0
2694170	퓨리오사에서 연봉 1.1 받는다	프갤러(106.101)	01:06	30	0
2694169	마케팅의 천재 태권도장 관장님.jpg	발명도둑잡기	01:03	14	0
2694168	따당이와 딱국은 [1]	멍청한유라ㅋ	01:02	40	0
2694167	따당이 떽!! 정신차룟!!!	딱국(61.99)	00:58	22	0
2694165	공부존나게 하니 코딩 존나잘되는데 [3]	프갤러(180.71)	00:49	66	0
2694163	님들 docker 방화벽 관련 질문점 [4]	ㅇㅇ	00:48	38	0
2694162	개발자 경력직은 관상만 보고 채용해도 된다 [6]	ㅇㅇ(27.35)	00:30	121	4
2694161	싸피 [3]	프갤러(95.141)	00:26	57	0
2694160	제일 병신 상사가 일만 처 떠안고 보상은 못챙겨주는 새끼 [2]	프갤러(118.218)	00:24	45	1
2694159	인생 망했다는 놈들 필독. 인생 루트 [1]	프갤러(180.71)	00:23	35	1
2694158	"고전기 영화와 최근(?) 영화의 차이점" 글 보니 드는 생각	발명도둑잡기	00:23	10	0
2694157	여기 커리큘럼 어때?? 전공자 [2]	딘퐁	00:18	60	0
2694156	특이한 희귀견종 코몬도르	발명도둑잡기	00:17	8	0
2694155	상용화급 플젝하나 만드는중인데 느낀점 [2]	프갤러(180.71)	00:16	39	0
2694154	프로그래머가 힘든건 다 자기 탓이다 [3]	프갤러(118.218)	00:14	69	1