데이터 크롤링 파싱 관련해서 한 가지 물어봐도 됨?

PYTHON 갤러리
미니

자동 짤방 이미지

이미지가 없습니다.

자동 짤방으로 사용할 이미지를 등록해 주세요.

흔한갤

>>> import this

매니저

부재중입니다.(email1422)

부매니저

부재중입니다.(bmh4080) 부재중입니다.(qpwoeiruty999)

개설일

2020-12-14

[🔎질문] 데이터 크롤링 파싱 관련해서 한 가지 물어봐도 됨?

ㅁㅁ(14.39) 2023.06.03 15:12:33

조회 491 추천 0 댓글 12

며칠 전에 다른 파붕이가 질문 올린 거에 다른 고수가 답글 단 거 보고

네트워크 불러오는 주소로 동적 어쩌고 requests와 bs4로 크롤링할 수 있다길래 오늘 밥먹으면서 짬 내서 한 번 찾아보고 실습도 해봤는데,

뭐 샤크니 찰스니 그런 것들 사용하는 건 좀 어려울 거 같아서 좀 찾다 말았고,

어쨌든 크롬 개발자도구의 네트워크에서 대충 찾는 법 알아내서 url 주소는 찾았음.

어느 정도 수작업으로 하는 노가다이긴 한데, js로 추린 다음에 뭔가 딕셔너리 타입으로 정리된 이런 형태인 건 별로 없는데다가, 여기서 찾아들어갈 때도 변수명 대충 훑어보면 이게 이건지 대충 파악할 수 있을 정도라서 못할 짓은 아닌 듯..

viewimage.php?id=3da4c42eeadc&no=24b0d769e1d32ca73dea80fa1bd8233c00ee9550323bf6f11a87144efd9d99112792e40749438ad771c700a1c77a110fe228c89291896f03136cbd4b2f7b05dc48c6

근데 여기서 headers에서 url 따서 requests로 불러서 파싱해보니까

<html><body><p>/**/jQuery331004848235069648332_1685766879922({"contents":[{"serviceId":"JOURNALIST","contentsId":"56653","isDisplay":true,"categoryId":null,"countType":"PERIOD","reactions":[{"reactionType":"cheer","count":805,"isReacted":false,"periodUser":null,"reactionTypeCode":{"name":"cheer","messageCode":"reaction.type.cheer","description":"응원해요"}}],"reactionMap":{"com.naver.react.core.nbasearc.common.ReactionType@3f5259e2":{"reactionType":"cheer","count":805,"isReacted":false,"periodUser":null,"reactionTypeCode":{"name":"cheer","messageCode":"reaction.type.cheer","description":"응원해요"}}},"reactionTextMap":{"ko":{"love":"사랑해요","haha":"재밌어요","touched":"감동받았어요","away":"away","analytical":"분석탁월","recommend":"추천해요","fan":"팬이에요","quote":"퍼갈게요","sad":"슬퍼요","wow":"놀랍네요","surprise":"놀랐어요","normal":"보통이에요","like":"좋아요","want":"후속기사원해요","angry":"화나요","congrats":"축하해요","cheer":"응원해요","home":"home","yay":"기뻐요","expect":"다음작품원해요","help":"도와주세요","modify":"수정해주세요","warm":"훈훈해요","toobad":"아쉬워요","wantbuy":"사고싶어요","useful":"유익해요","likead":"광고같아요"}, 중략 );</p></body></html>

대충 이런 형식으로 뜨는데,

이거 bs4 find 함수 활용해서 파싱하려고 해도, name이 p인 것이 전부 string으로 되어 있어서 안 되고,

json.loads 하려고 해도 아마 앞에 붙어있는 jQuery331~~ 어쩌고 이거 때문인 거 같은데 하여튼 에러가 떠서 안 됨.

이건 뭔가 깔끔하게 파싱하는 방법 따로 없음?

eval 함수 이용해도 스트링 안에 true, null 이런 값들 있어서 에러 뜨는 거 같은데...

정규표현식을 이용하든 인간 정규표현식으로 노가다를 하든 스트링 자체를 다뤄서 필요한 값 찾는 방법 밖에 없는건가...

아이디어 제공 정도만이라도 해주면 함 찾아서 혼자 공부해보겠는데 검색을 해도 뭔가 내가 원하는 결과가 검색이 되지는 않아서 여기다가 물어봄..

고정닉 0

원본 첨부파일 1

스크린샷 2023-06-03 150559.png

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
-	설문	영포티룩도 멋지게 소화할 것 같은 40대 스타는?	운영자	25/10/27	-	-
-	AD	저녁 뭐먹지? 오늘의 메뉴 추천!	운영자	25/10/31	-	-
2344	🔎질문	파이썬 처럼 수치연산 빠르고 쓰기쉬운 타입언어 있나영? [5]	ㅇㅇ(121.181)	23.08.17	180	0
2341	🔎질문	파이썬으로 m3u8 추적 다운로드 할 수 있음? [2]	ㅇㅇ(14.51)	23.08.09	196	0
2339	🔎질문	파이썬으로 업비트 api 데이터 가져올때 [7]	ㅇㅇ(220.72)	23.08.08	131	0
2337	🔎질문	pygame 설치 및 pip 업그레이드 안됨 [2]	ㅇㅇ(112.154)	23.08.07	118	0
2336	일반	옛날에 물어봤었는데 다시 질문함 ㅠㅠ [3]	ㅇㅇ(49.177)	23.08.07	140	0
2334	🔎질문	님들 파이썬 개초보가 라이브러리 구경하게 도와주세요 [3]	ㅇㅇ(39.124)	23.08.03	252	1
2331	🔎질문	파이썬초보 입니다. 도와주세요 ㅜ [5]	ㅇㅇㅇㅇ(49.168)	23.07.28	189	0
2327	🔎질문	선생님들 스크랩핑 for 반복문으로 텍스트 출력하는데 오류가 발생합니다 [2]	ㅇㅇ(219.251)	23.07.18	159	0
2326	일반	문득 이런 생각이 들었습니다. [1]	ㅇㅇ(223.39)	23.07.17	89	0
2325	🔎질문	파이썬 머신러닝 테크 타고 싶음 [8]	ㅇㅇ(182.226)	23.07.17	419	0
2322	일반	오늘은 requests.post를 써봤습니다	ㅇㅇ(223.39)	23.07.15	145	0
2320	🔎질문	파이썬 완전 초보입니다. 도와주세요 [5]	아이고 인생아(115.143)	23.07.13	289	0
2318	🔎질문	님들 파이썬 주력인데 맥 사는거 어떻게 생각함? [9]	ㅇㅇ(210.91)	23.07.10	207	0
2316	🔎질문	matplotlib plt을 Gradio return값 관련 질문입니다	ㅇㅇ(210.91)	23.07.06	123	0
2315	🔎질문	정규표현식 공부하는 중 [7]	ㅇㅇ(211.234)	23.07.05	200	2
2314	🔎질문	pip로 exe 만드는법 질문입니다 [8]	ㅇㅇ(220.79)	23.07.05	204	0
2310	일반	playwright 맛보기 실패... [3]	dd(211.234)	23.07.02	224	0
2309	일반	chat GPT는 최고야... [2]	ㅇㅇ(106.102)	23.06.30	217	0
2308	🔎질문	백준 문제풀이 [5]	ㅁㅇ(118.35)	23.06.29	172	0
2307	일반	잘 되던 프로그램이 갑자기 먹통이다 [1]	ㅇㅇ(220.79)	23.06.29	78	0
2306	🔎질문	tkinter에서 창 클릭무시? 같은거 하려는데 [4]	sonrxnu(114.203)	23.06.29	116	0
2304	🔎질문	파이썬은 아닌데 다른 프로그램 질문	ㅇㅇ(118.235)	23.06.22	91	0
2302	🔎질문	파이썬 메모리 사용량 확인 어떻게 하는거죠? [1]	ㅇㅇ(220.86)	23.06.21	116	0
2301	🔎질문	함수 성능테스트 비교하는 방법 [2]	ㅇㅇ(220.86)	23.06.19	130	0
2300	🔎질문	이거질문좀 막대그래프왜이럼 [3]	강아지강아지	23.06.18	155	0
2299	🔎질문	진짜 이거 왜 안 되는지 제발 알려주세요 [1]	ㅇㅇ(211.49)	23.06.17	111	0
2297	일반	요즘 ai그림 해본다고 python 코드들 보니깐 잼나네 [2]	라댜	23.06.14	228	0
2293	🔎질문	급하게 질문... [4]	ㅇㅇ(218.234)	23.06.12	156	0
2292	🔎질문	태양-지구-달 궤도 구현해봤는데 50년만 넘어가도 달 궤도가 이상해짐; [4]	ㅇㅇ(122.128)	23.06.11	200	0
2289	🔎질문	함수 읽는법 [4]	ㅁㅇ(118.35)	23.06.08	191	0
2288	🔎질문	재귀함수 팩토리얼 [6]	ㅁㅇ(118.35)	23.06.08	176	0
2287	일반	정규표현식은 뭔가 잘 안 익숙해지긴 함 [1]	ㅇㅇ(211.234)	23.06.07	132	0
2286	🔎질문	데이터프레임 질문이요 [10]	chqh(211.178)	23.06.07	155	0
2284	🔎질문	정규표현식 너무 어려운거 같아요? ㅠㅠ 암기해야하나요 [2]	chqh(211.178)	23.06.07	156	0
2283	🔎질문	실력이 고수가 되고 싶으면 어떻게 해야하나요	chqh(211.178)	23.06.07	102	0
2282	🔎질문	from random import randint는 뭔가요? [2]	ㅇㅇ(121.186)	23.06.07	135	0
2280	일반	물어봐놓고 자세히 알려주니까 지워부노 [1]	ㅇㅇ(211.234)	23.06.06	102	0
2278	🔎질문	아는사람한테 사용하던거 갑자기 에러나는데..아는사람.. [2]	ㅇㅇ(106.102)	23.06.05	103	0
	🔎질문	데이터 크롤링 파싱 관련해서 한 가지 물어봐도 됨? [12]	ㅁㅁ(14.39)	23.06.03	491	0
2275	🔎질문	이 숫자 크롤링 할 줄 아시는 분??? [21]	chqh(211.178)	23.06.02	216	0
2274	🔎질문	크롤링하는데 Expecting value: line 1 column 1 [4]	chqh(211.178)	23.06.01	148	0
2271	🔎질문	파이썬 초보인데 따라하지도 못 하고 있습니다 도와주세요 ㅠ [3]	졸린데안자(121.169)	23.06.01	288	0
2270	🔎질문	파이썬 코드 검토좀 부탁합니다 [8]	노란하스터	23.06.01	169	0
2269	🔎질문	셀레니움 없이 크롤링 가능한 방법이 있을까요? [2]	chqh(58.123)	23.05.31	177	0
2268	🔎질문	코딩으로 간단한 게임 만들었는데... [7]	가나다라마바사	23.05.30	218	1
2267	🔎질문	pyinstaller 가 pyqt 훅 ImportError 에러가 뜹니다 [9]	ㅇㅇ(220.69)	23.05.30	155	0
2265	🔎질문	인터넷 글보고 간단한 키우기 미니게임 만들려는데 실행이 안됩니다 [4]	가나다라마바사	23.05.28	140	1
2263	🔎질문	횐님들 문외한이 물어볼 곳이 없어 찾아왔습니다... [1]	ㅇㅇ(59.19)	23.05.28	160	0
2261	🔎질문	matplotlib 오류가 뜹니다... [5]	ㅇㅇ(119.197)	23.05.27	149	0
2260	🔎질문	여기저기 돌아다니다 결국 파이썬갤 온 파이썬몇달차 늒네입니다 문제가있어요 [1]	ㅇㅇ(122.153)	23.05.27	171	0