간만에 웹크롤링 관련 질문 드릴 게 있어서 왔습니다. (유튜브 댓글)

PYTHON 갤러리
미니

흔한갤

>>> import this

매니저

채채(email1422)

부매니저

Coma(bmh4080)

개설일

2020-12-14

[🔎질문] 간만에 웹크롤링 관련 질문 드릴 게 있어서 왔습니다. (유튜브 댓글)

ㅁㅁ(14.39) 2024.03.26 01:48:41

조회 72 추천 0 댓글 0

유튜브 댓글을 Selenium 없이 requests 만으로 크롤링 해보려고 하는데요...

이게 여기서 예전에 도움 받고 네이버 댓글 크롤링한 적도 있고, 그 이후에 혼자서도 이것저것 좀 시도해보고 잘 되었던 게 있어서

유튜브 댓글도 Requests만으로 크롤링 되지 않을까 싶었는데 생각보다 녹록지 않네요.

일단 영상 주소가 이거라고 치면('https://www.youtube.com/watch?v=PaoYKSlY6t4')

여기서 구글 크롬 개발자도구의 Network 이용해서

a15714ab041eb360be3335625683746f0053452ad6a4ed89d73461f09d16cd6ec56b1014c8f37b4b4cc1bbbcc3

댓글 정보가 담긴 위의 URL주소와

a15714ab041eb360be3335625683746f0053452ad6a4ed89d73461f39c14cd6eac4c6ea80ca3bd2ae224589d8c

이 값을 불러오는 Payload 값을 따오는 것까진 성공했습니다...

여기서 requests.post 이용해서

url에다가 위의 next prettyPrint에 있는 url 넣고, json Attribute에는 저 Request Payload값 그대로 json.loads에다가 넣어서 변환한 값 넣어서 돌리니까

댓글 내용이 담긴 데이터가 json 형태로 긁어지긴 하더라구요...

근데 문제는 유튜브 댓글이 많으면 로딩을 여러번 해야 실시간으로 댓글들이 업데이트 되는데,

그 업데이트 되는 창들 하나하나 payload 값을 알아야 모두 긁어올 수 있는데,

문제는 payload에 있는 값이 여기 말고는 어디에도 없는 값인 것 같다는 게 문제네요...

스크롤을 쭉쭉 내려서 가령 10개의 서로 다른 payload 주소를 가지고 있는 next?prettyPrint=false가 있으면,

10개의 창을 로드 하기 전에 requests를 이용해서 payload 10개 값을 추출할 수 있는 방법이 있는지,

그리고 10개가 아니라 100개, 혹은 몇 개가 될 지도 모르는 상황에서 모든 창을 로딩할 수 있는 (모든 next?prettyPrint=false의 payload 주소를 얻을 수 있는) 방법이 있는지 궁금합니다.

구글링 좀 하다보니 requests로 유튜브 댓글 크롤링하는 글 찾긴 했는데, (https://blog.naver.com/nkj2001/222785508400)

시간이 오래 지나지도 않았는데, 생각보다 이 때 내용이랑 현재 구조가 좀 바뀌어서 현재 상태에서 그대로 적용하는 건 불가능 하더라구요...

뭔가 이제 어지간하면 다 할 수 있지 않을까? 싶은 마음이 들 때마다 새로운 난관에 부닥치는 느낌이네요...

이래서 기초부터 탄탄하게 배워야 하는 건데...

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2860	설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
635	공지	가독성 좋은 f-string 을 쓰자 [9]	주넹	21.10.02	3103	10
1056	공지	(공지 요청)[질문지 양식] 복붙해 쓰시오. [4]	*203.121.116.11*	21.12.14	2287	3
634	공지	질문 올릴때 [2]	주넹	21.10.02	2427	5
178	공지	파이썬 공부할 때 참고할만한 것들 [6]	주넹	21.04.21	6173	6
1	공지	파이썬 미니 갤러리입니다. [9]	주넹	20.12.14	3122	7
2525	🔎질문	matplotlib 다운해서 과제좀 하려는데 시작부터 막혀요.. 도와주요 [2]	ㅇㅇ(218.48)	05.13	28	0
2524	🔎질문	파이썬 멀티쓰레드 질문. [2]	ㅇㅇ(59.19)	05.07	51	0
2523	🔎질문	도와주세요 [3]	ㅇㅇ(119.82)	05.01	80	0
2521	🔎질문	작동 되던게 갑자기 안되는 경우? [4]	ㅇㅇ(119.207)	04.26	54	0
2520	🔎질문	과제인데 해결책 던져주실분 [4]	ㅇㅇ(211.243)	04.25	72	0
2519	🔎질문	질문 하나만 해도 되겠습니까 [3]	ㅇㅇ(1.227)	04.25	64	0
2518	🔎질문	오류가 이렇게 나는데 혹시 해결방법 있을까요	ㅇㅇ(222.112)	04.24	39	0
2515	🔎질문	형들 질문좀 [3]	ㅇㅇ(220.77)	04.22	59	0
2513	🔎질문	auto gpt 사용하려하는데 [1]	ㅇㅇ(14.7)	04.20	70	0
2511	🔎질문	파이썬 pyinstall 질문 [1]	ㅇㅇ(121.171)	04.18	72	0
2509	🔎질문	selenium으로 이런 것도 가능할까요? [11]	ㅇㅇ(122.40)	04.10	155	0
2508	🔎질문	파이썬 질문입니다 제발 도와주세요 [4]	ㅇㅇ(218.154)	04.09	134	0
2507	🔎질문	코드 질문입니다 [2]	ㅇㅇ(175.192)	04.09	84	0
2506	일반	엡실론값 찾는거 도와줄사람... [2]	ㅇㅇ(61.72)	04.08	51	0
2505	🔎질문	파이썬 과제 질문드립니다.... [2]	ㅇㅇ(211.114)	04.07	135	0
2503	🔎질문	GCE으로 디시 접속하는게 막혀있는건가요? [3]	ㅇㅇ(222.119)	04.02	37	0
2502	🔎질문	혼자공부파이썬 vs 점프투파이썬 [1]	ㅇㅇ(218.237)	04.02	137	0
2501	🔎질문	같은 파일 안에있는 모듈을 import하면 오류나는데 어캐함 [1]	ㅇㅇ(211.111)	04.02	43	0
2500	🔎질문	input 함수에서 숫자랑 문자 동시에 쓰려면 어떻게 해야 돼? [4]	ㅇㅇ(119.192)	03.31	59	0
2499	🔎질문	파이썬 질문이요.. ㅠㅠ	ㅇㅇ(39.123)	03.29	75	0
2498	🔎질문	str 내가 제대로 이해한게 맞아 형들? [4]	ㅇㅇ(182.210)	03.27	86	0
2496	🔎질문	pyaudio로 usb 헤드셋 출력 장치 녹음 가능한가요?	ㅇㅇ(180.233)	03.26	48	0
2495	🔎질문	잘못된거 고쳐줘용 failed 하나 떠요 [3]	ㅇㅇ(121.180)	03.26	52	0
2494	🔎질문	잘못된 부분 고쳐줘용 [1]	ㅇㅇ(121.180)	03.26	40	0
	🔎질문	간만에 웹크롤링 관련 질문 드릴 게 있어서 왔습니다. (유튜브 댓글)	ㅁㅁ(14.39)	03.26	72	0
2492	🔎질문	파이썬 list 질문 [5]	ㅇㅇ(112.163)	03.26	80	0
2491	🔎질문	형님들 질문 있습니다. [1]	ㅇㅇ(211.185)	03.25	53	0
2490	🔎질문	파이썬 gc.collect() 결과값이 0이면 메모리 정리되었다는거임? [1]	ㅇㅇ(112.163)	03.24	44	0
2488	🔎질문	파이썬 컴퓨터에서 나오는 오디오 출력 장치 녹음 방법 [3]	ㅇㅇ(121.171)	03.22	146	0
2487	🔎질문	파이썬으로 만든 프로그램 계속 돌리면 램 쌓여? [3]	ㅇㅇ(112.163)	03.20	96	0
2485	🔎질문	파이썬 실행 시간 측정 질문	ㅇㅇ(220.86)	03.17	92	0
2483	🔎질문	助けて, 助けて, 助けて, 助けて	ㅇㅇ(210.95)	03.14	47	0
2482	🔎질문	html 파일 주피터 노트북에서 ipynb로 여는 방법이 있을까요?	ㅇㅇ(121.171)	03.12	61	0
2481	🔎질문	파이썬 파일 읽기 질문 드립니다. [5]	ㅇㅇ(121.140)	03.12	215	0
2477	🔎질문	제외할 조합 추가하면 에러 뜨는데 어떻게 해야할까요 [6]	시스템파괴	03.04	67	1
2475	🔎질문	파이썬 독학 및 데이터분석 하고싶어서 아나콘다 깔았는데 [2]	ㅇㅇ	02.28	130	0
2474	일반	chrome driver [1]	ㅇㅇ(121.125)	02.26	66	0
2473	🔎질문	win32gui 설치가 안되는 도움좀... [1]	ㅇㅇ(59.19)	02.26	104	0
2471	🔎질문	고1 입문하려는데 질문있습니다 [3]	ㅇㅇ(220.76)	02.25	132	0
2469	🔎질문	파이썬 연습중인 개초보입니다. [2]	ㅇㅇ(125.138)	02.22	114	0
2467	🔎질문	크롤링 공부중인데 주제 추천점 아무거나 만들어봄 [6]	ㅇㅇ(221.158)	02.13	123	0
2465	🔎질문	json date 날짜 변환 질문입니다. [2]	ㅇㅇ(175.194)	02.08	73	0
2464	🔎질문	멀티프로세싱 질문 [1]	ㅇㅇ(112.163)	02.07	89	0
2463	🔎질문	파이썬 - 하나의 텍스트 파일에 있는 내용을 다른 텍스트 파일에 이어넣기 [2]	ㅇㅇ(14.32)	02.07	63	0
2462	🔎질문	exe파일을 실행할 때 콘솔창 크기랑 위치 조절하는 방법 읍음? [4]	ㅇㅇ(112.163)	02.06	53	0
2461	🔎질문	도매사이트에서 크롤링 할 필요가 있는데요. 만능 크롤러 개발은 어려울까요 [3]	ㅇㅇ(211.222)	02.06	85	0
2460	🔎질문	셀레니움 실행 시 창이 자꾸 앞으로 와요 [4]	ㅇㅇ(58.140)	02.06	68	0
2458	🔎질문	다중할당 질문 [5]	ㅇㅇ(220.86)	02.04	102	0
2457	🔎질문	본체1개에 마우스2개 쓸 수 있는 방법읍음? [1]	ㅇㅇ(112.163)	02.04	63	0
2456	🔎질문	업데이트이후, 셀레니움 메모리,CPU누수 질문. [8]	ㅇㅇ(211.105)	02.03	241	0