며칠전에 글 올렸던 거 혼자서 이리저리 해보려 해도 진짜 답이 없는 것 같아서 마지막으로 확인 차원(?)에서 질문글 올려봄... 

스타벅스 매장찾기에서 서울시에 있는 스타벅스 매장 정보 크롤링 하는건데, 

https://www.starbucks.co.kr/store/store_map.do 이 사이트에서 

매장찾기 > 지역검색 > 서울 > 전체

이렇게 클릭하면 서울 내에 있는 모든 매장 리스트가 뜸. 600여 개 되는 듯. 

사실 여기서 바로 HTML 다운로드 받거나, 셀레니움으로 여기까지 클릭해서 들어간 다음에 page 전체 html로 불러오면 끝나는거긴 한데, 

여기서 예전에 requests로만 크롤링 하는 거 보고 유용하게 응용해서 잘 써먹었던 거 기억나서 이것도 방법이 있는지 궁금해서 물어보게 되었음.... 

대충 정보 불러오기 전에 마지막으로 수행한 동작이 '전체'를 클릭하는 거였으니까 

'전체'를 클릭하기 전 상태에서 Network 띄워놓고 

여기서 '전체'를 클릭하면 다이렉트로 서울시 전체 리스트를 출력할 수 있는 URL 링크 딸 수 있을거라 생각했거든. 

실제로 아래와 같은 경로가 따졌고, Response 확인해보면 원하는 데이터가 제대로 들어가 있는 것도 확인할 수 있음. 

이제 남은 건 여기서 Headers로 가서 Request URL을 따오는건데, 

저것만 따서 코드에 넣으면 될 줄 알았거든? 

근데 HTTP 404 에러 뜨면서 유효하지 않은 URL이라고 함. 

저 주소 그대로 웹사이트에서 쳐서 넣어봐도 유효하지 않은 URL이라고 뜨고... 

당황하지 않고 header 값 중에 referer 같은 것들 넣어보기도 하고 그랬는데 그래도 오류가 전혀 해결될 기미가 안 보임... 

그리고 문제는 저게 매번 URL을 따려고 '전체'를 클릭할 때마다 URL이 바뀐다는 게 문제... 

getStoredo?r=xxxxxx < 여기서 r= 이 다음의 값이 랜덤으로 계속 바뀌는 거 같음... 

이런 거 있을 때 저 뒤에 들어갈 parameter 값이 원래 사이트의 html 코드 중에 숨어있는 경우도 있어서 저 문자 그대로 검색해봐도 아무것도 뜨지 않는 거 같음... 

그냥 얕은 지식으로 추정해봤을 때에는 저 값이 매번 랜덤으로 갱신되는 일회용 주소인가 싶은 생각만 듦... 그러면 headers에 뭘 집어넣든 간에 무조건 안 될 거 같다는 생각만 드는... 

아니면 지도 자체가 다른 곳에서 api로 끌어오는 거다 보니 거기서 꼬이는 건가 싶은 생각이 들기도 하고... 

어쨌든 이렇게 해봤는데도 답 없었는데 이런 경우에도 requests 만으로도 웹스크래핑이 가능한건가요?