실행하면 이런 거 뜨는데

여기서 기사 검색 조건들 입력하라는대로 입력하면

밑에 짤 처럼 기사기재일자 / 기사제목 / 하이퍼링크 순서로 쭉 나열된 상태로 엑셀파일 저장되고

os.startfile(~~~) 이걸로 작업 끝나자마자 자동으로 엑셀파일 열리게 해놓음. (근데 사실 엑셀파일 열면 열너비 조정 안 된 상태로 열려서 더블클릭 두 번은 해줘야됨;; 그거 더블클릭 두 번 하는 거 대신 해주는 거 구현해놓는답시고 openpyxl import 하고 코드 한 두 줄 더 넣는 게 효율적인건가 싶기도 하고... 는 사실 핑계이고 그냥 귀찮아서 열너비 조정하는 거 빠르게 구글링 해서 넣을 생각조차 안 듦... 내년에 전체적으로 개선하면서 이것도 보완할 예정)

저 시기쯤에 엔씨 슈퍼개미 기사랑 NFT 관련된 기사 똑같은 거 엄청 올라온 셈 치고는 적당히 쳐낼만한 기사 쳐낸 거 같기도 하고.. 아닌 거 같기도 하고...

원래는 konlpy인가 그걸로 형태소 뽑아서 명사 / 동사 정리한 다음에 유사도 분석 돌리려고 했는데

설치 과정에서 자바 설치하고 환경 구축하라고 하는데 똑같이 해도 안 되길래 포기하고 (어차피 공유목적이라면 제한이 있을 거 같기도 하고)

아쉬운대로 특문 다 제거하고 띄어쓰기 기준으로 분리한 다음에 그걸로 유사도 분석 돌려서 일정 수치 이상 유사하면 삭제하는 식으로 for 문 돌려서 구현함.

좀 생각해보니까 어차피 기사 제목이란 게 명사 위주로만 나열한 게 대부분이니까 일단은 아쉬운대로 이 정도만 되어도 괜찮은 거 같기도 한 듯...

(예: 거래소, 엔씨소프트 '5000억 슈퍼개미' 거래내역 들여다본다. >>> 이거에서 특수문자 다 날리면 거래소 엔씨소프트 5000억 슈퍼개미 거래내역 들여다본다)

근데 노가다로 인간 딥러닝을 통해서 어느 정도 수치가 적당한가 확인해보려니까 진짜 천차만별인 거 같아서 그냥 input() 구현해서 이용자의 선택에 맡기기로 함.

만들고 보니 별 거 아닌데

항상 이런 거 만들면서 느끼는건

뭔가 아이디어 머릿속으로 혼자 그려서 이거 이렇게 이렇게 하면 되겠지? 하고 로직 다 정리된 상태에서 코드 치다보면

진짜 생각지도 못한 부분에서 3~4 시간 이상 그냥 순삭되는 경우가 많은 듯.

기초가 부족하기도 하고 원래 그런건가 싶기도 하고;;;

이것도 겨우 새벽까지 밤새가면서 만들었는데도 자꾸 Key Error 떠서 뭐지 하다가 포기하고 잠들었는데

자고 일어나서 다시 코드 한줄 한줄씩 돌려가면서 확인해보자는 마인드로 천천히 확인해봤는데

pandas에서 인덱스하는 게 그냥 파이썬 고유의 '순서'를 뜻하는 게 아니라 판다스 자체 데이터의 index 번호를 동시에 의미하기도 해서 여기서 계속 에러가 떴던 거였음.

대충 데이터프레임의 5번째 행을 인덱스하고 싶어서 [4]를 뒤에 붙였는데 이게 데이터가 한 번 정리된 상태에서 index 번호가 뒤죽박죽인 상태에서 [4] 이런 식으로 찾아들어가다 보니까 에러가 오지게 떴던 거..

그러면 고유한 위치를 찾아들어가는 식으로 코드를 구현하거나 index를 reset해서 값이든 위치든 상관없이 잘 찾아들어가게끔 dataframe 자체를 정리하는 방법이 있을 거 같은데

당장 index를 reset하는 코드 찾는게 쉬운 거 같아서 바로 구글링 해서 해결하고 이제 됐다 싶어서 돌려보는데

또 되다가 안 되다가 이상하게 꼬이길래

이것저것 또 이유를 파악해보다가 하염없이 시간 보내고..

걍 이럴 바엔 라이브러리를 싹다 지우고 다시 깔아보자는 마인드로, 가상환경에 깔린 관련된 라이브러리 다 지우고 새로 다 설치함.

그렇게 돌리니까 갑자기 가상환경에 openpyxl이 설치 안 되어 있다고 뜨길래 "뭐지 이거 첨 보는 에러코드인데... 원래 pandas 설치할 때 같이 설치하는 거 아닌가" 싶었는데 당장은 원인 해결방법이 너무 명확하니까 openpyxl 설치해서 에러 코드 없이 성공했는데

기존에 위에 짤처럼 하이퍼링크 잘만 달려서 엑셀파일에 구현되던게

갑자기 그냥 텍스트로만 구현되는 거...

사실 링크 복사해서 브라우저 가서 손으로 붙여넣을 거면 이거 만드는 의미 퇴색되니까 어떻게든 또 구현해보려고

pandas랑 openpyxl 버전도 낮춰봤는데 그래도 하이퍼링크가 안 붙여지는 거..

아 시바 뭐지... 왜 되다가 안 되노...

하다가 아까 원래 openpyxl이 없었어도 에러코드 안 떴는데 갑자기 openpyxl 에러코드 뜨는 바람에 설치했다는 사실이 생각나서

이거 혹시 pandas 엔진을 기존에 xlsxwriter인가 그거 쓰다가 어찌어찌 삭제하고 다시 깔고 하면서 openpyxl 쓰도록 바뀌었나? 그래서 openpyxl 없다는 에러코드도 안 뜨다가 갑자기 뜨기 시작한건가?

라는 생각이 들어서 구글링으로 xlsxwriter로 pandas 엔진 바꾸는 거 찾아서 그거 구현하고, xlsxwriter 모듈 설치하고 돌리니까 다시 원래대로 하이퍼링크 붙여진 채로 나옴.

교훈: DataFrame.to_excel(~~.xlsx)를 할 때는 인수로 engine=xlsxwriter를 추가해주면 하이퍼링크 텍스트에는 하이퍼링크가 붙여진 상태로 엑셀파일이 저장된다.

일단 나는 그랬음

이 정도로 삽질하다 보니까 그래도 그럭저럭 내 나름대로 만족할만한 결과물이 나오기는 나온 거 같아서 불편한 마음이 싹 사라짐

기본적으로 jupyter notebook이나 vs code 돌아가는 방식을 몰라서 평소 코드 짤 때는 jupyter notebook으로 짜는데

실행파일로 만들 때는 그거 .py로 내려받은 다음에 vs code에서 적당히 작업해서 바로 프롬프트에서 pyinstaller 돌림

근데 계속 .exe로 만든 다음에 에러코드 확인하고 다시 삭제하고 다시 만들고 에러코드 확인하고 그런 뻘짓 하다가

그냥 명령 프롬프트에서 바로 python 명령어로 .py 실행하면 된다는 걸 몇 시간 전에야 다시 깨닫고 그 때부터는 그나마 에러코드 처리하는데 좀 수월했던 듯...

근데 사실 이것도 최종 완성작은 아닌게,,

특정 조건에서만 '우연히' 코드가 잘 돌아가는 것일 수도 있으니까 여러 조건으로 이리저리 돌려보는데 특정 검색어와 / 특정 기간을 설정했을 때에는 웹스크래핑 하는 단계에서 계산된 로직과 다른 결과물이 떠서 에러코드가 뜨는데 어떤 조건에서 에러 발생하는지만 기록해두고 내년쯤에 체크해보는 걸로....

기사제목이랑 기사 하이퍼링크는 html에서 특정 class에 한 군데에 묶여서 같이 움직이니까 처리하기 쉬운데

기사일자는 동떨어져서 따로 움직이는데다가 고유한 class 이름도 아닌 거 같아서 다른 문자까지 같이 끌고오는 거 if와 elif 등으로 처리하면서 데이터프레임에 집어넣는데 이 과정에서 데이터 개수가 안 맞아서 데이터프레임이 안 만들어지는 오류인 거 같기는 함...

이게 다 beautifulsoup을 날림으로 공부(?)하고 하나도 이해 안 된 상태로 동영상 강의에서 보여준 샘플 코드만 가지고 이리저리 응용하면서 구현한 대가인 듯..

뭔가 그 상황에서도 딱딱 맞춰서 필요한 데이터만 뽑아올 수 있는 방법이 있을 거 같긴 한데..

그리고 만들면서 생각난건데

코스피 / 코스닥 상장사 관련 키워드 같은 경우에는

기사검색일자 설정한 거에 맞게 주가정보도 끌고와서 그래프 쭉 그린 다음에

주가 움직임이 크게 튀는 일자에는 기사 리스트에 따로 표시해 두는 식으로 구현하는 것도 괜찮을 거 같긴 함

그러면 몇 달 동안의 해당 기업 관련 주요 이슈를 수많은 기사 중에서 콕 찝어내는 걸 훨씬 더 효과적이고 효율적으로 할 수 있을 듯.

그리고 엔씨소프트처럼 기사가 좀 많이 뜨는 키워드의 경우에는 데이터 긁어오는 시간과 중복 처리하는 시간이 생각했던 것보다 꽤 오래걸림..

한달 반 정도 조건으로 검색해봤는데 계속 돌아가길래 뭔가 에러가 있나 생각들 정도로..

다 정리하고 나서 저장된 데이터 보니까 400개 좀 넘는 걸로 봐서는 원래는 1000개, 2000개도 훌쩍 넘었을 거 같은데 그런 거 치고는 괜찮은 편이긴 한건가...

근데 이중 for문으로 두개씩 비교해서 유사도가 높으면 아래에 있는 걸 공란으로 만들어놓고 나중에 한 번에 null값 다 날리는 식으로 했는데

처음 유사도 검사할 때 유사도 높은 거 식별되는 즉시 그 행은 날리는 식으로 구현하거나

아니면 if 문으로 null값이 들어가는 경우에는 유사도 계산 안 하고 바로 pass 하는 식으로 구현하면 시간 훌쩍 줄어들긴 할 거 같은데 이것도 일단 내년에 할 예정.

그래도 몇 개월 전에 이런 거 있으면 좋지 않을까 라는 말을 직장에서 주워듣고

5년 이내에는 구현하는 걸로 목표한 셈 치고는

되게 빠르게 만든 셈이니까 좀 뿌듯하긴 함.

만드는 과정이 재미있기도 했고...

갤을 일기장처럼 쓰는 거 같은데 그냥 잡소리라고 생각하셈 ㅋㅋ

끝.

0

 0

0