사실 요 근래 데이터 추출을 위한 웹스크래핑이나 api 이용하는 법을 제외하고는 기존에 공부하던 머신러닝도 손 놓고 그 외에도 파이썬 자체를 잘 안 만졌는데

뭔가 해보고 싶은 게 생겨서 웹개발을 공부해보기로 했습니다.

목표는 기존에 열심히 공부했던 공공데이터 웹스크래핑을 활용해서 필요한 정보들을 수집 및 적재한 뒤 그걸 가공한 걸 웹사이트에서 누구나 접근해서 볼 수 있게 하거나
아니면 실시간으로 api 이용해서 필요한 정보를 추출하는 기능을 구현하는 것입니다.

예전에 패캠에 결제해놓은 파이썬 웹개발 강의 듣고 있는데 이걸 듣고 그게 가능할진 잘 모르겠긴 함 ㅋㅋ

보니까 AWS 같은 웹클라우드 환경도 필수적으로 써야할 거 같고 그 외 각종 디자인도 필요할 거 같은데 되려나 모르겠네 ㅋㅋ

웹개발과 같이 요새 공부하고 있는 또다른 주제 하나는 Pyspark인데 이것도 가상환경에서 리눅스로 어찌어찌 하는 것까진 환경 구현했는데 궁극적으로는 AWS 같은 웹클라우드에서 내가 따로 뭘 하지 않아도 자동으로 주기적으로 정보 추출해서 계속 쌓아서 관리하는 방식으로 뭘 좀 해보고 싶어져서 흥미가 가는 분야이긴 합니다.

사실 업무적으로 엄청 큰 데이터를 받았는데 그거 가공하다가 메모리 부족으로 컴퓨터 다운된 적 있어서 어찌어찌 코드 잘 수정해서 처리하면서 넘어가긴 했는데 그렇게 해도 한계가 있을 경우를 대비해서 미리 하드웨어 스펙을 뛰어넘어서 어떤 데이터가 와도 분석할 수 있게끔 실력을 쌓을 목적으로 Pyspark를 슬슬 공부하고 있는 중입니다...

아직까진 너무 뜬구름 잡는 소리 같긴 한데 뭐...
처음 직장 다니면서 공부할 때는 더 뜬구름 잡는 상태였으니... 바쁜 시간 쪼개서 이것저것 좀 해볼 예정임.