요약

https://github.com/SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSun/Danawa-Crawler

or

https://docs.google.com/spreadsheets/d/173z04QolUloLeTZMjXjdQvW6NQFzGrxdr4PXjKt8_EI/edit?usp=drive_link


매일 9시 12시 15시 18시 21시 24시에 실행되서 가격/판매몰 수 긁어옴

실행시간 대충 10~20분쯤 걸림


현재 목록 :

CPU, 메인보드, 공랭 쿨러, 수랭 쿨러, 램, 그래픽카드, SSD, HDD, Case, PSU



=======================================


만든 이유

구글 스프레드시트에 이런 기능이 있구나이건 혁신이야gall.dcinside.com

스프레드시트에서 importxml 함수 한 200개 쓰니까 먹통되서


긁어오는 정보

ID / 상품명 / 종류 / 가격 / 판매몰 수 / 기타


현재

CPU, 메인보드, 공랭 쿨러, 수랭 쿨러, 램, 그래픽카드, SSD, HDD, Case, PSU

긁어옴. 나중에 다른 품목도 추가 원하면 바로 추가 가능할 듯


https://github.com/SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSun/Danawa-Crawler

여기서 .csv 파일로 바로 보는 것도 되고

https://docs.google.com/spreadsheets/d/173z04QolUloLeTZMjXjdQvW6NQFzGrxdr4PXjKt8_EI/edit?usp=drive_link

여기서 스프레드시트로도 볼 수 있음
(참고로 이건 걍 위에 .csv 파일 불러오는 시트임, 이것도 1시간 마다 리프레시 되게 해뒀으니 아마 잘 작동할 듯?)






걍 주저리

다나와 이 사이트는 open api가 2019년도에 종료됐더라

그래서 직접 하나씩 긁어야 했음


다나와의 robots.txt

검색엔진 봇이랑 이상한 HMSE?봇 빼면 걍 자유인듯

Disallow 된거 빼고


만들어 놓고 자동 돌려야 하는데 남는 컴이 없어서 무료 서버 알아봤는데

GCP라는게 있더라고 (Google Cloud Platform) 거기서 허접 cpu 2코어+1gb ram 서버 하나는 무료라길래 사용해봄


와 내 컴에서 실행 하는데 2분 걸리던게 무슨 10시간이 걸림

바로 서버 삭제&카드 등록 해지 하고 다른거 알아보는데 깃허브에선 코드 걍 까면 공짜더라


어차피 나도 긁어온 코드라서 그냥 깃허브로 돌림


수랭쿨러 시트 피드백좀 해주실분https://docs.google.com/spreadsheets/d/1r8QL6iQUQNtjEpbMedr5c92URHzvHvPhecGr7fpTqo8/edit?usp=drivesdk AIO Coolegall.dcinside.com

그리고 여기서 시트 작성하던 계정



이유는 모르겠는데 계정 터져서 하나 새로팜

시트 데이터 자체는 어케 살렸는데 서식이 다날아갔네