조립식 PC 부품들 데이터베이스를 구축하는 좋은 방법이 따로 있을까?


이거 데이터베이스 만들어서 이거저거 해보려고하는데 좋은 방법이 떠오르지를않네..


한번만 스크래핑떠서 가지고 쓸거면 이런질문 할 필요 없이 바로 스크래퍼 하나 만들어서 외국 데이터사이트에서 긁으면 되는데, 지속적으로 신규 출시하는 제품 정보들도 가져와야되는게 문제임..


그럼 그냥 스크래퍼를 크론 돌리면 되는거 아니냐? 라고 할수도있는데 사실 지금 떠오르는 가장 쉬운 방법도 결국 이거긴 하지만..

문제는 그럼 스크래핑 하는 사이트 구조가 좀만 바뀌어도 다시짜거나 에러가 생길 가능성이 있다는거임


메인으로 긁는 사이트 하나, 서브 백업용으로 긁는 사이트 하나 해서 총 두개 사이트를 긁을수도있지만, 이 경우 그냥 깔끔해보이지도 않거니와 혹시라도 같은 제품이라도 서로 표기하는 이름이 달라지는 이런걸 다 전처리해줘야되는게 너무 고통스러울거같음


무엇보다 지속적인 데이터수집을 타 사이트에 전적으로 의지해야되는게 너무 거슬림


혹시 좋은 방법이나 이런 부품 데이터들 정보를 떠주는 API같은게 있을까?


다나와 이런덴 어떻게 긁어오는거지.. 그냥 무지성 스크래퍼로 긁는건가? 아니면 그냥 따로 쇼핑몰마다 API를 제공받나..