사이트마다 구조가 다 다른데
이걸 하나하나 작성하긴 곤란하고
모든 링크 하나하나 찾으면서 정보 수집하기엔
불필요한 정보도 너무 많이 들어오는데
멋진 방법이 있나요?
파이썬에서 scrapy가 그거 기본적으로 해주지 않나
나는 그거 써서 걍 깃허브 크롤링하는데
그거도 특정 사이트에 대응해서 구조 만들어야하는거 아닌가요 제 말은 여러 사이트 구조 상관없이 데이터 가져오게끔 하고 싶은데
뭘 뽑냐에 따라 다름 일정 패턴이 있는 텍스트면 그냥 body만 텍스트로 뽑아서 패턴 매칭해서 뽑을 수 있긴함 정확도도 높진 않고
파이썬에서 scrapy가 그거 기본적으로 해주지 않나
나는 그거 써서 걍 깃허브 크롤링하는데
그거도 특정 사이트에 대응해서 구조 만들어야하는거 아닌가요 제 말은 여러 사이트 구조 상관없이 데이터 가져오게끔 하고 싶은데
뭘 뽑냐에 따라 다름 일정 패턴이 있는 텍스트면 그냥 body만 텍스트로 뽑아서 패턴 매칭해서 뽑을 수 있긴함 정확도도 높진 않고