1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.
2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음
3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음
4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음
5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨
6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함
7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨
ㄹㅇ 공부할거면 크롤링해라
- dc official App
요즘 셀레니움 안 씀??
너 뭘로했냐 나 잘 몰라서 scrapy만 앎
크롤링이랑 스크래핑은 다르다.