c#으로 htmlagility 써서 웹 크롤 잘하고 있었는데 가끔가다가 404 서버에러 뜨면서 크롤링이 안되는 페이지도 있더군요

그런데 파이썬으로 뷰티풀슈프4를 사용하여 404서버에러 뜬 페이지를 크롤링하니게 이게 웬걸 잘만 크롤링이 되는겁니다.

그래서 무슨 차이가 이것을 가능하게 해주는지에 대해서 공부하고 싶은데 어디서부터 공부해야될지 감을 못잡아서 공부방향을 잡기위해 질문 올립니다.