이거 가져다 쓰셈
직접 만든거
어지간한 오류들 싹다 커버해주고 성능 좋음
이걸로 유튜브 트위터 인스타 디시 크롤러들, 공지 알림봇들, 뉴스 수집기 이런거 만들었었음
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | // HTML 가져오기 var html = NetTools.DownloadString("https://gall.dcinside.com/board/lists?id=programming"); // 디시 댓글 가져오기 var nt = NetTask.MakeDefault("https://gall.dcinside.com/board/comment/"); nt.Headers = new Dictionary<string, string>() { { "X-Requested-With", "XMLHttpRequest" } }; nt.Query = new Dictionary<string, string>() { { "id", article.OriginalGalleryName }, { "no", article.Id }, { "cmt_id", article.OriginalGalleryName }, { "cmt_no", article.Id }, { "e_s_n_o", article.ESNO }, { "comment_page", page } }; return JsonConvert.DeserializeObject<DCInsideComment>(await NetTools.DownloadStringAsync(nt)); | cs |
대충 이렇게 쓰면됨
1 | ServicePointManager.DefaultConnectionLimit = int.MaxValue; | cs |
커넥션 무한대로 맞추는거 잊지말고
솔근이 불러라
크롤러를 만드는 이유는 내 실력을 향상시키기 위해서다
ㅇㅇ 그건맞는데 c#에선 웹 리퀘스트 다루기가 어려워서 저정도는 써도 괜찮다고봄