[%] 갤 규칙말야...

[문자열숫자열(swg0310b)]

크롤링 , 디씨 API는 왜 갤이 터질수도 있는 주제임?

[익명(99.145)]

서버 부하

[문자열숫자열(swg0310b)]

그냥 관련 질문을 하는건 괜찮은거지?

[익명(99.145)]

크롤링 관련 기술 자체는 문제 없지 않을까? 디시 타게팅 안하는 한. 아몰랑

[Coma(bmh4080)]

파이썬 갤이 그걸로 터졌던 걸로 압니다.

[SimonPeytonJones(thecoqproofassistant)]

아예 질문 올리지 마셈;;;

[커비커비(210.222)]

갤 분위기땜에 그런거 물어봐도 아무도 답안해줌

[츄럴(164.125)]

북한에서 정은이 나온 신문지 발로 밟아도 되냐고 묻는 거랑 비슷

[익명(59.187)]

디씨에 올라오는 크롤링은 크롤링 관련 질문이 아니라 웹 페이지 파싱 라이브러리 사용법, 셀레니움 기능 사용법 정도 수준이던데 예전에는 답변 다 달아줬는데 요즘 저런 스크립트 때문에 웹 전체에 발생하는 트래픽과 전력소비량을 생각하니 적극적으로 방해하는 게 더 낫겠다는 생각이 들 정도야.

[익명(58.122)]

와 전력 소비량까지 ㄷㄷ

[익명(59.187)]

크롤러 동작을 위한 링크 추출과 재귀적 동작, 중복 제거, 대규모 데이터 메시징, 분산 아키텍처, 수집한 내용의 빠른 접근 방법 같이 효율성과 구조 개선에 대한 주제들은 생각해볼 가치는 있으니 논의해 볼 만하다고 생각함

[뉴예뉴예(39.7)]

인간적으로 2초당 1페이지 정도 크롤 하면 되는데 그냥 초당 수십 수백건 돌리는 막하는 놈들이 많아서 - dc App

[Riey(rerereq)]

니가 직접 디씨한테 물어보고 된다고 대답 받아오는거 아니면 그냥 사리자