크롤링

[코로모(qscsq)]

robots.txt는 Allow: /던데 그래도 안되는 건가요?

[시비충(223.62)]

뭐 기반으로 만듬?

[코로모(qscsq)]

windows 10

[시비충(223.62)]

데이터 인덱싱 말한건데

[코로모(qscsq)]

webclient

[코로모(qscsq)]

제대로 찾아볼려면 피방가서해야될듯

[sloth_(119.194)]

http://gall.dcinside.com/robots.txt

[sloth_(119.194)]

인데n초룰도 있고use-agent따라서다르게반응하기도하고결국은디씨좆대로고심하게긁어가면너한테전화올수도있음

[코로모(qscsq)]

아니 아침까진 두 줄밖에 없었어요

[코로모(qscsq)]

제 게시글 자꾸없어지던데 그것땜에 추가한게 아닐련지...

[sloth_(119.194)]

디씨같은똥통은관심이ㅇ벗어서모르겠지만싸이트에따라서useragent나ip대역에따라서다르게반응하는웹싸이트들도있고그런데결론은횽이서비스회사가아닌이상뭔가반응이이상하다싶으면일단안긁는게조음

[sloth_(119.194)]

보니까검색만든것도아니고인덱싱같은거생각할필요도ㅇ벗고걍아무디비에다나박았겠네

[익명(182.211)]

코로모//련지->는지