시발 프갤 전체 게시물 크롤링하는데 걸린시간

오늘 디씨가 개 느리더니 님 숨질래염?

dot(125.128) 2011-08-10 00:09

jick// 35기가

익명(112.159) 2011-08-10 00:11

dot// 뭐임마 초당 5페이지면 별 무리도안가구만 무슨

익명(112.159) 2011-08-10 00:12

Java 나때문아님

익명(112.159) 2011-08-10 00:12

크롤링하는거 힌트만 조금 주세요 뿌뿌잉

제시제이(goparty) 2011-08-10 00:12

제시제이//뭔힌트, 그냥 맨끝페이지부터 시작해서 list.php들어간 url만 list에서 추가하고 순차적으로 마지막페이지까지 올때까지 모두 크롤링 + 게시물마다 comment~!@~@~#4.php로 코멘트 xml 받아서 따로저장

익명(112.159) 2011-08-10 00:14

jick 뭐이자식아, 내가 한거 해봐야 동접사 20명분을 그냥 혼자서 한거뿐임 별무리안감

익명(112.159) 2011-08-10 00:15

11시간에 35기가면 별로 안먹는거같은데

제시제이(goparty) 2011-08-10 00:16

문제는 이데이터를 어떻게 가공해서 db로 사용하고, 또 어떤식으로 업데이트해서 최신db로 유지하느냐인데.... 30일치만 3일간격으로 크롤링해서 삭제글, 변형글을 분류해야겠다

익명(112.159) 2011-08-10 00:16

크롤러는 php로만들엇어요??

제시제이(goparty) 2011-08-10 00:17

일베저장사이트처럼 해보세여

제시제이(goparty) 2011-08-10 00:17

님 검색엔진 관련 기술자세여? 야후 이런데에서 일함?

ㅇㅇㅇㄷ(125.187) 2011-08-10 00:17

제시제이// 오늘 DC서버가 개판인것도 좀있음... 익셉션로그보니까 서버오류가 존나많았음

익명(112.159) 2011-08-10 00:17

근데 박스웹같은데가 크롤링해서 모바일로 변환하는건가여? 박스웹은 아무리 생각해도 어떻게 동작하는질 모르겟던데

제시제이(goparty) 2011-08-10 00:18

박스웹은 그냥 실시간 파싱아니냐? 중계서버에서 웹페이지를 파싱해서 모바일 페이지로 변환시켜주는거지... 존나 간단한 구조아니냐? 그게 왜 이해가안됨미?

익명(112.159) 2011-08-10 00:19

어차피 3일주기 업데이트라 최대 10번업데이트되는데, 미변경분줄어서 아무리많아도 5페이정도일텐데, 그리 심한낭비도아니라생각

익명(112.159) 2011-08-10 00:21

님 진짜 대단해보이는데 혹시 야후 이런데서 일하시는거아니죠?

ㅇㅇㅇㄷ(125.187) 2011-08-10 00:23

걍 크롤링 연습했다 생각하지 뭘...또 DB로 사용하고 막 그러려구해....

캐꼬꼬닭(1.226) 2011-08-10 00:25

jick// 유저의 요청에의해서 매번 실시간 파싱되는게아니라 중계서버에서 파싱해논 데이터를 유저가보게되니 초 * 전체갤러리페이지만큼 트레픽이 일어나겠네

익명(112.159) 2011-08-10 00:25

박스웹은 실시간 파싱 맞을건데 ㅋ 별거 없음...걍 남들보다 빨랐을뿐.

캐꼬꼬닭(1.226) 2011-08-10 00:26

jick// 뭔소리여 db자체는 실시간 업데이트되는거고 매일이든 시간별이든 실시간 백업파일만 생성해놓고 일정기간 유지하는거지 무슨 같은데이터를 10번을 다보관한단말이냐

익명(112.159) 2011-08-10 00:27

dc씨가 무슨 핫바리서버도아니고 일반유저 리플레시 주기를 10초로봤을때 갤러리당 초당 1페이지뷰가 발생하니 총갤러리수 * 10명 한사람분의 트레픽밖에안되는데 그게뭔 큰 무리를 주겠냐

익명(112.159) 2011-08-10 00:29

ㅇㅇ님 검색엔진 관련 기술자세여? 왜 답변을..ㅠ

ㅇㅇㅇㄷ(125.187) 2011-08-10 00:31

ㅇㅇㅇㄷ// 내가 그런 거창한새끼면 여기서 이렇게 배설이나 하고있겠냐?

익명(112.159) 2011-08-10 00:31

11시간에 30기가 넘는거 보니 본문까지 긁었나보네

어떡해(go2go) 2011-08-10 00:32

제시제이// 일반 개인PC로 실시간파싱해도 서버속도에따라 초당 5~10페이지는 파싱가능한데 뭐가빠르다고생각하는가?

익명(112.159) 2011-08-10 00:33

어떡해// 본문+코멘트xml이라 코멘트의 중복분만큼 용량이더있지

익명(112.159) 2011-08-10 00:33

난 본문은 안 긁고, 제목하고 댓글 수, 게시자만 크롤링했었는데, 궁금한게 댓글 본문에서 개수가 늘어나면 페이지가 생겨나는데 그 1-2페이지 같은 개별 페이지 댓글은 어떤 형식으로 가지고 왔음?

어떡해(go2go) 2011-08-10 00:35

혹시몰라서..^^;

ㅇㅇㅇㄷ(125.187) 2011-08-10 00:35

저기 위에 \'프로그래밍 갤러리가 개설되었습니다\'를 보면 댓글 페이지가 4페이지던데, 이게 또 단순 본문 크롤링을 하면 1페이지만 크롤링 되더라고, 2페이지 후를 어떻게 크롤링하는지 모르겠더랬음 ㅡ; 어차피 본문 크롤링은 하질 않아서 \'생각하는 것을 그만두었\'지만 ㅡ;

어떡해(go2go) 2011-08-10 00:38

어떡해// 그러니까 내가 본문+코맨트xml까지 긁어온거잔아, command~@$4.php(숫자앞에특수문자는빼고)에 쿼리날리면 페이지별로 긁어올수잇거든 거기보면 페이지만큼 xml데이터로 날려오지 그만큼 한번도 크롤링하는거지

익명(112.159) 2011-08-10 00:38

ㅇㅇ// 올 ㅋ 그렇게 하는 거구나 땡큐 ㅋ 내가 웹을 잘 몰라서 방법을 잘 모름. 이번에 웹 공부 들어가면 좀 나아지려나 ㅋㅋ 아무튼 고마워 횽 도움이 됐음

어떡해(go2go) 2011-08-10 00:40

난 저기 주소에 view_comment=(1) 부분의 숫자를 계속 변경해도 1페이지로 고정되서 나오길래, 음. 이게 아닌 갑다 했음ㅋㅋㅋ

어떡해(go2go) 2011-08-10 00:42

ㅇㅇ 새글로 싸놨음

익명(112.159) 2011-08-10 00:43

결론은 쓰레기(DC글) 수집기.

Deskjet(220.75) 2011-08-10 01:44

시발 프갤 전체 게시물 크롤링하는데 걸린시간

댓글 35

다른 게시글