봇이니 HTML수집이니 크롤링이니 자바스크립트 엔진이니 -_-

[바보플머(218.155)]

봇이니 HTML수집이니 크롤링이니 자바스크립트 엔진이니 -_-

이런건 뭐야?

뭘 공부해야돼?

관련 책 좀 추천해줘.

[페고떼찌(pegotetti)]

야, 걍 들어보고 감이 팍 와서 혼자 인터넷 뒤져서 못하면, 아무리 가르쳐줘도 못한다. 즉, \"말하기 전에 이해하지 못하면, 말해줘도 이해하지 못하는\" 거야. 고생해라. 내가 아래 쓴 것만 보고 뒤져도 \"말하기 전에 이해하는\" 능력만 있으면 일주일 안에 하나 만들거다. 고생해라.

[쿄스케(keoerd)]

일단 기본 베이스는 웹을 아는게 좋지..

[바보플머(218.155)]

웹을 먼저 알아야 될 것 같아. 가르쳐줘.

[페고떼찌(pegotetti)]

쉐키, 우냐? 울지말고, selenium이란 것 찾아서 그거 한 한달 갖고 놀아봐라. 삽질은 하지말고. 그러다 보면 대충 뭐가 뭔지 알게 될 거야. 아니면 더 늦기전에 다른 직종 알아봐. 중요한 건 놀면서 배우는 거다. 알았냐?

[페고떼찌(pegotetti)]

좀더 힌트주면, 루비, 파이썬, 등등 이런 류의 프로그래밍 언어를 갖고 selenium server를 조정하는 거야. 그러면 웹브라우저 (드디어 크롬도 지원된단다. 크롬 써라) 한테 뭘 어떻게 할지 프로그래밍 해서 먹여주면 웹브라우저가 그대로 한다. 거기서 웹브라우저 빼고 하면 그게 UI 없는 봇이 되는 거야.

[바보플머(218.155)]

오옹... 감이 잡힘.

[페고떼찌(pegotetti)]

쉐퀴, 울면서 알려달라 해서 기특해서 알려주는 거니, 고생해라.

[바보플머(218.155)]

그런데 나에겐 웹의 기본베이스가 필요함.

[바보플머(218.155)]

페고떼찌 쌩유~

[페고떼찌(pegotetti)]

쉐키, 말귀 못알아 듣네. 야 기본이 재밌게 놀면 생긴다니까 뭔 소리여! 그래서 내가 말했지, 말안해줘도 이해 못하면 말해줘도 모를거라고. 더이상은 모르겠으니 니가 스스로 고생해라.

[바보플머(218.155)]

ㅋㅋㅋ 쿨하네 ㅋㅋㅋ

[쿄스케(keoerd)]

파싱만 하는 거라면 웹은 필요가 없을지 모르지.. 근데 디씨봇이나 다른 자동 답글 다는 봇 같은 경우는 세션을 유지해야 하는둥 파라메터로 뭘 던져주는등.. 헤더에는 어떤걸 넣어주는등.. 그런게 있기 때문에 웹을 알아두면 좋다는 거야..

[쿄스케(keoerd)]

나한테 술사면 부족하지만 내가 알고있는 방법에 대해 최대한 알려주도록 하마 ㅎㅎ 예전에도 누가 썼듯이 봇 만드는건 누구나 다 하는거니 나한테 너무 큰 기대는 하지말고... ㅎㅎ 술은 핑계고 너의 4차원적인 사고를 몸소 체험하고 싶다

[바보플머(218.155)]

맞아 그런거, 무슨 세션이니, 파라메터니, 헤더니 그런거...

[바보플머(218.155)]

사용법 말고, 그런 것에 대한 개념(?)들이 설명된 그런거 (뭔소린지 나도 모르겠네)

[쿄스케(keoerd)]

그니까 내가 알고 있는거에 한해서 설명해 준다고 ㅎㅎㅎ 내가 예전부터 그렇게 데이트 신청했는데 안받아줄거냐?

[바보플머(218.155)]

무슨 최말단 기본서부터 시작할꺼 아님 -_-? 그 기본

[바보플머(218.155)]

2013년에 돌아오마... -_-Ω

[쿄스케(keoerd)]

자바 다룰줄 알면 urlconnection 이란걸로 네이버나 디씨의 특정 주소에 접속에서 거기서 뱉어내는 html형식 문자열을 보는거 부터 시작해.. 나도 맨 처음 저걸로 했음... 지금은 httpclient쓰지만...

[페고떼찌(pegotetti)]

야 보자보자 하니... 니들 장난하냐? 그런 걸 뭘 가르치고 배우고 하냐 ㅋㅋ... 쩐다 쩔어.

[쿄스케(keoerd)]

횽이야 경력도 많고 잘하니까 하찮겠지만 바보플머한테는 어려울수 있지.. 모든 기준을 형에 맞추지는 말아줘 -_-

[페고떼찌(pegotetti)]

쉐키덜 겁만 많아서... 야 쿄스케, 그래서 내가 selenium 갖고 시작해 보라 한거다. 그거 하다보면 자연스레 개념이 생기니까. 니들이 잘 몰라서 그러는가 본데, 경력 많다고 그런 것 잘하는 것 아니다. 내가 날때부터 개념 빨리 빨리 캣치하고 한것 아니다. 존내 험한 환경(?)에서 살아남으려다 보니까 이렇게 된 거지. 걍 새로운 장난감으로 생각하고 만지다 보면 \'감각\'이 생기고 발달하는 거야. 어쨌든, 고생해라.

[퓨리님(111.91)]

뭔가 페고떼찌 약장수 삘이 난다;;

[땡칠도사(07dosa)]

- _-) 그냥 HTML 다운 받아서 RegExp하는게 가장 빠름. 어차피 웹페이지라는게 자주 바뀌기 때문에 빨리 만들어서 후딱 쓰고 버리는게 최선책임.