어제 갑자기 뭐좀 조사할 것이 생각나서 LinkedIn API 이용해서 이것저것 쿼리 날려서 20만개 중 약 3000개 회사를 추렸다.
그 3000개 회사에 질문좀 하려 한다. 그런데 하나하나 질문을 보내려고 생각해 보니 처음부터 말이 안된다.
그래서 크로울러 보내서 이메일 수집하려 하는데, 알다시피 로 이메일 수집 못하게 막는 경우가 있다. 결국 HTML 수집후, 엔진을 실행시켜 그 결과가 이메일 주소면 그것도 수집하려 한다. 이메일 주소 없는 웹사이트는 포기 아니면 폼 서밋하는 봇을 만들어야 한다 (귀찮다).
내가 집단 발송용 이메일 클라이언트는 어딘가 있기 때문에 큰 문제 안되는데, 문제는 로 막아논 이멜.
이런 것 해본 용자? 걍 할 순 있는데, 지름길을 알려주면 좋겠다. 개념적으로 간단한 것 하면서 시간 낭비하기 귀찮다.
Linux에서 돌아가야 하고, 코드가 깨끗해서 좀 바꿔야 하는 부분 있으면 바꾸기 좋으면 된다 (남의 코드 디버깅 해주는 것은 불가)
(그나저나 LinkedIn API 정말 제대로 만들었다. 마음에 든다)
ㅋㅋ 영문 자바스크립트가 금지어냐? 다 없어졌구나. 알아서 읽어다오 빠진 단어는 영문 자바스크립트. 디시 골때리구만. ㅋㅋ
그래서 크로울러 보내서 이메일 수집하려 하는데, 알다시피 <자바스크립트>로 이메일 수집 못하게 막는 경우가 있다. 결국 HTML 수집후, <자바스크립트>엔진을 실행시켜 그 결과가 이메일 주소면 그것도 수집하려 한다. 이메일 주소 없는 웹사이트는 포기 아니면 폼 서밋하는 봇을 만들어야 한다 (귀찮다). 내가 집단 발송용 이메일 클라이언트는 어딘가 있기 때문에 큰 문제 안되는데, 문제는 <자바스크립트>로 막아논 이멜.
자바스크립트로 이메일 수집을 못하게 막는 경우가 어떤 경우인지... html문서를 가지고 와서 그 중에서 이메일 주소만 추리면 된다는거 아님?
15년쯤 전에 8억 mail 보낸다고 수집한적 있었지.. 약 5000개 정도 수집해서 뿌렸고 결과로 약 3년에 걸쳐 토탈 4만원 정도 입금 되더라 ㅋ
캐꼬꼬닭//(뭔 인터셉트가 이리 많냐?) 뭐가 좋은 정보냐? ................... 야, 스파이더몽키 vs. V8 어떤 것이 낫냐? 크롬에서 이메일 오픈 제대로 안되는 거 보면 스파이더몽키가 좀 낫지 싶은데.... 아 오랫만에 FFI 삽질하려니 짜증나네.
wget 과 grep 조합으로 가능할꺼같다. ㅋㅋ
야 니들 이핼 못하는 구나 ㅋㅋ... <a href=\'mailto:babo@ddonggo.jjoda\'>문의처</a>\"
자바스크립는 아니지만 위와 같은 거 말하는 거다.
난독화 된거 다시 풀수도 있지 않나?? 자바스크립트로.. 전에 저런 문자열 복구 시키는거 봤었는데.. 기억이 가물가물
저런거 푸는거 프갤에서인가 누가 올려놓은글 봤었는데
참, 그리고 이건 \'문의\'를 위한 거지 스팸 뿌리는 것이 아니다 (물론, 받는 사람 입장에선 스팸일 수도 있지만. ㅋㅋ)
쿄스케/너 난독증이구나. 그래서 어떤 자바스크립트 엔진 쓰는 게 좋은 가 묻자나. 몽키냐 V8이냐? 또, 그냥 HTML 입력으로 주면 출력은 자바스크립트 다 돌리고 난 결과로 뱉어내는 놈 있냐?
mailto:babo@donggo.jjoda
자바스크립트 엔진이란게 그걸 복구하는 기능을 말하는지 몰랐음.. 리플 보니까 그러네
도움 안되는 구만. 괜찮다. 생각났다. selenium 쓰면 될 것 같다.
쿄스케//그게 아니다. 자바스크립 인터프리터가 있는 데, 그걸 임베딩할 수 있어. 원래 전문 크로울러면 그렇게 해야 겠지. 복구하는 기능이 아니라 자바스크립트 인터프리터 엔진이야. 스파이더몽키는 모질라 계열에서 사용하고, V8은 크롬에서 사용한다.
ㅇㅇ ㄳㄳ .. 원래 크롤링에 별 관심 없었는데.. 봇 만들다 보니 관심이 생기고 얼마전에 케로로닭이랑 이야기 하면서 듣다보니.. 흥미가 생김 ㅋㅋ 나중에 횽 완성하면 간단하게 개발 후기라도 올려주셈
ㄴ 야 난 삽질 싫어서 안만들고 selenium 이라는 웹브라우저 기반 테스트 툴 써보려 한다. 봇인데, 내가 시나리오 제공해 주면 거기에 따라 움직이는 봇이지. 존내 느리다 특히 IE와 할 떄는... 크롬은 지원 안했었는데 지금은 지원하나 모르겠네