나의 원래 주개발언어는, 너희들이 존경하고 동경해마지 않는 PHP이다.


그런데 PHP로 지금까지 크롤링/파싱을 수없이 많이 해봤지만

속도문제가 늘 있었음.


특히 유머사이트 같은 크롤링/파싱이야 별 문제 없었지만

업체별, 대량으로 수천수만건의 크롤링을 해야하는 일도 진행해보니까

PHP로 뭔가를 크롤링하고 파싱하는 것은 적합하지 않더라.


제일 큰 문제가 생각지도 못했던 array가 잡아먹는 서버 메모리 문제.

그리고 PHP계에서 dom파싱할 때 쓰는 simple_html_dom의 속도 문제.


그래서 이번엔 nodeJS로 해봄.

소스 졸라 간결하고, 속도도 빠르고, 메모리도 덜 먹음.