현업 요청 중에 단일 분석으로 raw 데이터가 5기가 넘기기가 쉽지 않음 ㄷㄷㄷ

DT로 해서 열연산 때리면 생각보다 빨리 끝남


물론 그 보다 큰 물건은 분산 처리하거나 doParallel 같은 패키지 써서 병렬연산 해야 하고 


사실 제일 중요한 점은 데이터 처리 속도에 큰 영향을 미치는 요인중 하나가

변수 (Column) 선택과 이에 따른 데이터 용량 증가인데 


R은 메모리 연산을 하기 때문에 

사용하지도 않을 변수를 잔뜩 탑재했다던가

비효율적인 방식, 예를들어 행연산 중심으로 처리를 시도 한다던가, R 네이티브 함수를 써서 느리다던가 

이런 삽질인줄 모르는 삽질을 해서 느리게 느껴지는 경우가 생각보다 많음


대표적인 행연산 삽질이 for문을 돌리는건데

R이 느리다는 소리 나오는 이유 중 하나가 열 연산 함수를 쓰는 개념없이 바로 for문 돌려버리는거 ㄷㄷㄷ 


좀더 빠르게 갈려면 apply 쓰거나 c++로 짠 함수 쓰던가, purrr패키지 등을 쓰던가 

빠르게 처리할 수 있는 방법이 상당히 많음


문제는 R 기초 교육에서는 이런거 안갈켜줌 'ㅅ'ㅋ 

당연히 초보니깐 걍 dplyr 하세염 이런거 갈켜 주고 파이프연산이 편하기도 하니깐 


그런데 실전 나가서 백만행만 넘어가도 dplyr쓰면 R이 멈춰버리는 경험 몇 번 하면 생각이 바뀜 ㄷㄷㄷ