프갤에서 파이썬에 관심이 적은 이유에 대해 적었는데 간단히 정리하면

마케팅 프레이즈 "데이터해서 연봉 올리자!" → 일반인이 몰리면서 거품 생성 → IT분야 1위서적 파이썬 기초 등극

개발의 파이썬의 인기 ≠ 대중의 파이썬의 인기 


이번에는 파이썬이나 R로 데이터 업무하는걸 개발자가 이상하게 생각하는 이유를 적어봄


데이터 분석이라는게 문제를 파악해서 가설을 만들고 증명하는 과정이다 보니

매번 절차적으로 코드 작성하는 것이 힘들 수 밖에 없음


예를 들어 현업이면 반드시 할줄 알아야 하는 '전처리'라는게 있음 


캐글 or ADsP를 패스해도 별로 신뢰를 안하는게 예제가 더러워봤자 이미 정리된 데이터임

문서에 컬럼의 의미를 설명 = 컬럼이 이미 정리된거다 = Tidy Data 


불행히도 현업에게는 이렇게 이쁜 데이터를 받지 못할 경우가 꽤 많음

업무량의 비중에서 전처리 상당한게 현실(raw데이터가 너무 더러워 ㄷㄷㄷ)

파이썬, R로 처리하는 데이터면 몇 십만, 몇 백만, 몇 천만 행이 넘어 가는데 보고 처리할 수가 없음 


그래서 인터프리터 언어가 데이터 업무에서 주류로 떠오르게됨 

라인별로 반복적으로 실행하면서 매번 결과가 맞는지를 확인하고 진행해야하기 때문임 

최악의 경우 확인 작업을 하다가 가정이 틀린걸 알아채고 코드를 아예 뜯어 고쳐야 하는 경우도 빈번함 


B2B BI 툴이 제공하는 정도의 핵심 정보가 아니라

프로젝트 진행 과정의 인과 관계를 파악해야 하는 수준이면 워킹 타임이 너무 짧아서 

정해진 절차에 따라 움직이는 것은 거의 불가능해짐


이런식으로 일을 하니 개발자가 뒤에서 쳐다보다가

저게 뭔짓을 하는건가? 이상한데? 하면서 갸우뜽하고 지나가는게 일상 다반사