을 잘해야 하나요
a : 네 맨날 로그 데이터나 기타 raw data만 들여다 볼게 아니라 업무 트랜잭션 데이터도 분석해야 하는데 이런  정형화된 데이터는 dw 에서 기본적으로 분석을 합니다. 이후에 머신러닝 할려면 데이터 커넥터로 잘 가져가서 쓰고 싶은 프레임워크로 지지고 복고 하면 됩니다 근데 가져갈때도 그냥 스토리지 쓰듯이 select * 해서 메모리에 다 올려놓고 거기서 판다스로 에버리지 구하고 ㅇㅈㄹ 하지말고 저기서 쿼리로 처리할 수 있는건 제발 처리하고 가져가는게 데이터가 커지면은 십중 십은  빠릅니다

q : 쿼리 튜닝 공부도 해야하나요
a : 네 그런데 oltp 성 워크로드를 위한 오라클 쿼리 튜닝 책 같은건 도움 안돼고 니가 쓸 플랫폼의 문서를 봐야합니다
일단 쿼리 자체가 대부분은 파티션 전체를 읽어서 분석작업돌리는 분석퀴리랑 레코드 하나 찍거나 좁은 범위 레코드 찾아서 업데이트 하거나 하는 트랜잭션용 쿼리들이랑 고민해야 할 내용이 다르기도 하고
아마 대부분 빅데이터 어쩌고 광고하는 플랫폼에서 돌릴텐데
같은 sql이라도 밑의 스토리지나 쿼리를 처리하는 엔진 그리고 그에따라서 쿼리 옵티마이져가 동작하는게 다릅니다
빅쿼리를 쓰든 오픈소스 하둡에 하이브 테이블 만들어놓고 스팍 쿼리를 돌리든 아니면 아예 하이브 쿼리를 돌리든 아니면 다른 회사들 예를들어 레드쉬프트를 쓰거나 아니면 스노우플레이크를 쓰든 결론은 껍데기만 sql이지 구체적으로 밑의 스토리지나 처리엔진에 따라 동작방식이나 효율은 다 다를수 있기 때문에 제품의 문서나 베스트 프랙티스 같은거를 보세요
특희 오픈소스 쓰먼 sql 인터페이스 부분 문서만 보지말고 하이브 쿼리면은 테즈나 맵리듀스가 어떻게 돌아가는지 스팍 쿼리면 스팍이 어떻게 돌아가는지 문서를 읽어봐야 쿼리 플랜을 이해할수있어요


한 줄 요약 : 빅쿼리쓰세요

- dc official App