지금 난 데이터 엔지니어 일하고 있는데
자꾸 관심은 모델 쪽으로 가네
머신러닝이던 딥러닝이던
나이는 이미 30중반인데 학사만 나와서
이제와서 대학원 가기에도 현실적인 문제가 많이 걸리고
딥러닝 관련 공부는 개인적으로 꽤 많이 했다고 생각하는데 이쪽으로 뭐 연구나 실무를 해봤어야 했다고 말할수 있지
수학 지식도 어느정도 되고 프로그래밍도 꽤 잘하는 편임
그런데 그래도 이 분야로 가려면 석사 이상은 되야겠지?
데이터 엔지니어링 쪽도 재미는 있는데 지금 회사에서 하는 일이 이제는 난이도가 너무 낮아져서 재미가 없어
그래서 자꾸 이쪽 논문보고 공부하고 하는데 참 고민되네
- dc official App
같이 일하는 AI 엔지니어 한테 어깨너머로 비비면 되잖슴
회사 ai엔지니어들 왜이리 허접스럽냐 석사까지 다하고 온거같은데 - dc App
데이터 엔지니어 ㄹㅇ 궁금한데 뭐 공부해야 좋을까? 지금 백엔드 하다가 막 갈아타서 airflow랑 카프카 책 좀 보는 중인데 - dc App
에어플로우나 카프카는 그냥 도구일뿐이고 기반 지식이 더 중요하다고 생각해 oltp와 olap의 차이와 그것들을 이해하고 dw 방법론도 공부해보고 데이터베이스도 잘 이해해야지 그래서 etl이던 elt이던 어떻게 데이터 파이프라인을 구성해야할지 등등 카프카는 실시간 처리에 필요한건데 실시간 처리 없으면 안써도 돼 그러니까 이건 좀 나중에 봐도 되는거지 기술을 배우려면 에어플로우 같은 워크플로툴 익혀두는 것 좋고 스파크 같은 거 공부해두면 좋아 - dc App
그리고 요즘은 분산 시스템이 필수적이어서 이 부분도 잘 알아야해 - dc App
ㄱㅅㄱㅅ dw는 관련 교수님이랑 어느정도 얘기해봤었는데 그 부분은 db이론 좀 본거 + @로 해보면 괜찮겠고 기술적인 부분은 에어플로 계속 보면서 스파크 봐야겠네 카프카는 당장 필요한거 아니니까 당분간 좀 밀어놓으면 되겠고 분산처리면 하둡? 말하는거면 일단 하둡 먼저 붙잡아보면 되는건가? - dc App
Db 자체는 백엔드 공부하면서 어느정도 해봤음 - dc App
질문하러 왔다가 대답해주는 글쓴이 ㅋㅋㅋㅋㅋ - dc App
응 하둡도 공부해봐 모든곳이 하둡을 사용하지는 않지만 그걸 공부하다보면 분산 처리가 어떻게 이뤄지는지 왜 하둡을 쓰는지 이게 왜 효율적이고 안전한지 등등 사상을 배울 수 있어 또 이런 분산처리는 스파크도 관련된거잖아<br>데이터 엔지니어는 설계를 어떻게 잘하느냐가 핵심이야 그 설계에 어떤 기술을 사용할지가 그 다음이고. 회사마다 환경이 다 다를거야. 어디는 클라우드 쓸거고 어디는 온프레미스로 구성할 거고 어떤건 클라우드로 어떤건 온프레미스로 하이브리드 형태로 하기도 하고. 클라우드 쓰면 참 편한데 항상 이쪽은 비용 문제가 많이 걸려. 거기에 속도 문제, 품질 문제 등등 어떻게 구성하고 설계해야 할지 빠르게 파악할 수 있는게 능력이라 본다. 그러려면 많이 알아야겠지 - dc App - dc App
감사합니다 센세 진짜 압도적으로 감사합니다 - dc App