a : 네

일단 데이터 엔지니어가 무슨 일을 하는지는 사실 조직마다 달라
그래서 아닌데? 우리는 그런거 안하는데? 그럴수도 있는데 그럴땐 형 말이 맞아
옛날엔 데이터 엔지니어스러운 일을 하는 사람이 따로 있지 않거나 주 업무가 그런일을 많이 하는 사람도 그냥 분석조직에서 개발이랑 분석업무를 한다고 했지 딱히 데이터 엔지니어라고 구분해서 부르지도 않았고
또 어차피 하는일이 코딩이기도하고 업무가 데이터고 다루는 시스템이 데이터 처리 시스템이란것일뿐

기본적으로 데이터 분석과 관련된 일들 중에서 데이터 과학자들이 모델링 연구하는거 빼고 나머지 일들을 다 한다고 생각하면 될거같아

데이터 종류에 따라 예를 들어 로그 데이터인지 raw data인지 정형화된 업무 트랜잭션 데이터인지 기타 등등에 따라 데이터 소스부터 수집방법 수집한 데이터를 저장할 곳을 적절히 판단해서 결정해서 구축하고 저장할곳의 설계를 잘해야 하는것도 당연한 이야기고

수집은 데이터와 요구사항에 따라 배치로 할지 실시간으로 할지에 따라 또 고민해야 할 내용이 달라지고
이걸 하나의 방법으로 할수 있다고 주장하는 방법론부터 같은 코드를 두개 모두에 쓸수 있다고 주장하는 기술들도 있는데 들여다 보면 디테일한 부분같은것들은 당연히 달라 고민해야 하는 부분들도 달라지고

그리고 수집된 데이터를 데이터 퀄리티 검증부터 라이프싸이클이나 거버넌스 관리해줘서 과학하는 분들이 자기가 접근할수 있는 데이터만 쉽게 발견해서 가져다 쓰시기만 할수 있게 해 드려야 하고

데이터 클린징이나 전처리와 기본적인 지표생성을 해서 과학자들이 떠먹기만 하면 되게 데이터를 만들어 줘야 해
그러려면 자연히 통계적인 지표를 이해하고 기본적인 머신러닝 모델에 대한 이해가 있어야 과학하는 분들이랑 말이 통하겠지

또 과학하는 분들이 개발해놓은 머신러닝코드를 대용량 데이터에서 학습하고 만들어진 모델을 서빙할 수 있게 해 줘야 하고

요즘 성과를 보이는 머신러닝 방법이 대량의 데이터를 처리하는걸 전제로 깔고 가다보니
위에서 말한 파이프 라인들을 자동화 시켜놓으려면은 자연히 대용량 트래픽 처리나 분산처리, 확장성, 안정성등을 고민해야 하는데 형들이 말하는 백엔드 엔지니어들이 하는 것과 같은 종류의 고민이야
문제가 생기면 데이터의 분포나 사용하는 프레임웍에서 무슨 문제가 있나 살펴 보는건 웹같은데 백엔드 엔지니어들이랑은 다르겠지만 결국 어디서 문제가 발생했고 이걸 어떻게 해결해야 할지에 대한 소양은 비슷하다고 봐

그리고 다른 조직에서 데이터가 필요한데 데이터 저장소에서 바로 가져가는게 아닌 api 를 만들어서 노출해줘야 하는 일들도 생기고

여기 추가로 dw 리포팅 스러운 일도 자연히 데이터 엔지니어들한테 기대하는 경우들도 있는데 이거는 조직 상황이나 리포트 종류에 따라 논쟁의 여지가 있다고봐
반박시 형 상황엔 형 말이 맞아

쓰다보니까 하는 일중에 이야기 하지 않고 빠진게 있는것 같긴한데 어쨌든 네 알아야 합니다에 대한 보충설명이니까 대충 봐

- dc official App