석사에 현직 5년차다.. 본인이 데이터 사이언스라 말하는 애들 중 정말 잘하는 애들 찾기가 어렵다.. 물론 나도 아직 부족하지만
내 표본 기준으로는 극단적인 양봉형임 중간이 없다.. 양봉형인데 잘하는 애들의 빈도는 낮은..
너가 속한 집단의 문제라고 하기에는 카네기, 컬럼비아등 해외파랑 SPK가 (P는 한명 봄) 전체에 절반 이상임..
걍 라이브러리 좀 돌릴 줄 아는 애들도 많고 본인이 뭘 해야 할 지 명확하게 Define 하지 않은 상태로
Prediction만 하려 하거나..Association을 Causal이라고 얘기하는 애들 보면 정신이 혼미해 짐
네카라쿠배 중 하나 다니는 현업인데, 존나 공감한다 기본도 안된놈들이 너무 많음.. 편견 안생기려하는데 데싸라고 하는놈 있으면 꼭 전공부터 확인한다 지금 학부 통계 전공인애들 내 생각엔 기회임. 지금 바보멍청이들 배척되는데 2-3년 걸릴꺼라, 전공 살려서 취업할꺼면 실력인정받을수 있을듯
잘하는 분들이 목소리를 내줘야 하는데..우리는 잘하시는 분들일 수록 조용 하다보니 점점 상태가 심각해 지는 중..
@1212(39.124) 원래 어딜 가나 그래 고수는 조용하고 빈수레가 요란한 법..
마지막 얘기는 상관관계랑 인과관계를 구분 못한다는 말인가여
실험 설계를 RCT로 했으면 뭐 Causal sense에서 의미를 가질 수 있다만 Observational Case에서 DAG도 안 그리고 그냥 P value보고 해석을 causal 식으로 하는 분들이 있더라...
마케팅을 했는데 효과가 좋았다~ 우리가 잘해서 그런거다 이런 얘기 나오면 답답하지 심플하게 여름에 아이스크림 마케팅 하면 그게 마케팅 때문일까..? 이런 생각 자체를 안하는 사람이 많아
데사는 무적권 파이썬 입니꽈
음..r도 쓰는데.. 서비스 배포까지 가려면 파이썬을 쓰는게 수월하겠죠..?
가끔 데이터 엔지니어나 백엔드로 먼저 커리어 시작하라는 사람들도 보이던데 그런건 어떻게 생각함? 물론 할 수 있는게 많이 있으면 좋겠지만 실제로 불가능하긴 하니까.. 데이터 사이언티스트도 개발역량을 갖추어야 한다고 봄? 아 그리고 현직분 환영함다 자주 글 써주세요
사실 '회사'라는 곳에서는 크게 분석을 통해 매출을 증진시키거나, 비용을 줄이거나, 서비스를 만드는게 큰 골자인데 저 분들은 당연히 필요합니다.
다만 저분들이 데이터 사이언스로 넘어왔을 때 Prediction 의 방법에서 강점을 보이지만, Interpretable한 모델링을 할때는 통계 전공자가 더 우세한 경향은 있죠..내가 가려는 회사의 도메인이 뭐냐에 따라 갈린다고 봅니다. 개발 역량은 점점 더 필요하다고 생각해요 다만 개발자 분들 만큼의 역량은 아니더라도 그들과 의사소통 할 수 있는 수준은 돼야 한다고 봅니다..
백엔드나 데이터 엔지니어로 시작하는거는 본인이 어느 도메인 영역으로 갈지에 따라 갈린다고 밖에는 답을 못드리겠어요.. 정답이 없다보니
너무 다짜고짜 질문한거 같아서 조금 죄송하긴 하네요 ㅋㅋㅋ 그래도 정성스럽게 답변해주셔서 감사해요!
현직 의견은 언제나 개추. 자주 들러주십쇼
형님 s대 통계학과 석사인데요 실력있는 데싸되려면 석사 졸업후 경력쌓을까요? 아님 여기서 박사까지 갈까요 - dc App
엇...ㅋㅋ 지도교수님이 누구냐에 따라 갈릴 거 같긴 하네요;; 신상때문에 자세한 얘기는 피하겠지만..필드로 나오실 거면 나중에 임원까지 생각있나요? 그러면 박사 괜찮다고 봅니다.. 지금은 시장에 의해 실력 없는 친구들은 자체 정화 중이라 판단되네요.. 나왔다가 실망 할 수도 있긴 해요 집이 여유가 있으면 박사 괜찮을거 같습니다. 시간 되실 때마다 git이나 블로그에 공부한 거 정리 하시면서 포트폴리오 만들어 놓으시면 나중에 취업 할 때 편할 거에요~
요즘 현타가 많이와서 남기짐만.... 제 경험으로 한정하면 회사에선 '이론' 적인 부분이 오히려 약해지고 '일' 하는 스킬이 더 늘어가게 돼요 DB 설계, 서버 어디에 둘지(클라우드,자체 물리서버) 이걸 받아와서 모델링 돌리고 테스크 스케줄링(배치) 하고 실제 서비스에 반영해서 KPI(성과) 측정 까지가 큰 흐름인데 이런걸 경험하게 될거에요, 전 이부분은 내가 생각한 걸 실제 서비스화 하는게 재밌긴 한데..이것도 점점 Automation이 돼서 10년 뒤엔 뭐먹고 살지 걱정이네요.. Causal Inference 공부도 시간나면 한번 보세요 (이 분야는 통계가 강세이고 블루칩인 듯 합니다)
좋은정보 감사드립니다! 좋은하루되세요. :) - dc App
Data Science 하려면 최소 석사 최대 박사는 해야 되는건가요?
네..리더급에는 학사만 하신분들도 계시지만 신입중에선 석사가 최소인듯요
causal inference 잘 모르면 correlation does not imply causation인거 알아도 어쩔수 없이 correlation을 봐야하는거 아닌가요 ㅠ
네 상관관계를 아예 안보라는 뜻이 아니에요 다만 거기에서 causal의 의미를 갖는 형태로 해석하면 안된다는 뜻입니다. ㅇ
산모의 흡연이 기형여부에 양의 상관관계를 갖는다고 생각하지만 데이터 상에는 음의 상관관계가 나와요, 상관관계로만 해석하면 산모가 흡연을 많이 하면 기형아 발생을 줄여주는 음의 상관관계를 가지니깐 산모에게 담배를 권하시겠습니까? 라고 결론을 지을 수 있을까요? 절대 아닙니다. 이때 산모의 흡연에 영향을 주는게 연령대 인데요 산모 중 흡연자의 경우 연령대가 젊어 저런 식의 상관관계를 갖게되죠, 이런 변수를 confounder라고 하고 causal sense에서의 해석에는 더더욱 주의하셔야 합니다. 다만 prediction이 목적이시면 train 데이터를 가지가 뭔 짓을 해도 상관 없다고 생각은 하고있습니다
1212님, 말씀주신 산모 흡연 예시는 나이가 흡연(설명변수) 및 기형여부(종속변수) 모두와 상관관계가 있음에도 나이를 설명변수로 넣지 않을 때의 endogeneity (omitted variable bias) 문제 로 보면 될까요?
현업에서 prediction이 아닌 inference가 목적인 경우가 자주 있나요...? 또 예시로 들어주신 산모의 경우에도, 주어진 데이터만 봤을때, 만약 산모에게 흡연하는것과 안하는것 둘중 하나를 추천해야되는 상황이 있다면 흡연 하는것을 추천해야되는것 아닌가요? 물론 정확한 해석은 말씀하신대로 correlation이 있다는거지 causation은 모르기 때문에 추천할수 없다가 이론적으로는 정답이겠지만, 의사결정 단계에서는 그럴수 없으니까요. 산모의 연령이나 환경같은 cofounder를 알고 있다면 좋겠지만 이건 통계의 영역보다는 domain knowledge나 art의 영역으로 느껴져서요.. 그냥 제 커절에 대한 이해가 부족해서 그런건가요
106.101님 3번째 댓글은 네 저는 그렇게 이해하고 있어요 causal sense를 찾는게 Bias를 없애는 것과 맥락상 같다고 저는 이해하고있습니다!
4번째 댓글은 Observational Study 에서 Causal Inference는 만능의 도구가 아닙니다. 도메인 영역의 전문가들과 상의를 반드시 해야 하는 문제가 맞습니다. 오히려 causal 이 있다는 주장을 하고 방어를 하기 위한 방법에 가깝다고 생각해요, 다만 inference가 목적인 경우가 자주 있냐는 질문에는 내가 뭘 해야 되는지 정의 하고 도메인 영역에 따라 다른게 아닐까요? 바이오헬스케어 계통에서 일하시는 분들이라면 inference가 메인인 경우가 많은걸로 알고 있습니다. 또 의사결정 단계라면 해석을 더 보수적이고 조심스럽게 다가가야 하는거 아닐까요? 2차 세계대전 때 비행기 격추시 추락을 줄이기 위해 특정 부위를 강화하자는 의사결정으로 오히려 비행기 추락 비율이 높아진 사례 처럼요
일반적인 confounder들을 고려했을때 충분한지, 충분하지 않다면 다른 우회방법들은 있는지, 해당방법으로 어느정도 인과효과를 추정할 수 있는지 등등 단순히 도메인지식 이외에도 적용가능한 테크니컬한 부분들은 남아있습니다. 대표적으로 쉬운 방법인 매칭이라던지(물론 고려해야할것이 많아서 쉬운방법은 아니지만)... - dc App
네 래리어트님 말처럼 PSM같이 각 Confounder의 효과를 줄여주기 위한 방법과 , IPW, Standardization form 같은 방법들이 있구요, 저도 아직 공부를 다 끝내지 못한 상태지만 이 분야에 관심을 갖고 공부하시면 분석에 대한 본인의 철학이 더 녹아 들거라 생각듭니다!
inference를 위해 사용한 경우는 ncsoft단비블로그나 pap커뮤니티에도 종종나오고요. 이미 시행된 서비스/이벤트를 평가하는것은 do(x)에 대한 조건부이기 때문에 인과적인 가정들을 충분히탐색하고, 만족되지않으면 (100%원하는 estimand가 아니더라도)우회하는 방법들을 고민해볼수 있습니다 - dc App
@래리어트 그것참 interesting한 problem이네요 좋은 solution입니다.
아..이게 그냥 푸념하려고 쓴 글인데 댓글이 계속 달리니 생각보다 에너지 소비가 있네요 추가 댓글에 대해서는 답변을 못드릴거 같습니다 . .ㅠ
좋은글 감사합니다~~ - dc App
현실 알게되니 고마운
땡스!
핵심은 결국 스킬이 문제가 아닌 사고방식이 문제란건가...대충 결과 띡띡 찍어놓고 결론내는 인간이 많아서 현타온다. 결과에 대한 논리적 해석을 시도하는 사람이 없다 이런건가