sparse attention, state space machine 논문들 특이긴 하지만
NSA 념글간 논문도 어텐션 방법 3개 조합해서 만든데다가
기존연구와 비교하기 위한 실험 세팅도 검증하려면 학습 데이터, 학습에 투입된 계산량, 하이퍼파라미터 다 봐야하고
데이터셋이 정말 일반적인 작업 데이터셋인지, 아니면 sparse attention에만 유리하게 적용된건지
근데 이거도 인더스트리얼 레벨에서는 이미 훨씬 최적화하는 방법들이 많이 있다고 하더라
머리 깨지겠네
그래서 딥시크 어떻게 만들었냐고 물어보니까 'super smart guy with strong mathematical background'라고 함. 아까 잘 모르는 애들이 '그냥 돈만 퍼부으면 되는거 아녀? ㅋㅋ'라고 하는데 절대 아님.
진짜 아카이브 랭킹 먹는 논문들은 너무너무 앞서있어서 이해하기가 힘들어... 복잡한거도 복잡한건데 개념 자체가 한차원 뛰어넘어버림 저번에 념글간 논문 봤을때도 거의 3~4시간 투자해서 봤음
해당 댓글은 삭제되었습니다.
최신논문 웬만하면 안 읽힐걸? 아니면 차라리 수준 낮은 학술대회 논문이나 옛날에 상받았던 논문 계속 읽는거 추천 거의 1년정도 걸림 최신논문 읽을려면
어 옛날모델 잡고 연구하면 그만이야~~~~~~~~~~
내가 그 인더스트리얼 레벨에서 일하는데, 랩실 연구원도 아닌데 논문을 봐야하고 검증, 실용화까지 해야해서 지옥 겪는 중
경쟁이 너무너무 치열하고, 전세계에서 가장 똑똑한 인재들 다 몰려 들어서 진짜 살아 남기 어려울듯 하다...
근데 돈이 워낙 많이 도니까.. 오히려 기회라는 생각도 들어 젊을때 바짝 벌고 일찍 퇴직하는 꿈 이룰 수 있을지도..? 하는 생각 ㅋㅋ
근데 월급쟁이로는 연봉 좀 더 받아봐야 파이어족 못함. 빅테크 AI정도는 가야될텐데 거기가려면 정말 장난 아닐듯
ㅇㅇ 나도 레벨은 좀 낮은 인더스트리에서 일했었는데 poc 기간 존나빡세 ㅜ MLOps 있는곳으로 가야함 진짜
빅테크 AI TF라서 연봉은 괜찮은데 말그대로 TF 차출이라 얼마나 버틸 지 모르겠음 애초에 국내에 MLOps 제대로 구성된 곳이 얼마나 있을까 싶어 여기가 이지경인데..
음 ai개발자들도많ㄴㅎ