공대 학부생이라 기본적인 미적,선대,통계는 알고 있는데 처음에 인공지능 이론 배울때는 오차역전파나 행렬곱나오면서 수학이 나오는건 알겠는데 이후에 머신러닝/딥러닝 프로젝트나 캐글하면서 수학이 그렇게 중요하다고는 못느꼈음..논문 읽을때도 수식이해하는데 필요하긴하지만 솔직히 몰라도 활용하는데는 무리없을 것 같은데..
[일반] 머신러닝에서 수학이 중요해지는 시기는 언제쯤임?
익명(122.37)
2024-06-04 15:56
추천 2
댓글 27
다른 게시글
-
다변수 클러스터링 해보신분 [4][일반] 익명(baked9203) | 24.06.03추천 0
-
산업인공지능은 전망이 어떰?[일반] 익명(219.255) | 24.06.03추천 0
-
여기 비전공자인데 대학원생인 분 있나요?? [2][일반] 딥붕이(14.63) | 24.06.02추천 0
-
엔비디아 DLI 수료증 이게 좋은거임? [1][일반] dd(61.82) | 24.06.02추천 1
-
AI 취업 현실글 왜 삭제됨? [3][일반] 익명(121.173) | 24.06.02추천 5
-
왜 LLM용 그리드 컴퓨팅은 없을까[일반] 익명(118.47) | 24.06.01추천 0
-
근데 데이터분석이 뭐가 어려움?? [4][일반] 익명(iniesta6) | 24.06.01추천 0
-
모델 그림 잘그린 논문 추천좀 [3][일반] 망한인생(dconly36) | 24.05.31추천 0
-
아니 코랩 프로 결제했는데 a100 사용이안됨 [1][일반] 익명(61.98) | 24.05.31추천 0
-
워드 임베딩 궁금한게 있습니다. [10][❓질문] ㅁㅁ(223.62) | 24.05.31추천 0
수학못해도 캐글이나 문제푸는데에 문제없음... 근데 딱 거기까지인것만 알아두면 됨. 많은 사람들이 위로 가려면 수학 필요하다고 하지만 딥러닝갤 애들 수준에서 수학 얘기 꺼내봐야 듣지도 않음
그 위가 뭔지 모르겠음..논문 작성하는 수준을 말하는 건가? 근데 실제업무에서도 그 정도 수준이 필요함?
실제 업무에 쓰려면 캐글에선 듣도보도 못한 문제들이 나오는데 그런 문제들이 깃헙에 떡하니 누군가 라이브러리를 만들어 놓진 않음 그런 실전 문제들을 해결할려면 문제들의 특성을 알고 이용해야되는데 데이터가 sparse인지 dense인지 어떤 metric을 쓰는게 좋은지 수학을 해야 알수있지 예를들면 자연어 처리 엠베딩에서 L2 distance랑 Cosine distance랑 동치임? 코사인 거리에서 최소라고 했을떄 L2 노름에서 최소라고 할수있나? 이게 적용되는 데이터는 어떤 데이터고, 우리 문제에 있어서 이게 무시할만한 수준인가? 이런 문제들
글쿤..그러면 그런 문제들을 해결하기위해선 학부수준 수학으로 충분함? 아니면 더 공부해야되나..?
그걸 내가 어케 아노 니 수준에 맞춰서 공부해야지 딥러닝 갤은 그냥 80%병신글 + 20% 찐 전공자글 보는 재미로 오는곳임
딥러닝 기초 벗어나서 대학원 수준에서 좀만 고급 테크닉 들어가면 다 수학인데 그 필요성을 못느낀다는건 남이 만들어둔 라이브러리만 갖다 쓰고 있단 거겠지
그 고급 테크닉이 뭡니까
그 대단한 테크닉 알려좀 주시죠? 댓글만 보면 여기 갤러들 icml, aistats 등 컨퍼에서 theorem, lemma, proposition 이 쭉 나열되고 proof가 핵심인 페이퍼 쓰는 사람 존나 많은 것같은데 현실은 0에 수렴함 ㅋ
대단한 테크닉이 아니니까 입꾹닫 하고 있는거지 글쓴새끼 보면 대단한 테크닉 대단한 테크닉 무새하고 있는데 공대 학부생 수준 선대 미분 배운애 한테 복소해석이랑 신호처리 SVM만 가져와도 못배운 개념일텐데 이걸 대단한 테크닉이라고 하기도 그러니까 이새끼 뭐지? 하고 입꾹닫 하는거임 - dc App
걍 내가 뭘 모르는지 모르겠으니까 가르켜주셈 하는 핑프새끼인데 대놓고 보여서 무시까는거임 - dc App
솔직히 대부분의 연구는 상위권공대 4학년수준의 수학이면 가능 그 대부분의 랩실에서 하는 연구가 쓸모없다는게 문제지
니가 수학기반 딥러닝을 안하니까 그렇지
솔직히 몰라도 활용에 무리없는것 같다 = 원시인한테 총을 던저주니까 개머리판으로 사냥잘하고 무리없더라
솔직히 딥러닝한다고 전부 수학 잘할 필요도 없고 하드한 수학은 이론하는 사람이나 극히 일부 연구분야만 하면 되긴 함. 근데 선대 미적 통계는 너무 흔히 쓰이는 거라 이거가지고 이거 진짜 필요해요? 하면 대학원생 입장에선 암걸림
내가 공부해본 분야가 한정되서 그쪽만 얘기해보면 VAE loss 유도해보려면 x * gaussian(x) 이런 미적시간에 배운 계산이 나옴
GAN에선 Wasserstein GAN 공부해보면 linear programming에서 나오는 dual problem 풀 줄 알아야 하고
Diffusion Model 쪽은 bayes rule, bayes inference, bayes net, markov chain 같은 고전 확률통계 이해가 있어야 loss 유도하는데 막힘이 없고
최근 핫한 LCM-Lora 같은건 Consistency Model에서 나온건데 이건 Stochastic Differential Equation기반이니 미방 지식이 요구되고 미방은 특히나 PINN이나 Neural ODE 쪽에선 필수
Continual Learning 공부해보면 Score Function, Fisher Information, Jacobian, Hessian 등으로 최적화 하는 기법들 수두룩함.
선대에서 배우는 SVD같은건 PCA에서 쓰이는데 PCA는 딥러닝 아니지 않냐고 반문한다면 PCA로 딥러닝 최적화한 알고리즘도 있음 내가 본 논문은 PCA-OGD란 모델
퓨리에 변환 같은것도 이미지 쪽에서 CNN 최적화 한다고 흔히 쓰이는 거고
UAT 증명 같은거도 테일러 급수 내용이 들어감
당장 떠오르는게 이정도 뿐인데 나 혼자 수학에 막혔던 경험만 해도 이 정도고 만약 이런 경험이 하나라도 있었다면 수학 왜 필요함이란 소리가 나올 수가 없다.
예시로 든것들이 다 공대에서 배우는 수학들로도 커버되잖아 이런거말고 수학과 수업에서 배울 내용들이 필요한 분야가 뭔지 궁금하단거 아니겠냐
딴소리긴한데 테일러전개 쓰는 UAT 증명 어디서 봄?? 한-바나흐 쓰는게 국룰로 알고있는데
Hornik의 방법론을 사용하면 stone weierstrass theorem 이용해서 학부해석학으로도 수식 전개 및 보조 증명이 더 필요하지만 증명가능함. Cybenko 증명이 더 유명한건 먼저 나오고 심지어 증명이 위 접근법에 비해서 훨씬 깔끔해서임. Elegant한 증명이라는건 다 이유가 있음