내가 생각하기로 수치해석으로 딥러닝에서 정말 중요한 연구라면 대충 3가지 정도 생각나는데
1. RTL 레벨에서 verilog 이용해서 cublas, cudnn, cusolver의 함수들을 fpga, asic에 적용 및 원하는 딥러닝 방법을 저발열, 저전력 환경에서 low latency로 구현?
2. 아니면 TF, pytorch 따위는 못써먹겠고 CUDA SDK 중에서 tensorRT 같은것도 마음에 안들고 직접 더 내려가서 cublas, cusolver, cudnn 따위도 못써먹어서 직접 memory또는 computational complexity를 더 개선한 알고리즘으로 lapack, blas, dnn 라이브러리 직접짜냐?
3. gnn 등 convolution 일반화하는 너가 수학적으로 직접 유도하고 증명한 커스텀 함수를 구현하는데 기존 TF, torch는 구현이 힘들어서 직접 cuda 로 필요한 lapack 함수들과 함께 구현해서 씀?
이쪽 연구하는 사람이 ML 분야에서 소수이고 한국에서는 완전 극소수인데 어찌 딥러닝갤에 다 몰려있네 ㅋ
1. RTL 레벨에서 verilog 이용해서 cublas, cudnn, cusolver의 함수들을 fpga, asic에 적용 및 원하는 딥러닝 방법을 저발열, 저전력 환경에서 low latency로 구현?
2. 아니면 TF, pytorch 따위는 못써먹겠고 CUDA SDK 중에서 tensorRT 같은것도 마음에 안들고 직접 더 내려가서 cublas, cusolver, cudnn 따위도 못써먹어서 직접 memory또는 computational complexity를 더 개선한 알고리즘으로 lapack, blas, dnn 라이브러리 직접짜냐?
3. gnn 등 convolution 일반화하는 너가 수학적으로 직접 유도하고 증명한 커스텀 함수를 구현하는데 기존 TF, torch는 구현이 힘들어서 직접 cuda 로 필요한 lapack 함수들과 함께 구현해서 씀?
이쪽 연구하는 사람이 ML 분야에서 소수이고 한국에서는 완전 극소수인데 어찌 딥러닝갤에 다 몰려있네 ㅋ
여기에 jacobi iteration 같은 알고리즘으로 gpu이용한 병렬화 svd 같은거 짜본사람도 드물것 같은데 수치해석은 얼어죽을
근데 2번은 연구실 수준이 아니라 왠만한 대기업도 저거 다 직접짜는 커스텀 및 최적화해서 짜는 곳은 거의 없는것 같은데. 정말 오래전부터 수치해석 라이브러리 개발한 인텔, 메탈 개발면서 투자한 애플, 지금 대세인 cuda의 엔비디아, tpu 개발하면서 구현한 구글 같은 기업 빼곤 거의 없을듯?
딥러닝갤 어디에 모여있음?
딥러닝갤 어디에 누구랑 얘기하는거임 - dc App
딥러닝에 수치해석 필수라는 사람들 많길래 그걸로 뭐하나 궁금해서. 대충 저 세개 중 하나 하겠지 싶어서 써봤음
와 감사합니다 수치해석 책살뻔ㅋㅋㅋㅋ
수치해석 안배우면 최적화 알고리즘이 어떻게 돌아가는지 이해가 가나? 컨벡스 최적화 까지는 아니더라도 수치해석정도는 들어야 그런거에 대한 감이 잡힐텐데
개소리지 ㅋㅋㅋ 수치해석 필요하다고 발광하는애들중에 제대로 논문 볼줄 아는애들 몇이나 되는지 모르겠음 솔직히 ㅋㅋ