RL, GNN 같은 응용분야나 UAT, 최적화 등 AI라도 펜과 종이로만 연구하는 분야는 수학적 테크닉이 필요한데, 거의 대부분의 분야는 theorem과 proof가 논문의 핵심인 경우가 별로 없지
익명(163.114)2024-06-05 04:47
답글
솔직히 페이퍼 핵심이 띠어럼이나 프루프인건 NTK 위시한 이론ML영역이고, 애초에 거긴 인원이 많지도 않음. 다만 어플리케이션 단의 연구를 함에 있어서도, 제안되는 알고리즘의 기본적인 이해에 필요한 수학적 리터러시가 예전의 구조깔짝 시대에 비하면 더 고급화되긴 한거같음. 대표적으로 비전에선 디퓨전 있을거고, 요즘 유행하는 스테이트 스페이스 모델도 있을거고,
focalors(pytorch)2024-06-05 05:27
답글
단적으로 내가 예시로 들고온 논문도 이론페이퍼가 전혀 아님. 콘크리트한 알고리즘을 제안하는 페이퍼고 실제로 이 알고리즘으로 닙스 마인크래프트 대회 우승한걸로 알음. 그럼 어플리케이션 하는 입장에서 이 알고리즘을 가져와서 내껄로 쓰고싶을 수 있자나. 프라브럼 포뮬레이션만 잘 맞으면. 그러면 이 페이퍼를 읽고 (어팬딕스의 디테일한 증명까지는 아니더라도) 이해를
focalors(pytorch)2024-06-05 05:30
답글
해야될텐데, 수학적 리터러시가 어느정도 있지 않으면 쉽지 않은건 맞으니까. 그럼에도 불구하고 여기서 요구되는 수학적 백그라운드가 소위 "수학적으로 깊은" 건지는 잘 모르겠음. 디퓨전 페이퍼들도 마찬가지고.
focalors(pytorch)2024-06-05 05:33
답글
GNN에서 수학적인 개념들 예를들어 sheaf 같은 algebraic geometry 개념을 도입해본 경우도 있고, https://openreview.net/forum?id=vbPsD-BhOZ 수학쪽 파는 사람들도 있음. 대다수의 논문들은 해석, 대수적 테크닉을 잘 쓰지도 않고, 너가 말한 것처럼 혁명적이라고 할만한 결과는 ntk 정도임
아카이브 버전 보고 말하는거? 나 좀 있음 박사받는데 이거 이상으로 손댈 엄두 안나는 ml 페이퍼는 몇개 없었는데
focalors(pytorch)2024-06-05 06:25
답글
ㅇㅇ 그냥 식 조작이던데 저정도면 해석학 테크닉 좀 익숙한 사람들한텐 막 어렵진 않아보임… 위에 다른 게이가 댓글단 sheaf neural network마냥 완전 뜬금없이 대수기하 같은데서 중요한 컨셉 가져오는게 오히려 더 읽기어렵지 ㅋㅋ
익명(118.235)2024-06-05 06:30
답글
뭐 난 cs 학부라 그럴수도 있음. 백그라운드가 다르니까. 쨌든 cs나 ee쪽 백그라운드 있는 사람 입장에서의 "수학"과 수학과출신이 바라보는 "수학"은 다른거 같은데, 확실한건 수학과에서 바라보는 고급수학이 ml에 붙는 연구는 분명 존재는 하는거같고 어셉도 종종 되는데, 그럼에도 불구하고 아카데믹한 인터레스트를 넘어 프랙티컬하게 터뜨리는 경우는 적은거같음.
focalors(pytorch)2024-06-05 06:35
답글
나는 (또 대부분의 리서처들은) 아무래도 프랙티컬 레벨에서 작동하는 연구들 위주로 보게 되는데, 내가 말하고싶은건 이정도 레벨의 연구를 읽음에 있어서도 요구되는 수학 백그라운드가 예전보단 높아졌다는 뜻. 근데 그게 높아지더라도 수학과에서 보는 수학하고는 크게 교집합이 없는 느낌임.
focalors(pytorch)2024-06-05 06:38
답글
이런 맥락에서 언제나 ml 얘기할때 수학의 포지션에 대해 언제나 굉장히 조심스러운 의견을 취하게 되는거같음 ㅋㅋㅋ
focalors(pytorch)2024-06-05 06:44
답글
수학 중요하냐 묻는 애들 대부분이 학부1년 기초 교양 수준인거 보면 그냥 수학 중요하냐 묻는글엔 "응 아냐 좆도 아냐 안중요해ㅋㅋ"라고 답하는게 나을꺼같음 - dc App
익명(ysr10041)2024-06-05 06:48
석사레벨에서 배우는 고급수학 자랑하는게 문제가 아니고
학부 교양 수학 배웠는데 ML별거없던데? 그 대~단한 수학 어따 쓰냐? 하는 애들이 문제 - dc App
익명(ysr10041)2024-06-05 06:37
답글
진짜 해석적, 대수적 테크닉으로 ML에 접근하려면 ML theory 등 주제는 많음.요즘은 유행이 지났지만 convex optimization 관련 예를들어서 variational analysis 같은거 전공하면 박사과정 내내 신나게 할 수 있음. 다만 AIStats 를 제외하면 icml, iclr, neurips 에서도 줄줄이 리젝만 먹을 확률이 높다.
익명(163.114)2024-06-05 06:43
답글
KKT<-아무튼 씨발새끼들임 ㅋㅋ - dc App
익명(ysr10041)2024-06-05 06:46
뭔 어려운 수학도 아니고 3대기초인 선대 미적 확통 갖고 이거 어따써요 하면 당연히 긁히지 - dc App
근데 최적화쪽 안해도 rl쪽 하면 수학 좀 빡세긴함
https://arxiv.org/abs/2106.12142
요런 느낌 페이퍼가 좀 있어서
RL, GNN 같은 응용분야나 UAT, 최적화 등 AI라도 펜과 종이로만 연구하는 분야는 수학적 테크닉이 필요한데, 거의 대부분의 분야는 theorem과 proof가 논문의 핵심인 경우가 별로 없지
솔직히 페이퍼 핵심이 띠어럼이나 프루프인건 NTK 위시한 이론ML영역이고, 애초에 거긴 인원이 많지도 않음. 다만 어플리케이션 단의 연구를 함에 있어서도, 제안되는 알고리즘의 기본적인 이해에 필요한 수학적 리터러시가 예전의 구조깔짝 시대에 비하면 더 고급화되긴 한거같음. 대표적으로 비전에선 디퓨전 있을거고, 요즘 유행하는 스테이트 스페이스 모델도 있을거고,
단적으로 내가 예시로 들고온 논문도 이론페이퍼가 전혀 아님. 콘크리트한 알고리즘을 제안하는 페이퍼고 실제로 이 알고리즘으로 닙스 마인크래프트 대회 우승한걸로 알음. 그럼 어플리케이션 하는 입장에서 이 알고리즘을 가져와서 내껄로 쓰고싶을 수 있자나. 프라브럼 포뮬레이션만 잘 맞으면. 그러면 이 페이퍼를 읽고 (어팬딕스의 디테일한 증명까지는 아니더라도) 이해를
해야될텐데, 수학적 리터러시가 어느정도 있지 않으면 쉽지 않은건 맞으니까. 그럼에도 불구하고 여기서 요구되는 수학적 백그라운드가 소위 "수학적으로 깊은" 건지는 잘 모르겠음. 디퓨전 페이퍼들도 마찬가지고.
GNN에서 수학적인 개념들 예를들어 sheaf 같은 algebraic geometry 개념을 도입해본 경우도 있고,
https://openreview.net/forum?id=vbPsD-BhOZ
수학쪽 파는 사람들도 있음. 대다수의 논문들은 해석, 대수적 테크닉을 잘 쓰지도 않고, 너가 말한 것처럼 혁명적이라고 할만한 결과는 ntk 정도임
책 추천좀 번역된걸루
그런애들 보면 잘 알지도 못하면서 수학 많이 쓰는척, 아는척한다는 느낌이 확듦.
https://openreview.net/forum?id=Uuf2q9TfXGA
수학 빡세게 쓰는 연구가 없는건 아니고 어너러블 맨션 받은만큼 관심을 못받지도 않지만 우리 솔직해지자ㅋㅋ 이걸 예시로 들고오기엔 우리도 이런거 안하고 잘 모르자나 ㅋㅋㅋㅋㅋ
https://arxiv.org/abs/2012.09816
아카이브 버전 가야 충격과 공포의 어팬딕스있네
슥 봤는데 식이 더러워서 그렇지 딱히 어려운 이론을 쓴건 아니네
아카이브 버전 보고 말하는거? 나 좀 있음 박사받는데 이거 이상으로 손댈 엄두 안나는 ml 페이퍼는 몇개 없었는데
ㅇㅇ 그냥 식 조작이던데 저정도면 해석학 테크닉 좀 익숙한 사람들한텐 막 어렵진 않아보임… 위에 다른 게이가 댓글단 sheaf neural network마냥 완전 뜬금없이 대수기하 같은데서 중요한 컨셉 가져오는게 오히려 더 읽기어렵지 ㅋㅋ
뭐 난 cs 학부라 그럴수도 있음. 백그라운드가 다르니까. 쨌든 cs나 ee쪽 백그라운드 있는 사람 입장에서의 "수학"과 수학과출신이 바라보는 "수학"은 다른거 같은데, 확실한건 수학과에서 바라보는 고급수학이 ml에 붙는 연구는 분명 존재는 하는거같고 어셉도 종종 되는데, 그럼에도 불구하고 아카데믹한 인터레스트를 넘어 프랙티컬하게 터뜨리는 경우는 적은거같음.
나는 (또 대부분의 리서처들은) 아무래도 프랙티컬 레벨에서 작동하는 연구들 위주로 보게 되는데, 내가 말하고싶은건 이정도 레벨의 연구를 읽음에 있어서도 요구되는 수학 백그라운드가 예전보단 높아졌다는 뜻. 근데 그게 높아지더라도 수학과에서 보는 수학하고는 크게 교집합이 없는 느낌임.
이런 맥락에서 언제나 ml 얘기할때 수학의 포지션에 대해 언제나 굉장히 조심스러운 의견을 취하게 되는거같음 ㅋㅋㅋ
수학 중요하냐 묻는 애들 대부분이 학부1년 기초 교양 수준인거 보면 그냥 수학 중요하냐 묻는글엔 "응 아냐 좆도 아냐 안중요해ㅋㅋ"라고 답하는게 나을꺼같음 - dc App
석사레벨에서 배우는 고급수학 자랑하는게 문제가 아니고 학부 교양 수학 배웠는데 ML별거없던데? 그 대~단한 수학 어따 쓰냐? 하는 애들이 문제 - dc App
진짜 해석적, 대수적 테크닉으로 ML에 접근하려면 ML theory 등 주제는 많음.요즘은 유행이 지났지만 convex optimization 관련 예를들어서 variational analysis 같은거 전공하면 박사과정 내내 신나게 할 수 있음. 다만 AIStats 를 제외하면 icml, iclr, neurips 에서도 줄줄이 리젝만 먹을 확률이 높다.
KKT<-아무튼 씨발새끼들임 ㅋㅋ - dc App
뭔 어려운 수학도 아니고 3대기초인 선대 미적 확통 갖고 이거 어따써요 하면 당연히 긁히지 - dc App
아 따효니 시청자셔?