D] Confession as an AI researcher; seeking advice
I have a confession to make.
I was a CS major in college and took very few advanced math or stats courses. Besides basic calculus, linear algebra, and probability 101, I took only one machine learning class. It was about very specific SVMs/decision tree/probabilistic graphical models that I rarely encounter today.
I joined a machine learning lab in college and was mentored by a senior PhD. We actually had a couple of publications together, though they were nothing but minor architecture changes. Now that I’m in grad school doing AI research full-time, I thought I could continue to get away with zero math and clever lego building. Unfortunately, I fail to produce anything creative. What’s worse, I find it increasingly hard to read some of the latest papers, which probably don’t look complicated at all to math-minded students. The gap in my math/stats knowledge is taking a hefty toll on my career.
For example, I’ve never heard of the term “Lipschitz” or “Wasserstein distance” before, so I’m unable to digest the Wasserstein GAN paper, let alone invent something like that by myself. Same with f-GAN , and SeLU (. I don’t have the slightest clue what the 100-page SeLU proof is doing. The “Normalizing Flow” ( paper even involves physics (Langevin Flow, stochastic differential equation) … each term seems to require a semester-long course to master. I don’t even know where to start wrapping my head around.
I’ve thought about potential solutions. The top-down approach is to google each unfamiliar jargon in the paper. That doesn’t work at all because the explanation of 1 unknown points to 3 more unknowns. It’s an exponential tree expansion. The alternative bottom-up approach is to read real analysis, functional analysis, probability theory textbooks. I prefer a systematic treatment, but …
reading takes a huge amount of time. I have the next conference deadline to meet, so I can’t just set aside two months without producing anything. My advisor wouldn’t be happy.
but if I don’t read, my mindless lego building will not yield anything publishable for the next conference. What a chicken-and-egg vicious cycle.
the “utility density” of reading those 1000-page textbooks is very low. A lot of pages are not relevant, but I don’t have an efficient way to sift them out. I understand that some knowledge might be useful some day, but the reward is too sparse to justify my attention budget. The vicious cycle kicks in again.
in the ideal world, I can query an oracle with “Langevin flow”. The oracle would return a list of pointers, “given your current math capability, you should first read chapter 7 of Bishop’s PRML book, and then chapter 10 of information theory, and then chapter 12 of …”. Google is not such an oracle for my purpose.
I’m willing to spend 1 - 2 hours a day to polish my math, but I need a more effective oracle. Is it just me, or does anyone else have the same frustration?
EDIT: I'd appreciate it if someone could recommend specific books or MOOC series that focus more on intuition and breadth. Google lists tons of materials on real analysis, functional analysis, information theory, stochastic process, probability and measure theory, etc. Not all of them fit my use case, since I'm not seeking to redo a rigorous math major. Thanks in advance for any recommendation!
EDIT: wow, I didn't expect so many people from different backgrounds to join the discussion. Looks like there are many who resonate with me! And thank you so much for all the great advice and recommendations. Please keep adding links, book titles, and your stories! This post might help another distraught researcher out of the Valley
자세한 글은 밑에서
reddit.com/r/MachineLearning/comments/73n9pm/d_confession_as_an_ai_researcher_seeking_advice/
9년전 글인데스?
gpt도 없던 시절이랑 비교하면 되나ㅋㅋ 지금은 이론 베이스 아예 없어도 다 씹어서 떠먹여주는 수준인데
구구절절 맞는 말. gpt 타령하는 사람은 기본이 안된 상태에서 gpt가 써주는 말로만 제대로 이해가 가능할까?
가능함. 기본 고등~학부 1학년 수준만 있으면
그정도로 절대 못함. 그럼 너가 gpt만 가지고 adam optimizer convergence 증명해봐. 수학적 오류없이 깔끔라게 증명하면 인정한다.
gpt도 수학 ㅈㄴ 많이 틀리는데 수학적 기초없이 돌리면 틀린 증명인줄도 모르고 자기가 맞다고 생각하겠지 애초에 증명을 읽을 능력조차 없는데 어떻게 증명을 하냐?
gpt가지고 top down으로 공부하면 모르는 것이 지수함수꼴로 늘어날건데.. 결국 지식은 다 연결되어있기에 하나를 알려면 3개를 알아야하는 꼴임 그렇게 지수함수꼴로 늘어나는걸 끝까지 붙잡고 팔정도로 머리와 끈기가 뛰어나다면 역설적으로 bottom up 해도 끝까지 버틸수있을것이며 오히려 bottom up 공부가 더 효율적일걸? 그런사람한테는?
현재 탑다운 공부법은 너무 생존자편향이 심해진 경향이 있음
개추 ㅋㅋ
@ㅇㅇ 아직도 이론적 기초 허상에 빠진 사람들 많네. 애초에 이론적으로 설명이 되는 현상이 아니고 경험적으로 확인된 사실에 사실상 끼어 맞추는게 현실인데, 이론적 기초가 그렇게 탄탄했으면 이론만으로도 이쁘게 동작하는 모델들이 훨씬 많아야 하지 않겠음?
optimzer의 convex loss에서의 convergence가 무슨 이론적 허상임? 이게 잘 작동한다는 최소한의 guarantee지. 애초에 adam paper가 이론논문도 아니구만. 제대로된 이론적 얘기는 하지도 않았는데... 휴리스틱으로 개발하는 사람도 최소한 이정도는 하고 간다.
adam은 니가 말한 전형적인 휴리스틱 논문인데? 진짜 이론적 허상이라면 adam이 sgd보다 잘하는 이유를 증명하는거겠지. 이런 기본 없는 상태에서 순수 휴리스틱으로만 optimizer 백날 천날 개발해봐라. 중국인 인도인이 쓴 양산형 논문에 불과하지
@ㅇㅇ 애초에 휴리스틱으로 경험적 사실에 이론적 해석을 붙이는 분야에서 이론적 보장이 얼마나 연구에 도움이 되는지 모르겠음. 이론적 보장은 최소한이고 그게 최적해에 도달한다는 지점이 없는데. 그럼 너가 아는 아담 convex non convex에서의 이론적 해석이 차세대 아키텍체에 대한 영감을 줌? 이론적 최소랑 최적해 자체를 구분 못하는 것 같은데.
@딥삣삐4(118.235) 아직 이론적으로 정립도 안된 학문에서 최소한의 도구만 가지고 뛰어들어서 휴리스틱으로 연구하는게 현명한거지. 백날 이론 공부해봐야 안돌아가면 그냥 쓰레기임. 너가 아는 이론으로 예측이 가능한 형태면 이해를 하겠다만 지금 분야가 이론으로 예측이 되는 형태가 아닌데, 이론에 대한 허상이 너무 강한듯
@딥삣삐4(118.235) 계속 논점을 흐리는데 아무도 이론만으로 모든게 된다고 주장하는 사람은 없음. 이론하고 휴리스틱 동시에 가져가는거지. diffusion모델이 순수 휴리스틱으로 나왔다고 생각함? 그리고 애초에 딥러닝 이론이 학부 1학년 수준 +gpt딸깍 만으로 가능하다는 주장을 반박하는건데 갑자기 이론 ㅈ도 의미없음이라고 하면 논점흐리기지.
이론이 전부가 아니라는건 이론연구자들도 다 아는 사실이고. 애초에 본문에서든 wgan도 이론차력쇼 ㅈㄴ 했지만 정작 지금은 안쓰잖아. 근데 이론이 중요하지 않다고 해서 무슨 학부1학년 수학만 있음 충분하다는건 개소리지. 미방도 모르는 상태에서 diffusion solver 백날 만들어봐라. mamba kan 이런게 맨땅에서 나왔다고 생각함?
@ㅇㅇ 이론이 중요하지 않다고 하는건 아님. 근데 연구 이상의 영역에서 현재 아무것도 알려지지 않은 상태에선 wgan이건 diffusion 이론적 원리건 알아봐야 아무짝에 쓸데없는거고. 너가 말한 원리적인 부분이 있었으면 실제로 이론적인 원리적인 부분에서 돌파구가 있었어야지. 그게 있음?
@ㅇㅇ 솔직히 까놓고 말해서 니가 그거 안다고 해서 이론적인 영역에서 트랜스포머를 뒤집는 어떤 영향력있는 연구를 내놓을수 있을까 싶은데?
@ㅇㅇ 휴리스틱에 가까운 수치해석으로 겨우 기존 동작을 이해하는 수준의 분야에서 무슨 이론적인 영향을 논하고 싶은지 진지하게 감이 안잡힌다
@ㅇㅇ 내가 아는 이론은 어떤 현상에 대해서 알려지지 않은 부분에 대해서도 예측이 가능할만큼 엄밀해야하는데 현재 ML에서 너가 아는 형태로 이런게 가능한가? 묻고싶네
수학 타령 하는 애들중에 실해석 측도론 이해하는 놈이 몇이나 될까 ㅋㅋㅋㅋ 함수해석은 고사하고 다변수해석도 모를거 같은데
자자 정리해줌 ai 공부에 있어서 기초적인 개념은 중요함. 이런 기초적인 개념은 학부 1학년 수준은 절대 아니고, 3~4학년수준은 되야함 근데 ai 자체가 실험적인 요소가 크다보니 개념을 매꾸고 나면 하면서 배워야함 한줄요약 : 논점흐리기 ㅈ되네 기초적인 개념의 필요유무에서 이론이 전부다로 되버리네