ac5939a70001b942813e33669735c1bcc2a977c21c773585f0dabed5e42e074dc2d2552d4fa4fd2bcba114c2d1971e9e50a4c0d96c82e36632f240d3cc45fcaf2e5b6471aee2b4bfae38f4899cf0fd



마침 방금 올라온 트윗이라 가져왔음


taco cohen은 meta RS인데 이사람도 현역 레전드 중 하나고, gpt로 번역하자면 아래와 같음



맞아요. 저는 박사과정 중에 수학을 정말 많이 배웠고,그게 재미있고 쉬웠던 이유는 ‘연구에 직접 써야 할 목표’가 있었기 때문이에요.코드를 직접 짜보는 건, 내가 어디를 잘못 이해하고 있는지 찾아내는 훌륭한 방법이기도 합니다.
이런 배움은 수업 시간에 배우는 것과 완전히 다릅니다.
또 하나 흔한 착각은,어떤 주제를 배우기 전에 반드시 논리적인 커리큘럼 순서대로, 모든 선수과목을 다 끝내야 한다는 생각이에요.
하지만 제 경험상, 커리큘럼을 위아래로 반복해서 넘나들며 배우는 게 훨씬 효과적입니다.그렇게 하면 각 기본 개념이 어디에 맞물리는지, 왜 배우는지를 이해할 수 있고,이해력과 동기부여가 모두 향상됩니다.
LLM 사전학습(pretraining)의 성공에서 영감을 받아서,저는 Grothendieck, Scholze, Mochizuki 같은 천재 수학자들의 논문을 무작위로 읽기 시작했어요 —제 수준을 훨씬 뛰어넘는 내용이지만,말하자면 ‘천재의 기운을 흡수한다’는 느낌으로요.
흉내 학습(imitation learning)을 통해좋은 ‘표상(representation)’을 배우려는 시도랄까요.

실제로 효과가 있었는지는 모르겠지만, 기분은 좋네요 +


 

아래 mark chen이 PRML같은걸로 기초를 탄탄히 다지고 그다음은 논문 구현을 개빡세게 하면서 learning by doing 하라고 했는데,

여기서 핵심은 PRML이 아니라 논문 구현이라고 생각함

(사실 mark chen은 IMO출신이었나 아님 codeforce 레이팅이 엄청 높았나 그럴 정도로 괴물이라 PRML은 뚝딱이었을거임)


논문 구현을 쉬운 것 부터 어려운것 까지 하면 빨리 지식이 늘어나기도 하고 자신감도 생김 (개인적으로 그래왔음).


게다가 논문 구현 잘해서 트윗에 홍보하면 hiring mail 진짜 많이오는데, openai 갔던 김태훈씨도 논문 구현으로 간거고 이런 사례는 꽤 많음.

(뭐 사실 어떤식으로든 자신을 세상에 알리기만 하면 되고, 논문을 탑컨퍼에 내서 컨퍼런스에서 잡오퍼를 받는 방법도 있지만, 이것보다 적극적으로 구현, 오픈소스하고 트윗을 하는게 개인적으로 더 숏컷이라고 생각함) 


개인적으로 나는 논문 구현이 좋은 ML 엔지니어, 사이언티스트가 되는 최고의 방법이라고 생각하는데, 뭐... 사실 사람마다 다르니까 기초먼저 해야한다는 사람들을 욕할 생각은 없지만, 어떤식으로 공부하면 좋을지 모르겠는 사람에게 도움이 되었으면함.


그냥 처음이면 Transformer, GPT-2를 dataloader, model, optimizer (nn.optim.adamw 콜하지말고), 그리고 fsdp (간단하게 torch distributed api, hook으로 이정돈 구현 가능함) 까지 싹 다 구현해보면서 나아가길 추천하는 바임.