안녕.


독갤에서 이런 곳이 있단 곳을 알게 되서 봤는데, 어떻게 공부를 해야할지 잘 모르는 풋풋한 친구들이 많더라구.


그래서 약간 내 경험을 바탕으로 도움을 줄만한 글을 쓰려고 해.


내가 스스로 짬중사라고 한 이유는 인공지능 필드에 10년 넘게 있으면서 성과로 따지면 중하 정도로


훌륭한 연구자가 되지 못하고 짬만 먹고 있는 사람이라서 그래..


그래도 꼴에 설카포 중 한 곳에서 학사 졸업했고 다른 한 곳에서 대학원을 졸업한 후


학벌빨 + 시대빨(알파고 전에 취직했으니 ㅎㅎ)로 나름 괜찮은 직장에 자리잡았고,


그러다 보니 주변에 훌륭한 친구들을 많이 봤고, 그 친구들을 보면서 한 생각도 섞여 있기 때문에


너무 인생 망한 아저씨가 "니들은 이렇게 살지 말아" 이런 말은 아니고 어느정도 참고는 할 수 있는 말이라고 생각해.


내가 잘 나갔으면 디씨가 아니라 교수가 되서 대학원생들한테 술마시면서 이런 이야기를 했겠지~


아 난 참고로 컴퓨터 비전 기반이야.



(1) 딥러닝의 어떤 것을 연구해야하나?


다들 훌륭한 생각과 계획이 있는데, 실력없는 내가 연구분야를 정해주는건 말도 안되는 일이고


처음으로 딥러닝을 연구하면 10년정도 쌓인 논문들의 내용이 너무 많아서, 어떤 방향의 연구가 트랜드이고, 어떤 방향이 Outdated 한지 알기 어려울거야.


그래서 소위 연구 트랜드를 말하려고 하는데,


옛날 이야기를 하자면 '과거에 AlexNet이 있었고, Batch Normalization이 나왔고~' 이런 이야기는 수업시간에도 들을 수 있고,


지금 이야기를 하자면 'SAM 이 어떻고 NERF가 어떻고 트랜스포머가 어떻고' 이런 무엇이 유행하는지에 대한 말은 유튜브 보면 수 없이 나올 거니깐


그거랑 다르게 그냥 10년동안 각 시기에 사람들이 어떤 방향의 연구를 왜 많이 했는가, 에 대한 개인적인 소견을 말해줄게.


난 괜찮은 직장에 있는 덕분에, CVPR 은 5번 가봤고, ECCV, ICML 등 다른 메이저 학회(세컨 티어 포함)에 한 6번정도 가봤어.


요새는 너무 거대화되서 잘 안느껴질 수 있는데, 특히 CVPR같은 곳은 큐레이팅을 잘해둬서, 잘 보면 사람들이 어떤 방향의 연구를 하는지 느낄수 있거든.


그리고 최대한 일반적인 경향을 말하기 위해 모든 DownStreaming Task의 기초가 되는 분야인


Classification-Backbone-Feature Embedding-Representation Learning 등으로 이어지는 걸 중심으로 설명할게. 이게 딥러닝 기초연구기도 하고..


그래서 그렇게 느낀걸 바탕으로 이야기를 하자면


초창기인 2013년 까지는 AlexNet이 나오고 학계가 충격받은 상태였어. 기존의 방식으로는 Feature를 Task에 맞춰 사람이 디자인 하고,


그 다음에 어떻게 분류를 할 것인가를 정하기 위해 Classifier를 고르고, 거기에 앙상블을 한다든지, 후처리를 하는 과정을 거쳤는데


그냥 Data 형태 그대로(간단한 전처리를 하긴 하지만)를 End-to-End하는 AlexNet 이 왜 잘되냐는거지.


이를 해석하기 위해서 학계는 수학적으로, 실험적으로 딥뉴럴네트워크의 특성을 연구하는 연구들을 많이 했어.


특히 여기에도 몇명이 물어본, Loss function 에 대한 Model Space가 Convex 할 리가 없는데 왜 되냐! 에 대한 질문에 답하려고 많은 사람들이 연구하고


2014년 LeCun 이 교신저자인 "The Loss Surfaces of Multilayer Networks"가 나오기 전까진 "더 좋은 Global Minima가 있을 거다" 라는 믿음속에


Initialize나 Optimizer, Training Scheme을 바꾸는 방법들이 많이 발표되었어. 나중에 Cyclic Learning Rate를 준다느니 이런 경향성이 이어지기도 했고


실제로 그리고 초창기에 그런 최적화 방법에 집착한 이유는, 실제로 학습이 매우 어려웠기 때문이기도 해.


유저 친화적인 Pytorch, Tensorflow가 없이 Caffe나 그마저도 없어서 구현이 매우 어려웠다는 개발환경적인 문제와 더불어


Learning Rate를 크게 늘릴 수 있는 Batch Normalization 과 Gradient Vanishing을 줄이는 ReLU 등 이론적, 테크닉적인 측면도 부족해서


분명 논문과 똑같이 한거 같은데도 학습이 잘 되지 않는 문제들이 많이 일어났거든.


그에 비하면 현재는 그런 문제들이 많이 해결되어서, Initializer나 Optimizer를 어떤 걸 써도 성능이 비슷비슷하게 나오는 편이야.


물론 차이를 좀 낼수도 있지만 그떄처럼 아예 실패할 정도는 아니란거지.


그래서 개인적으로, Initialization 방법이나 Optimization 방법, Training Scheme을 쓰는 연구는 꽤 Outdated 하다고 생각해.


다음으로는 네트워크의 구조, Architecture 들을 찾는 연구들이 많이 나왔어.


지금도 별로 다르지 않을거 같은데, 딥러닝을 가르칠 때 '무슨 생각이 훌륭했나'를 가르치기 보다, 단순 역사적 사실을 가르칠때가 많잖아.


그렇게 배우면 LeNet, AlexNet, ZFNet, VGG 이런식으로 배우잖아? 그래서 그런 구조를 개발하는 것이 핵심이라 생각했는지,


아니면 당시 분류(Classification)문제에서 딥러닝을 좀 더 복잡한 문제(Segmentation, Detection) 등에 적용시키고자 하는 노력이 많았고,


그러려면 필수적으로 구조가 바뀌어야 해서 그런지,


딥러닝이 End-to-End라 너무 뭐가 없다 보니, 그 구조속에서 성능의 비밀이 숨어있다고 생각했는지,


아무튼 새로운 구조의 네트워크를 들고와서 ~~Net이란 이름을 붙인 연구를 발표하는게 유행했어.


GoogleNet(Inception), ResNet, DenseNet, EfficientNet 이런게 다 이 시절 작품이지.


나도 이 시절에 논문을 몇 개 냈는데.. 이런 방식의 문제점은 "내 논문에서 말하는 구조가 다른 구조보다 우월하다."는 설명을 하는게


어느 순간부터 무척 어려워진다는거야 ㅎㅎ. 논문이 성능만 잘나온다고 장땡이 아니고, 성능이야 어느 순간부터는 포화 되기 때문에..


그래서 이제는 그런 ~~Net 붙이는 논문은 찾기 어렵지.


이 분야의 마지막은, "인공지능이 인공지능을 만든다!"는 지금보면 다소 거창한, 메타학습에 의한 아키텍쳐 설계, 혹은 Neural Architecture Search 였어.


하지만, 그에 필요한 막대한 연산량에 비해 얻을 수 있는 성능은 그렇게 높진 않았던거 같아.


그래서, 적어도 특징이나 학습의 용이성등 범용적으로 효과를 볼 수 있는 Architecture 연구는 2019년 이후로는 잘 없는거 같아.


물론 Downstream Task를 개발하기 위한 구조 연구는 계속되고


특히 컴퓨터비전에서는 CNN->Transformer로 넘어가면서 다시 어느정도 시작하고는 있어서 모르긴 하지만


Architecture연구는 초창기에 비해 활발하게 이뤄지진 않고 파내서 성과를 내기 어려운 연구 방향인거 같아. ㅎㅎ


다음으로는 '학습 방법'에 대한 연구를 말할 수가 있는데, 내가 학습 방법이라고 하는 것은 데이터를 활용할 수 있는 방법을 말하는거야.


Goodfellow가 2014년에 GAN에 대한 논문을, Hinton 이 2015년에 Distillation(지식증류?)에 대한 논문을 냈지.


기존에는 Classification 이건, Segmentation이건, Detection이건 단순한 Supervised Learning(교사학습)에 의존했는데


그런 교사학습 말고도 다른 방식으로 학습할 수 있다는 것이 연구자들에게 충격을 줬지.


그래서, 생성형 모델이 아닌 discriminative(구별형?) 모델에서도 단순 Supervised Learning 이외의 방식을 찾아서 성능을 높이는 방법들이 연구가 많이 되기 시작했어.


2015~2020 연구들 중엔 'Label은 비싸다.'는 의식을 공유하며, 데이터에서 최대한 인간의 레이블링 없이 정보를 뽑아내려는 연구가 많이 있었던 것 같아.


GAN의 Adversarial Training 을 응용한 Unsupervised Domain Adaptation은 데이터의 출처(실질적으로 Domain)정보를 활용하려는 방향이고,


Zigsaw, Rotation 등의 Self-supervised Learning은 데이터를 인위적으로 변경한 후, 그 변화의 정보를 바탕으로 학습시키는 거지.


뭐 이런걸로 SimCLR이나 MOCO 같은 Contrastive Learning도 이런 곳에 포함되지. 실제로 Self-supervised Learning이라고 구분하는 사람도 있고 말이야.


이외에도 Cut-mix와 같은 무수한 Augmentation기법들이 제시되었는데, 이것들도 Label에 그정보를 반영한다는 점을 생각했을 때,


'한정된 데이터를 가르치는 방법에 따라 딥러닝의 성능을 크게 발전시킬 수 있다.'는 철학이, CNN이 독주하던 시대 후반부의 철학이었다고 생각해.


그리고 그 철학은 트랜스포머와 결합되고 있는 지금 시대에도 어느정도 이어지고 있다고 생각하고 어찌보면 여전히 가장 최신의 연구 철학이라고 생각해.


결국은 데이터의 활용 방법이란거지.


그런면에서 나는 최신 대두되고 있는 멀티모달 연구가 매우 유망할거라고 생각해.


활용할 수 있는 데이터의 차원이 하나 늘어나는건데, 차원이 하나 늘어난다는게 얼마나 엄청난건지는 기계학습을 공부했다면 몸으로 느껴질거라고 생각한다.


특히 개인적으로 2023년은 기념비적인 해였다고 생각하는게... 인공지능의 Mainstream 이 컴퓨터 비전에서 언어로 넘어갔다고 생각하거든.. 물론 개인의 의견으로 ㅎㅎ


그럼 컴퓨터 비전을 앞지른 언어모델로 부터 컴퓨터 비전이 마치 Knowledge Distillation처럼 데이터의 관계성을 배울 수 있게 된 시점이란 거지.


그게 앞서 말한, 학습할 때 데이터활용을 극대화하는 연구방향과 연속적으로 있기도 하기 때문에 더더욱 그런 생각이 든다.




(2) 수학에 대해


인공지능을 배움에 있어서 수학이 필요할까? 라는 질문이 많은거 같은데


일단 질문하는 사람이 문과 베이스면, 당연히 공대 학부생 수준의 수학은 필요하다고 대답하고 싶다.


미적분학, 통계학, 선형대수학 정도는 알아야 기본적인 메커니즘을 이해할 수 있을거 같아.


그럼 공대 학부생 수준이 수학을 더 파야하냐 라고 묻는다면?


그건 그렇기도 하고 아니기도 하다라고 대답하고 싶다.


일단 아니라는 점에 대해 이야기하자면.. 나를 비롯해서 내 주변에 나보다 훨씬 훌륭한 친구들이 많았지만,


나도 그들도 원론적인 수학을 그렇게 많이 알지 않고, 또 실제로 수학을 써서 일을 하거나 논문을 쓰는 일이 그렇게 많지는 않은 느낌이다.

(볼록최적화는 몰라도 여기서 측도론을 필수로 여기는 것을 보고 놀랐다. 내 주변엔 해석학도 별로...)


실제 논문을 봐도, 수학적으로 잘 정리하는 논문도 학회도 있지만 그런 비율이 그렇게 높지는 않아. 내가 경험하기론 30% 미만임.


하지만 수학적인 Insight는 늘 필요하다.


선대수에서 Basis를 배우면 학습한 Filter로 Project한 Response의 Span을 통해 해결할 수 있는 문제가 정해진다는 생각을 할 수 있고,


확률을 배우면 Ergodic process인지 아닌지에 따라 데이터의 유효성에 대해 생각할 수 있고, 각각이 독립적인 요소인지 아닌지 해석하는데 도움이 되며


(Batch Normalization 을 포함한) Standardization이 데이터를 모아서 큰수의 법칙을 추구하는 것이라는 관점으로 기술을 볼 수 있으며


이러한 수학적인 Insight를 통해 기존 기술의 문제점을 깨닫고, 논문을 쓸 수 있는 기회가 생긴다. 이런 것으로 기억에 남는 예시는 Wasserstein loss를 쓰는 WGAN.


또 논문을 쓸 때 굉장히 Fancy 하게 쓸 수 있다.


논문이란 것은 남을 설득하는 과정인데, 자신의 생각을 수학적 개념을 사용해서 풀어내면 아는 사람에게나 모르는 사람에게나 설득력을 얻고 시작할 수 있다.


Theorem. Proof. 등으로 도배된 논문을 보면, 우리같이 수학을 잘 모르는 리뷰어들은 우선 기선 제압을 당하고 시작한다.


수학을 잘 안다는 것은 강력한 무기임에는 틀림없다. 단지 필수가 아닐 뿐이다. 그렇지만 어쨋거나 모두가 자신만의 강력한 무기가 필요한 것도 사실이다.


수학과 수준의 수학은 오히려 방해가 되는 것도 보았다. 예전에 인턴으로 온 학생이 수학과 출신이었는데


수학적 베이스가 강한 그 친구는 연구를 할 때, Zero Error 를 추구하고 모순이 없는지, 방법이 최댓값을 얻을 수 있는지 이런것을 증명하는데 시간을 썼다.


공학은 그보다는 Sub-optimal 이어도 작은 에러에도 충분히 성능이 나오는 Robustness를 지녔는가, 연산하는데 필요한 자원이 효율적이고 Scalability등을 충족하여 실제로 돌릴 수 있는가 등


실용성에 대한 나름의 철학이 있다.


즉 수학을 잘하는 것은 좋지만, 그 보다는 공학을 잘하는 것이 더 먼저인 것 같다.


그리고 그런 공학도들끼리 이야기를 하면, 엉터리로 수학적인 이야기를 하는데(위에서 말한대로 수학적으로 Fancy하게 표현하지 못해서) 내용이 공감은 가는 이상한 일들이 발생하고 그런 논문들도 많다.




(3) 컴퓨터에 대해


컴퓨터 공학과를 나와야 파이썬을 잘하고, 리눅스를 잘하고 그런건 아니지만..


그래도 컴퓨터에 대한 이해는 강력한 무기라고 생각한다.. 개인적으로 수학보다도 더..


컴퓨터를 잘하면 먼저 좌절할 가능성이 매우 줄어든다.


우선 나는 전기공학부 출신인데.. 뭘 설치할때 문제가 일어나면 너무 절망스러워서 뭘 더 할 힘이 없어질 정도야...


지금은 어쩌면 Pytorch, Conda, Docker 이런게 너무 잘되어 있고, 문서도 많고, Chat-GPT도 잘 도와주니깐 그럴 일이 적을지 모르겠지만


아마 Ai반도체가 활성화 되며 ONNX 등을 통한 포팅 작업이 많아지게 되면 내가 한 말이 무슨 말인지 이해할거야.


이렇게 뭔가 준비단계에서 좌절하면 기껏 생각한 아이디어를 실행시키기 전까지 너무나 힘이 든다.


또 나는 어찌보면 딥러닝의 제 2부흥기의 초창기를 관찰했는데, 그런 Pioneer적인 환경에서는 결국 컴퓨터로 구현을 잘하는 사람들이


매우매우 꿀을 빤다. 위에서 말한대로 Pytorch, Conda, Docker 이런게 없이 Scratch 부터 CUDA 코딩 같은 것을 해야하는데


별거 아닌 아이디어도 실제로 구현을 해냈다는 것 만으로도 엄청나게 꿀을 빨더라니까?


지금도 Pytorch 등 제공되는 프레임워크 밖에서 무언가를 만들 수 있다는 능력은 엄청난 능력이야.


Detector 에 대하여 수 많은 좋은 아이디어가 나왔지만, 그 중 현실에서 제일 유행하는 것은? 아마 YOLO 라고 대답하는 사람이 많을걸


왜? 남들이 Caffe 쓰던 시절에 독자적인 Darknet(C)를 기반으로 너무 잘 구현하고, 그 구현을 기반으로 이론적인 최적화가 아니라 프로그램으로서의 최적화에 큰 노력을 쏟아놨기 때문이야.

(저자인 Redmon을 CVPR에서 실제로 만났는데 Ubuntu를 자기 버전으로 튜닝해서 마우스 우클릭하면 카메라랑 연동된 YOLO프로그램을 실행할 수 있게 하고 다니더라..)


그리고 코딩한 내용이 하드웨어에서 어떻게 돌아가서 실제로 어떻게 동작하는지 이런 지식은 빠르고 실행 가능한 신경망을 만드는데 도움도 되고..


Github에서 잔뜩 기교를 부려둔 열받는 코드를 이해하는데에도 도움이 된다는 것도 큰 듯 ㅋㅋ


진부한 말이지만 앞으로는 인공지능을 실제로 사용하는 시대가 올 건데


이 말은 야생의 환경에 맞춰 코드를 디바이스에 올리거나, 디바이스를 통해 데이터를 수집하는 코드를 짜거나, 디바이스간 통신을 요구하는 등


Pytorch로 구현하는 부분 외의 잡다한 다른 일들과 결합하는 일들을 하게 되지 않을까?


너는 연구만 하고 그런건 남들이 분업해서 한다고? 그런 회사가 많지도 않을 뿐더러 서로 다른 필드 지식을 가진 사람들끼리 협력하기가 그렇게 쉽지 않다.


그리고 개인적인 아이디어를 실행하기 위하여 너를 위해 대기해주는 노예 프로그래머 따윈 세상에 없으니까


어쩃거나 구현 능력과 컴퓨터에서 생긴 문제를 해결하는 능력은 굉장히 필요하다고 생각해.







뭐 개인적인 생각을 적었고 누군가에겐 도움이 되길 바람


내 말을 꼭 믿어달라고 하고 설득하고 싶은 생각은 없다. 요즘 젊은 친구들이 너무 디씨 따위에서 도는 말을 그대로 믿어서 문제라고 생각하기도 하고 ㅋㅋㅋ


앞서 말한 것 처럼 만족할만한 성과를 못내서 자격지심이 있는 편이고.. 그래도 짬은 있는 만큼 할 수 있는 조언을 해줬다고 생각해.


읽는 너의 생각이 나와 다르다면 그건 니가 나보다 더 훌륭한 사람이라 그런거고, 교수님이 다른 말씀을 하시면 당연히 교수님이 더 훌륭한 사람이라서 그런 거임.

(그리고 머신러닝을 공부하면 경험적인 데이터가 다름에 따라 다른 생각을 하는게 당연하다는 생각을 하는게 당연하잖아?)


그냥 요새 드는 생각이.. 내가 게을렀기 때문에 성과를 못올렸고, 그래서 아무도 학술적인 이유로 나를 찾지 않고, 동문수학한 대학원 인맥을 그래서 많이 잃은거 같고


그래서 나는 연구적인 생각을 할 때 공유할 수 있는 사람이 없어서 매우 외롭다.. 앞서 말한대로 교수가 되었으면 대학원생들 붙들고 이야기 했을 텐데..


한 마디로 나는 나의 잘못으로 내 네트워크를 잃어버려 고통받는 사람이고, 그래서 인적 네트워크가 없는 괴로움을 이해한다.


그런 와중에 이 갤러리에서 독학을 하거나, 아직 초보라 네트워크를 구성하지 못했거나.. 나랑 반대의 방향에서 네트워크가 없어 괴로워하는 친구들이 보여서


동병상련을 느껴 약간이나마 고통을 덜어주고자 글을 쓴거야.


다들 훌륭한 성취를 이루길 바랄게.