내가 요즘 고민하던 생각인데 1991년에 논문이 있었네 ㄷㄷ
분명 강아지와 고양이를 나누는 부분이랑
1+2=3을 계산하는 부분은 구조적으로 많이 다를 건데
이걸 하나의 신경망으로 만들 수 없지 않나? 하는 생각을 했음.
근데 요새 논문 읽으면서 MoE(Mixture of Experts)가 자꾸 나오길래 찾아봤거든?
전문가 네트워크를 만들어놓고 이걸 확률적으로(Stochastic) 선택하는 거임 ㄷㄷ 이게 이렇게 되네
심지어 그 선택도 문지기 신경망(Gating Network)으로 학습함.
이러면 각기 다른 기능이 전자동으로 따로 학습되면서 한 번에 기능할 수 있음.
더 놀라운 건 이게 1991년 논문이라는 거임.
자그마치 30년 전!
논문 보러가기:
Adaptive Mixture of Local Experts (Jacobs et al.,1991)
https://www.cs.toronto.edu/~fritz/absps/jjnh91.pdf
정신적 후속작 스위치 트랜스포머:
https://arxiv.org/abs/2101.03961
기본적인 아이디어 자체는 굉장히 상식적인거 아님? 디테일이 어려워서 그렇지
고르는거랑 학습을 어떻게 동시에 할지 고민했었음. 이게 상식적인 너는 천재인듯. 르쿤이한테 가서 좀 도와줘라
이런거 이해하려면 어떤 거 공부해야해? 나도 이런 논문들 보면서 이해하고 싶다
나는 일단 정보글에 올라오는 논문을 펴고 전문가 특붕이들한테 질문하면서 시작했음.
여기 전문가도 있었구나. 사실 이번에 인공지능과 딥러닝을 좀 파고 싶었거든. 일단 듣기로는 선형 대수, 확률론, 기계학습 이론, 통계학 공부하면 도움이 된다고 했는데 좀 더 직접적인 답변을 얻고 싶었거든. 조언 정말 고맙다
ㅇㅇ 현업 종사자들도 있고 전문가들도 있고 해. 요즘도 계시는지는 모르겠는데. 그런거 배우면 확실히 도움 될 것 같긴 한데, 나는 그냥 논문 읽으면서 얼렁뚱땅 넘기는 중 ㅎㅎ
모르는 거 있으면 물어봐도 되겠네. 땡큐!
즐거운 특갤 생활 되기를 바란다!
내생각엔 그냥 고양이 개 동시에 학습해도 된다고 보는데 뭐하러 저딴 짓거리 하는건지 모르겠음.
아무래도 컴퓨팅 파워의 한계가 있다보니까 생긴 트릭들이겠지.