잘되는 이유: univarsal approximation theorem
- 모든 함수는 비선형 activation과 뉴런의 조합으로 근사화 시킬 수 있다.
-> 모든 인간의 지능은 함수겠지? -> 그러면 함수 근사화 되는 이론만 있으면 되겠네? -> 딥러닝 완성!
하지만 한계는?:
- fully connected layer: 너무 근사를 잘해서 오버피팅
- 그 외 딥: 오버피팅 피하려고 별 지랄을 다했는데 하고보니 패턴매칭(from conv to bert/xlnet)
그러네 오버피팅에 걸리고 오버피팅 방지용으로 낳어주는것도 패턴매칭으로 잡아버리면 혼종이 되어버리겠군
패턴매칭을 넣어버리면 말 그대로 패턴매칭이라 그 이상을 요하는 문제를 풀어낼수가 없엉
BERT 설명만 봐도 워드 세그먼트 사이의 연관성을 가지고 해석 -> QKL projection 및 패턴 매칭
QKL이 아니라 QKV
이런 큰틀의 구조적 문제는 결국 신경망 노가다랑 데이터셋 노가다로밖에 해결이 안되는걸라나
ㄴㄴ 아예 해결이 안댐.. 현재 최신 모델로도.. 예를들어 질문답변이 대표적인 NLP가 못넘는 문제잖아
와 완전한 인간같은 지능은 못갖출거라고 말한 러브레이스는 몇백년을 앞서본거야
혹시 모르지 어떤 갓사님이 모델 제안해서 또 뚫릴지도..? NLP도 못하는 문제였는데 RNN으로 이니시에시션 했으니
딥러닝 해보고 느낀 건 결국 그곳엔 데이터셋 노가다랑 신경망 노가다가 다였다는 것이었음...
ㅇㅇ 모델 개발하려면 최소 박사는 따야된다고 봄
그러니 딥페이크에나 힘을 쏟자 - dc App
저정도 문제는 10년안에 충분히 해결된다...
그리고 저건 모델 문제가 아니라 방법론의 문제임...