IT업계 커뮤에서 AI이야기 하다가 본 장문댓글이 인상깊어 복붙
딥러닝의 패러다임의 본질을 논하는 사람은 없어서 한마디 남깁니다. 소위 현대 AI는 사실 MLP의 레이어 확장인 딥뉴럴넷 기본구조의 변주 밖에 없다고 보시면 됩니다. CNN이건 LSTM이건 최근 각종 few shot, transfer learning, 강화학습 등등 전부 기본골격은 MLP개념의 variation입니다. 네트웍구조, 연산자, feature변형, 분류기, regression 어떻게 짜집기 조합하는지에 따라 수만가지 논문이 양산되는게 현 AI 흐름입니다. 읽은 논문만 300편이 넘어가는데 읽다보면 종종 권태로움이 느껴질정도로 MLP의 조잡한 변형인것이 점차 느껴질정도입니다. AI의 본질적 철학은 보편적이면서도 어떤환경과 문제에도 유연한 우월한 지능이죠. 인간처럼요. 단지 우월한 기능이 있다해서 우리는 아직 AI라 하고 싶지는 않겠죠. 딥러닝개념은 적어도 보편적 비선형 모델 피팅이라는 진보를 이루어낸것은 인정할만한 사건입니다. 다만 문제는 항상 데이터에 너무 의존되는 딥러닝 구조의 한계역시 동시에 trade off로 발생합니다. 현대 딥러닝 패러다임속의 AI는 딥러닝 구조를 가지는한 절대 데이터라는 환경의 취약성에서 벗어날수 없습니다. Few shot 같은 메타 러닝은 사실 말장난에 가깝죠. 메타러닝으로 학습 생산성을 높였을뿐 단어가 주는 오해가 대중을 호도하고 있습니다. 적은데이터 만으로 보편적으로 좋은 성능을 주는 딥러닝 구조는 없습니다. 단, 데이터가 상당히 뚜렷한 경향을 주지않는한. 너무나 뚜련한 경량을 가진 데이터가 있다면 굳이 딥러닝이 아니어도 레거시 ML로 오히려 더 좋은 피팅이 될꺼구요. 프랑켄슈타인처럼 각종 레이어와 feature 유닛들의 짜집기로 되도않는 sophisticated 한 멍청한 모델들로 논문이 도배되고 있습니다. 다들 자기 모델이 다른 모델보다 성능이 좋다고 하며 논문이 마무리되는데 본인이 구축한 데이터 환경만 조금이라도 벗어나면 병신이 되는 모델일뿐입니다.  이런걸 아예 앙상블이라고 갖잖은 용어로 있어보이게 설명하고 있는데 본질적 수학구조를 보면 그냥 이모델 저모델 섞어서 모델블랜딩으로 대충 과적합이 누그러지는 효과인거고 대단한 기법도 아닙니다. 왜 이런 변태적인 방식으로 계속 엉뚱한 진화만 되냐면 아직 아무도 딥러닝이 아닌 새로운 AI 패러다임을 제시하고 있지 못하고 있기때문에 데이터편향의 늪에서 영원히 허우적되고있고 이것을 잔기교로 눈가림하고자 별 잡스런 모델 잡종교배 블랜딩이 되고 있는겁니다. 마치 다세포 동물이 막 출현하던 지금은 거의 멸종한 선캄브리아기의 괴물같은 생명체들이 다양하게 난립하는 것과 비슷합니다.  언젠가 육지로 올라와 파충류나 포유류처럼 보다 고등한 방식으로 진화된 AI가 출현하기 전까진 그저 지금은 다 멸종한 기괴한 몬스터들의 향연이 될것입니다. 한때 휴리스틱 알고리즘이 AI라고 광이 팔릴때가 있었듯 (그뒤 바로 암흑기왔죠) 딥러닝도 그러한 취급을 받게되면서 기술은 다시 암흑기가 머지 않았다고 봅니다. 우리가 바라는 AI는 어떤 인종이 어떤 나라에서 태어나든 어떠한 언어도 배울수 있는 인간같은 지능을 AI라 부르고 싶지 학습한 데이터에만 의존하는 그환경만 잘 기능적으로 맞추는 (GPT계열도 사실 그런 한계속에 있음) 것을 AI라 어직 칭하고 싶지믄 않을겁니다. 양자컴이 개발되면 달라질수 있겠지만, 개인관점에서는 인간의 뇌와 같은 유기물로 된 반도체기반의 AI알고리즘정도는 나와야 비로소 생명체의 지능과같은 단순하면서 우아하고 보편적인 AI가 출현할것이라 봅니다.  뇌과학에서는 이러한 지능의 보편적인특성과 유연함이 신경망의 가소성에서 온다고 하는데 현대 무기물기반 트랜지스터로는 전혀 구현이 불가능 하다고 합니다. 딥러닝 기반의 현애 AI는 분명 한계가 있는건 맞다고 생각합니다. 막 써재끼다보니 오타 비문이 좀 있는데 양해바랍니다.