=========================
딥러닝은 어떤 함수 f(x)을 기깔나게 잘 학습함 너무 잘학습해서 분류도 잘해주고 그림도 그려주고 말도 해줌
하지만 이는 학습한 어떤 데이터셋 D에 대해서만 그러함. 이 D가 조금만 바뀌면 무용지물임.
반면에 우리 인간들은 굉장히 빠르게 다시 학습함. 이 과정이 너무 빨라서 모델을 다시 학습할 필요도 없음(정확히는 그런것처럼 보임). 니가 회사에서 욕먹으면? 1초도 안걸려서 다시 학습하고 시정함.
즉, 시시각각 변하는 D1, D2,... 어떠한 데이터셋에 대해서도 f(x)을 잘학습할 수 있다는 것임.
반면 딥러닝 모델들은 아무리 meta learning이니 나발이니 해도 한계가 있음. ChatGPT한테 물어보면 알겠지만, 그거 아니라고 해도 이 새끼는 이해못함. "그거 아니다->문맥파악 후 본인이 가지고 있는 메모리에 접근하여 적절하 정보 가져옴->f(x)의 수정" (과정A)이라는 과정을 거치지 못하고 있다는 것임.
- 반면 인간은 f(x)의 수정도 아님. 그냥 우리 뇌 자체가 f(x|메모리, 정정된정보)를 학습했다는 것임. 이 과정에서 메모리가 바뀌고 바로 이어지는 상황에도 활용이 가능함.
이게 parametric과 nonparametric의 차이인데, 인간은 기본적으로 non parametric임. 반면 AI모델들은 기본적으로 parametric임. 아무리 parametric 모형의 경량화나 finetuning을 해도 근본이 다름. 또한 Neural Process나 metric learning같이 nonparametric이라고 자랑하는 모델이 있는데, 그것도 뭐 말장난이지 과정A와 차원이 다름. 메모리 자체를 시시각각으로 변화시키지 못하기 때문.
=========================
딥러닝은 아키텍쳐가 유연하니까 과정A을 하도록 아키텍처를 짜면 되는 것 아닌가?라고 질문할 수 있음.
이게 어려운 이유는 개인적으로 그렇게 학습시키기에는 인간의 메모리는 너무 복잡하고, 인간의 멀티모달은 "이미지+텍스트+오디오"보다 훨씬 더 복잡한 멀티모달이기 때문이라고 생각함.
즉, 그림 한장을 컴퓨터에게 전달할 때, 연관된 그림+텍스트를 준다고하자. 이는 너무 쉽고 간단하여 이미 많은 데이터셋이 확보되었고 멀티모달은 너무 성능이 잘나옴. 이를 그래프로 생각해보면, "그림-텍스트"라는 단순한 2 node 그래프라고 할 수 있음(edge값도 그냥 모두 같음).
하지만 우리 인간에게 그림 한장이 전달될때 이정도 정보만 전달이 될까? 우리는 "그림+텍스트+유추되는 과거의 기억+어제공부한 내용 등", 말하자면 그림을 중심으로한 "그래프"를 받게 된다. 이 그래프를 처리하는 딥러닝 아키텍처는 존재하지도 않으며 있다고 해도 그만큼 복잡하지도 않고, 그런 아키텍쳐가 있다고 해도 데이터셋으로 만들기가 너무 어려움
얀르쿤이 말한 것처럼, 사실 앵무새도 같은 새대가리들도 GPT보다 훨씬 많은 뉴런에다가, DNA까지 가지고 있음. 알고리즘이 인간보다 복잡한가?라고 한다면 그렇다고 말하기 어렵다는 것임. x가 간단한 simple modal 데이터일때는 딥러닝의 함수 f(x)가 더 좋은 성능을 보이지만, x가 complex modal data일때는 인간보다 못하다는 것임.
=========================
그럼에도 불구하고 언론이나, 심지어 AI관련 회사 CEO들도 AI가 모든 것을 다 집어 삼킬 것처럼 발언하고 있음.
본인도 머신러닝 전공한 사람으로서, AI가 잘되면 좋지... 근데 아닌건 아닌 것 같음.
실시간 수정 및 복잡한 데이터 구조를 처리하지 못하기 때문에, 결국 한계가 있다고 봄.
유명인들이 어느 정도 수준으로 생각한지 모르겠지만, AI가 위협이 된다든가 인류가 멸망한다던가 하는 소리하는 것을 보니, 100% 블러핑이라고 봄.
GPT을 의학저널로 학습한다고 해서, 이친구가 진짜 의학적인 지식이 쌓인 것은 아님. 좀 더 의학저널스러운 소리를 할 뿐인 것이지. 정말 의학적인 지식을 쌓게 하고 싶다면, super complex modal data로 학습하지 않으면 불가능하다고 봄. 하지만 지금 많은 AI기반 프로젝트들이 겨우 이런 방식으로 돌아가고 있음. 이런 방식은, 아무리 데이터를 때려박고 알고리즘 복잡도를 증가시켜도 한계가 분명하다고 봄.
그냥 컴퓨팅 파워 올라가고 모델복잡도 올라가면 해결되는거 아님?
막줄에 적은 내용 그대로 묻는건 너무 한거아니냐 ㅠ 마치 비젼에서 CNN이 Fully Connected Network보다 더 잘하는 것처럼, 실제 인간처럼 행동하기에는 아키텍쳐 자체가 글러먹었다는 뜻이야
아하 첫문단만 읽고 내림 ㅈㅅ
어떤면에선 인간보다 낫고 다른 면에선 아니고 그런거지 뭐. Chatgpt 만큼 방대한 고급 지식을 가진 사람이 어딨어. 박사급은 아니래도 모든 분야 학부생급은 될듯.
딥러닝 대단한거 맞음 근데 미디어에서 관련해서 조회수 낭낭하게 챙기려고 제대로 알지도 못하면서 자극적이고 반복적으로 AI 대단하다! ChatGPT시대에서 살아남는법 이지랄 하니까 질리는거임.
ㅇㅇ대단한것은 맞음. 어찌됏든간에 f의 복잡도 자체가 미친 수준이니까. 단순한 모달리티의 x에 대해서는 인간보다 나은거맞음
솔직히 씹인정하는 부분이다. 내 생각 그대로 옮긴줄
혹시 기계학습이나 수학 전공임?
알파고 나오기전에 ai가 바둑 절대 못이긴다는게 여론이었고 chatgpt 나오기전에 저정도 성능나온다고 했으면 걍 ai신봉자 헛소리라고 했을걸? 지금 안되는거 가지고 이러니 저러니 해봐야 뭐
언젠가는 방법을 찾아내겠지. 딥러닝 전 수십년간 개와 고양이도 구분 못 한다고 조롱받던 시절도 있었는데 뭘. 업계 홍보는 뭐 이해 해줘야지 자본 필요하니까 - dc App
zero-shot learning, few-shot learning이 새로운 데이터에 대한 기존 데이터로 학습된 부분을 이용한 적응력에 관한 연구인 걸로 알고있음. 그리고 인간 뇌의 아키텍쳐랑 달라서 그 성능을 따라잡을 수 없다는 말은 살짝 이상하지 않나 싶은게 애초에 뉴럴 네트워크가 등장한 이유가 1950년대에 뇌를 모방한 인공지능을 만들자는 프로젝트로 시작한거고 지금도 뇌인지과학이랑 딥러닝은 같이 발전하는 관계임. 애초에 뇌를 모방하는게 목표고 그런 방식으로 지금까지 발전한게 딥러닝이라고 알고 있음. 전공자는 아닌걸로 보이는데 거품이라고 단정적으로 말하는건 별로 안 좋은 것 같음.
생각의 방법이랑 이런 주제에 관한 논의 자체는 좋다고 봄
뇌를모방못한다는게 내글의 핵심이라고해도 무방한데. 그냥 파라미터 늘리고 데이터때려박는것으로는 절대 모방못함
당연히 sota로는 힘들지 연구가 더 필요함 나중에는 가능하냐는 그냥 상상의 영역이지만 개인적으로는 가능하다 봄 그리고 빅테크에서 최대한 빨리 돈을 벌 목적으로 가장 좋은 성능을 위해서 모델 크기를 키우는거지 산업과 연구의 방향이 모두 모델 키우기로 가고 있다고 착각하면 곤란함
뭐 외계인 잡아서 고문하고있는지 내가 알바는 아니지 일게 회사원 따린데. 근데 그런 논리면 주장을 펼칠수없지요. 지금까지 나온 방향을 종합할때 저정도의 혁신이 현실적으로(super complex modal데이터 확보불가) 수리적으로(메모리기반의 data efficient한 모델의 추론 속도, 재빠른 메모리 정보 변겅) 가능할지 모르겠다는거지.
아니 굳이 외계인 고문 안가도 모델키우고 데이터 때려박는 연구(?인지도 몰겠음. 거의 프로덕트라고 보는게 맞을듯)가 주목 많이 받아서 그렇지 다른 방향도 활발함.
그냥 바로 생각나는것만 해도 인바리언트 리스크 미니마이제이션 계열 커절 인퍼런스 계열 스테이트 스페이스 머신 계열 컨티뉴얼러닝 계열 등등 뭐 무수히 많아보임
내가 invariant model 관련해서 연구했고 지금 직장에서서 causal inference 방법 관련 세미나도 들어봤는데 이친구들이랑 내가말한 이슈들이 무슨 연관인지 도저히 모르겠음
무슨 연관이긴 결국 제너럴라이제이션 이슈라는거 아냐. 결국 ERM 기반이 인도메인 인터폴레이션은 잘 하는데, 배운 atomic한 개념들을 combinatorial하게 조합해서, 트레이닝 셋 밖의 example에 대해서 extrapolate는 못한다는거고, 그걸 해결하려고 IRM이나 combinatorial reasoning쪽 연구들이 있다는걸 말한거임. ERM의 본질적인 문제를 detour 해보려는게 IRM 계열이고, causal graph 같은 explicit한 그래프 형태를 이용해서 training에서 보지 않은 counterfactual한 상황에 대해서도 올바르게 동작하도록 하고자하는게 causal ML계열이니까. 최근에는 GFlowNet쪽 연구도 있는거고.
다시 말해, 새로운 데이터셋에 대해 반드시 "학습"해야 할 필요는 없다고 생각함 (학습해야 한다면 이건 컨티뉴얼 러닝으로 가는거고). 이미 주어진 데이터셋 D로부터 그걸 이루는 본질적인 아토믹한 컨셉들을 추출하고, 그 아토믹한 컨셉들의 연결관계로 D를 재구성할 수 있다면, 그 공유되는 컨셉들의 다른 연결관계로서 생성되는 좀 다른 데이터셋 D'에서도 유의미하게 작동할 수 있을거같음. 애초에 아예 다른 컨셉으로 구성되는 데이터셋 F에 대해서는 D로 학습된 모델로는 원시적으로 불능인거고.
딥러닝 대단한건맞지만, 일반인들에게 특이점 운운하면서 마치 진정한 ai 개발된것처럼 허풍떠는건 문제 맞는듯. 정말 진정한 ai 아키텍처가 개발되기만하면 사실 게임 끝이지. 컴퓨터가 사람처럼 모든걸 판단할수있고, 새로운 이론도 만들고, 결국 우주비행 가능한 과학기술 진보도 이끌테고, 결국 외계의 소행성등등의 자원도 가져올수있고, 지구의 모든 사람은 탱자탱자 놀면서 살수있고, 한마디로 특이점인거지.
싱글모달은 인간이 잘 못하는데 복잡하고 많은 입력을 받았을때 따로 처리하고 (1차 감각피질) 통합하고 (시상과 감각피질 사이 전방전파) 추론하는 (전두엽) 모델이 정교하게 상호작용하는 것처럼 따로 통합이랑 추론을 담당하는 존나큰모델이 필요하다곤 생각함 지금 모델로는 너무 얕은듯 그게 또 빠르게 처리되야하고
님도 저랑 되게 비슷하게 생각하시는듯
가능해지는 순간부터 강인공지능의 시작이지
강인공지능 이란 단어때문에 혼란을 부추기는 면이 있는듯. 강인공지능이 가능하려면 인간의 의지, 자아 등을 파악하고 구현해야한다고 착각하는 사람들이 있는듯.
최근 LLM 관련 논문들 보면 이 얘기도 바로 깨져버림... LLM에 소수의 데이터만 가지고 Finetune을 했더니 오히려 해당 데이터에 엄청 잘 반응하게 됨. 지금은 기본적으로 Inference 단에서 Forwarding을 통해 학습하는 ICL 위주로 가지만, 향후에는 RL이 됐든, SFT가 됐든 너가 말한 방향으로 능동적으로 학습하는 방향으로 가게 될듯. 그 과정에서 비용 문제나 Catastrophic Forgetting 문제로 LoRA 같은 Efficient Tuning 방법론을 도입하게 되겠지만...?
나도 이제 학생아니라서 다 이해는 못하겠는데, 그 방법들이 complex modality나 메모리기반 방법인거야?
이미 현대의 인공지능연구가 뇌과학과 결별을 해버려서 과학이 아닌 공학이 되어버렸음. 공학도 잘 다루면 유용하지만 언젠가 이론적 한계가 오게되어있고 그 천장을 뚫으려면 과학적인 이론이 새로나와야함.