지구상에서, 135억년의 우주적 역사에서
우리가 모델의 GT로 설정할만한 '이해'라는 건
100% 우리 인간이라는 단일종에서 비롯된 사념과 관념들의 집합에서 찾을 수밖에 없음
농담으로라도 옆집 단또에게서 '이해'라고 부를만한 무언가를 발견할 수 없잖아?
여기서 골 때리는 존나 큰 문제가 하나 나오는데,
우리가 외부세계를 인식하는 정보, 그 기저에는 항상 존재론적 함의가 내포되어 있다는 거임
이게 시발 무슨 개소리냐고?
딥러닝갤 갤러 한 명이 어느 학교 어떤 연구실에서 어떤 논문들을 싸질러 왔다는 저격이 터졌다고 가정해보자
그걸 본 갤러 대부분은 "븅신 개꿀잼이노ㅋㅋㅋ"이러겠지만,
어느 한편으론 "와 씨발 난 괜찮나?"라는 생각이 들 수밖에 없을 거임
즉, 모든 사고와 인지의 기저에는 필연적으로 '나'라는 자아의 개념과 인식이 수반될 수밖에 없는 거임.
문제는 이런 '사념'이 단순히 인코더-디코더를 통해 걸러낼 수 있는, 혹은 걸러내야 할 '노이즈'가 아니란 거야
어떤 경우에는 이런 자아에서 비롯된 가치 판단이 우리가 객관적 범주에 있다고 자부하는 '이해'의 영역을 침범하기도 하거든.
이게 잘 납득이 안되면 수능 공부할 때를 생각해보셈.
문제를 풀 때마다 우리는 차가운 이성으로 최적 경로를 탐색한 게 아니라, 아 씨발 개좆같네 썅 하면서 '나에게 가장 도움되는' 경로를 찾으려고 하는 과정에서 학습이 진행됨.
이쯤되면 감이 오겠지만, 모델에서 '이해'를 찾으려는 시도 이전에는
반드시 '자아'에 대한 모델적 구현이 선행될 수밖에 없음
그리고 이건 다시 '자아'라는 존재론적 개념을 정의할 수 있냐는 근본적인 질문으로 회귀하게 됨.
이런 근본적인 문제, 철학적 한계를 일찍부터 인식했기 때문에
딥러닝 학계에서 자주 쓰이게 된 목표이자 용어가 바로 "추론"임.
그 점에서 딥러닝 연구자는 자신이 구현하려는 목표가 '이해'인지, 아니면 '추론'인지를 명확히 할 필요가 있음
적어도 '이해'를 구현하고자 한다면 그 논의는 생각보다 훨씬 더 넓고 큰 담론으로 빠질 수밖에 없는 거임
뛰어난 이해가 꼭 자아와 결부되어야 한다고는 생각지 않음.
가령 아래와 같이 멍청한 LLM의 한계를 뛰어넘는데 꼭 자아란게 있어야 가능할까?
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=459784
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=459843
너가 말하는 건 '이해'가 아니라 '추론'이라는 걸 짚고 싶은 거임. 둘 사이에는 엄연한 차이가 있음
이해란 다양한 종류가 있음. 추론해야 이해할수있는것도 많이있음
그걸 부정하는 게 아님. 다만, 계속 가져오는 예시들이 LLM의 맥락적 추론을 검증하는 예시들이어서 그걸 짚고 싶다는 거임. 그건 굳이 무리해서 '이해'까지 갈 게 아니라 '추론'이라는 측면에서 훌륭히 정의가 가능하다는 걸 말하고 싶은 거임
저걸 이해라 부르건 추론이라 부르건 뭐가 되었건 멍청한 LLM의 한계를 뛰어넘는데 꼭 자아란것 까지 찾지않아도 가능할것 같다는 얘기.
아래의 논쟁들이 생긴 이유가 '이해'라는 말을 써서 그렇다는 거임. 그냥 처음부터 '추론'이라고 구체화했다면 해석상의 오해의 여지가 없었을 거임. 결국 르쿤의 견해도 '추론'에 대한 이야기이고. '이해'라는 건 의미론적인 측면까지 건들기 때문에 엉뚱하게 빠지면 진짜 한도끝도 없음. 당장 GPT가 의미론적 이해가 가능하냐에 대한 질문만 던져도, 출발선도 합의되지 않은 무수한 견해들이 쏟아지게 됨
이해란 표현도 틀린게 아닌데? 그리고 추론이란것 자체도 이해가 있어야 추론이 가능한것도 많음. 내가 LLM 테스트한것도 추론 뿐만 아니라 이해가 가능해야 저 간단한 문제의 답을 맞출수가 있음.
정말 진지하게 연구해보고 싶으면 뉴로-심볼릭을 공부해보는 걸 추천함. 심볼릭에 대한 여러 접근 중에서 로직-theorem prover 모델이 있음. 이 경우에는 llm이 FOL로 주어진 문제를 전사하고, resolution refutation같은 논리 탐색 알고리즘이 해당 FOL을 연역하는 방식으로 '추론'이 진행됨. 여기서 LLM->FOL로 전사되는 부분이 너가 말하는 '이해'에 해당되는 것 같은데, 결국 신경망의 순전파도 사전 정의된 웨이트들의 출력물이라는 점에 '귀납적' 접근에 해당됨. 한마디로 이것 역시 '추론'의 결과물임.
내가 테스트한 두번째 사례에서 구글제미니가 설명한거 보면 추론 과정은 그럴듯함. 그런데 뭘 이해를 못했는지 세번째 컵에 주사위가 있다고 말하고 있음. 그리고 이해, 추론, 인지 같은 단어들은 파고 들면 모호한 부분이 있어서 저 LLM테스트가 이해인지 추론인지 따지는건 별 의미가 없다고 봄. 어차피 죄다 얽혀있는부분이기때문에. 여튼 이 쓰레드의 핵심은 멍청한 LLM의 한계를 뛰어넘는데 꼭 자아란게 있어야 가능하진 않을거라는 얘기.
한가지 합의될 수 있는 건 신경망을 통한 연산은 귀납적 접근이기 때문에 그걸 '추론(inference)'이라고 부른다는 거임. 그와 반대로 '이해'는 그런 최소한의 합의점이 없기 때문에 문제라는 거고. 내 말의 요지는 모델에 '자아'를 가져와야 한다는 게 아니라, '추론'이 아닌 '이해'라는 용어 자체가 문제였다는 걸 짚는 거임. 오히려 난 '자아'를 구현한다는 게 매우 난해할 수밖에 없다고 말했잖아
사람들은 '이해'란 용어를 많이 사용하는데 왜 문제라는건지 모르겠네. 얀르쿤도 고양이 조차도 물리적 세계를 '이해' 할 수 있고 같은 표현을 쓰고 있음. 내가 했던 LLM테스트도 이해와 추론이 얽혀 있기에 이 경우도 이해라고 표현해도 별 문제없음. LLM은 이 문제를 제대로 이해못하니까 저런 엉터리 답변을 하는거지. 그리고 내가 앞에 쓴글에서는 '추론'이란 단어 보다 '이해'가 더 적절함. "제대로된 ai를 개발하기위해서는 '이해'가 필요하다고 절실히 느끼는데" 라고 썼는데 "제대로된 ai를 개발하기위해서는 '추론'이 필요하다고 절실히 느끼는데" 라고 쓰는건 내 원래 의도와 달라짐.
내가 표현하려는 의도는, 특정 신경망 계산하고 그런 좁은 의미의 추론을 얘기하는게 아니라 범용적인 '이해' 능력이 필요하다는것임.
지금 계속 단어 '이해'를 사용해서 너의 생각을 표현하는 게 문제임. 그건 진짜 너무 막연하잖아. 중학생도 모델에게 필요한 건 '이해'입니다.라고는 말할 수 있음. 적어도 모델 스케일 확장을 통해 정량적 측면에서의 추론 역량을 확장시킨다던가, 멀티 모달리티를 통한 다른 도메인간 상호 정보 활용이라던가, GNN을 통한 개체별 의미 관계 부여라던가. 적어도 지금까지 너가 가져온 예시들은 BERT 직후 나온 LLM의 추론 역량에 대한 기존 검토들과 그다지 다를 게 없어 보여서 하는 말임. 결국 예시의 task를 잘 수행하려면 요구되는 게 바로 추론 역량의 향상인데, 그거와 구분되는 '이해'라고 부를 추가적인 요소가 요구된다면, 그게 뭔지에 대해선 말해줘야지. 그냥 '이해'라고 퉁치는 건 정말 막연하고 모호함.
'이해'란 단어는 보통 사람들은 뭔지 알고 있는데 이걸 사용하는게 문제다? 그건 너무 현재의 원시적인ai 기술 관점에서 우물안에서만 바라보는 시각인듯. 내가 표현하려는건 범용적인 '이해' 능력이 필요하다는것이라고 앞에서 얘기했는데, 이게 문제라는건 뭘 어쩌라는건지 모르겠네. 이 문장에서 내 의도는 '추론'으로 쓸수없다고 앞에서 이미 얘기했음. 얀르쿤도 고양이 조차도 물리적 세계를 '이해' 할 수 있다는 얘길하는데 얀르쿤의 발언도 문제인건가? 그리고 막연하다길래 얀르쿤이 생각하는 LLM의 문제점 이유와, 내가 LLM테스트해서 현재 LLM의 문제점을 구체적으로 제시를 했으면 된거지 뭘 더 어쩌라고?
얀르쿤 얀르쿤 ㅋㅋㅋㅋㅋㅋ 자기만의 깊고 구체화된 사고는 없고 르쿤무새짓 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 니가 올린 테스트가 멍청한 llm의 한계를 나타내는 거임? 그 테스트를 100명의 사람들에게(지적장애 제외) 해봤을때 과연 100명 모두가 다 맞을까? 만약 5명이 틀렸다면 그 사람들은 멍청한 이해를 하는 사람들임? - dc App
ㄴ 이 새끼는 저번부터 망상하는 병신 ㅋㅋ 르쿤이 잘 정리해서 인용한거라고 얘기해줘도 이 병신은 뭔 개소리 처하냐 ㅋㅋ 100명중 5명이 그정도 간단한것도 판단 못하면 이해력이 저능아 수준인 멍청한 새끼들 맞는데?
그리고 고양이가 '이해'를 못한다고? 인간 정도의 이해는 못할지 몰라도
현재 인간이 개발한 원시적인 ai보다 더 뛰어난 면들이 있다고 생각함.
얀르쿤도 아래와 같이 얘기하고 있고.
https://observer.com/2024/02/metas-a-i-chief-yann-lecun-explains-why-a-house-cat-is-smarter-than-the-best-a-i/
"고양이는
기억할 수 있고, 물리적 세계를 이해할 수 있고, 복잡한 행동을 계획할 수 있고, 어느 정도 추론을 할 수 있습니다. 실제로 가장 큰 LLM보다 훨씬 뛰어납니다. 이는 기계가 동물이나 인간만큼 지능적이 되도록 하기 위해 개념적으로 큰 뭔가가 빠져 있다는 것을 의미합니다."
그건 '인지'에 대한 이야기지, '이해'가 아님. '이해'에 대한 접근은 '정도'라는 정성적 측면에서 정리될 수 있는 게 아니란 거임. 단순히 인지 수행능력의 차이를 '이해'의 질적 차이로 연결하는 것 자체가 잘못된 시작임. '이해'와 '인지 추론'은 엄격히 구분돼야 할 문제임
인지, 이해 같은 단어는 사실 파고 들면 모호한 부분들이 있음. 자칫 말장난 되기 쉽지. 얀르쿤이 고양이는 "물리적 세계를 이해할 수 있고, 복잡한 행동을 계획할 수 있다. 실제로 가장 큰 LLM보다 훨씬 뛰어납니다." 라고 하는데 얀르쿤의 얘기는 틀렸다고 주장하는건가?
뭐이렇게 철학적이노 확실한건 이런 아이디에이션 갖고 페이퍼는 못쓰긴함..ㅋㅋ 걍 애들끼리 커피챗하면서 아이스브레이킹 정도 토픽인듯
난 인지과학쪽에서의 견해인줄 알았음. 근데 아닌 거같네
지금 못한다고 앞으로도 못할거라는건 헛소리. 수년 ㅎᆢㄱ은 수십년 헤메다가 어느 순간 실마리를 잡으면 또 순식간에 발전함. 매번 반복해서 그래왔음. - dc App
개념의 합의 자체가 안되기 때문에 불가능하다는 의미임. 애초에 기술적 차원의 문제가 아니기에 발전의 문제가 아님
그냥 환경에서 생존하도록 진화시키면 저절로 얻게된 - dc App
꽤 철학적 내공이 있어보이는데 혹시 문과 베이스임? 그렇다면 물어보고 싶은게 있어서
ㅋㅋㅋㅋ 글쓴이는 벽에 대고 얘기하는거같겠노 이해라는 단어 자체가 문제일 수 있다라고 얘기하는데 아무리 정성껏 답변해줘도 덧글들에는 지하고싶은 말들만 다 씨부려놨노