사실 텍스트는 "직관"에서 기인한 아이디어나 통찰을 정제하기 위한 수단이지,
지식 그 자체를 창발해내는 "매개체"라고 단언하기엔 다소 무리가 있음.
좀더 정확히는, 텍스트 그 자체가 표상하는 "의미"를 통해 사유와 추론이 진행되는 건데,
결국 텍스트는 그런 의미가 "표면화"되는 한 양상이지, 그 "의미" 자체를 완전히 동치인 정보가 아님. 결국 텍스트로 추상화되는 과정에서 정보 손실은 필연적이니까.
결국 핵심은 "새로운 지식을 창발하는데 있어서 텍스트로 충분하냐"인 거임.
사실 르쿤이 지적하는 지점은 단순 모달리티보다도 좀더 통계최적화, 정보이론 관점에서 기인하긴 하는데
그걸 차치하더라도 모달리티 측면에서 텍스트가 갖는 한계는 꾸준히 딥러닝쪽에서 다뤄지고 있는 떡밥임
다만, LLM-기반 AGI파는 텍스트로도 모든 정보와 "의미"를 표상할 수 있다는 쪽이라면
멀티모달/메타러닝-기반 AGI파는 "의미" 그 자체에 대응되는 모달리티(텐서)를 직접적으로 근사하고, 그걸로 추론해야한다는 점이 다른 거고.
르쿤의 지향점도 단순히 시각 정보로 세계를 처리하겠다는 것에 있는 게 아니라, 시각 정보를 통해 표상되는 의미 정보가 텍스트로 표상되는 의미 정보보다 좀더 근본적인 해결책이라는 논조에 가까움
그림을 텍스트로 설명하는데는 한계가 있으니, 의도한 결과물을 보다 잘 만들기 위해서는 LLM 이상의 것이 필요한 건 맞아보임
ㅇㅇ결국 메인 모달리티가 변하는 것은 반드시 필요하긴 할 거임
단순히 가능한가 불가능한가를 넘어서 효율이 지나치게 떨어진다는 걸 문제로 보는거같음 얀르쿤은
좆간 효율에 저정도 데이터 때려박았으면 벌써 다 대체하고 초지능으로 가고있었겠지
ㅇㅇ애초에 텍스트 자체가 극한의 추상화의 결과물이라 원본 정보를 근사하려면 수많은 텍스트들이 필요함. 그래서 추론 모델들이 미친듯이 생성을 하고 있는 거고. 그 점에서 효율성도 큰 아킬레스건 중 하나임