지능의 기초로서의 세계 지식
생성 AI는 예측에 기반합니다. 즉, 세상에 대한 지식을 구축할 수 없다는 뜻이라고 르쿤은 말합니다. 그는 오랫동안 스케일링이 잘못된 접근 방식이라고 생각해 왔으며, 예를 들어 "방이 어떻게 생겼는지, 방 안에 무엇이 있는지 예측할 수 없습니다."라고 설명합니다. 빛에 따라 창문의 위치는 알아볼 수 있을지 몰라도, 방의 나머지 절반이 어떻게 보일지는 예측할 수 없습니다. 그는 또한 Sora와 이미지 생성기가 세상을 묘사하는 데 잘못된 방식이라고 생각합니다 . 파리에서 르쿤은 매우 구체적으로 이렇게 말합니다. "AI의 미래는 생성 AI가 아닐 것입니다."
사람들은 언어가 아닌 시각적으로 학습합니다. 생각은 언어가 존재하기 전에 이미 존재하며, 언어로 변환됩니다. 하지만 언어가 없는 사람들도 여전히 생각을 가지고 있습니다. 르쿤에게 이는 "자연스러운 데이터"가 필요하다는 것을 의미하지만, 이는 비정형적인 형태로만 제공됩니다. 따라서 새로운 아키텍처가 필요합니다. 현재 모델이 이미 과제를 해결할 수 있다고 믿는 사람은 속고 있는 것입니다. "모델은 과제를 위해 훈련됩니다."
얘는 "현재의 생성형 AI, LLM이든 월드모델이든 Sora던 Veo던 그냥 생성에 기반한 방식은 절대 물리법칙을 이해할 수 없고 추론 못하고 계획도 못하는 등 한계가 있을 것이다"
이 주장을 옛날부터 해옴
까이는 이유도 단순히 LLM 때문에 그런게 아니라 생성형 AI가 계속 발전해서 자기가 말했던 한계들을 깨고 있는데도 인정을 안하고 고집부리니까 그런거지
다 떠나서 대부분의 특붕이는 특이점에 제일 가까우면 빨아줌
JEPA로 입증만 하면 바로 태세 전환해서 빨아줄 준비 완료됨
대담하기만 함
생성형 AI가 계속 발전해서 자기가 말했던 한계들을 깨고 있는데도 인정을 안하고 고집부리니까 그런거지 ㄹㅇ 이건데 얀르쿤말이 다 맞지 않냐며 하는애들이 있음...
추론모델 나오니까 'LLM 아니다' ㅋㅋㅋ
아 o3 나왔을때 얘기했네
진짜 그 발언은 너무 추했음. 그나마 o1, o3만 있어서 reasoning 모델 어떻게 만들어지는지 몰랐을 때는 아키텍쳐가 진짜 뭔가 다른가 의심이라도 했는데 r1 뜨면서 그냥 정확도 기반 강화학습 post training한 LLM이면 충분히 된다는거 밝혀지고 더더욱 추해짐
얀르쿤 : 트위터 안해 이 씨발년들아 ㅋㅋ 블루스카이 간다 (얼마뒤) 얀르쿤 : ㅎㅇ
소라는 그럴 수 있어. Veo2부턴 걍 개소리임. 물리법칙 이해도는 계속 발전함. 결국 인간이 구분할 수 없을정도로 정교해지면 설령 그게 진정한 물리법칙의 완전구현이 아니더라도 시각적 이해는 충분히 가능하다고봄. 우리 눈이 2억화소인가 그렇지만 수십억 화소로만 볼 수 있는 것들을 못 본다고 어린 아기가 세상을 이해 못하는건가? 아니잖아.
학자라서 그런지 무조건 100% 물리법칙을 완전히 이해한 (그게 현실적으로 가능한지도 모르겠지만) 시각 이해력을 갖춰야 지능이라고 인정하는 것 같은데, 일단 아기 수준의 이해도만 갖춰도 세상을 물리적으로 이해한 건 맞는거임. 발전하면 돼.
맞는 말이긴 함. SOTA라는 2.5 프로도 사람이라면 상식적으로 알 수 있는 것도 놓치는 경우가 많더라.
veo쪽에서는 유투브 학습시키니까 물리현상을 이해하기 시작했다고 하지않던가요 ㅎㅎ 아직 충분한 학습이 안되었다고 봐야겠죠. 현재 llm들은 대부분 텍스트쪽에 치중되어있으니까요.