"트랜스포머로는 안된다"
셋 모두 이 의견에 동의함. 근데 세부적인 의견이 좀 다름
얀르쿤은 지금 가는 길이 완전히 틀렸다고 생각함.
언어를 배제한, 순수하게 명시적인 월드모델을 구축하는 것이 맞고 그 월드모델의 백본으로 가장 적합한 아키텍처는 트랜스포머가 아닐거라 주장하는거임
일리야는 원래 지금 패러다임으로 충분하다는 입장이었지만 이번에 갑자기 선회해서 약간 회의적으로 변함. 그래도 10년전과는 인프라, 인재, 사회적 관심 등 모든 측면에서 상황이 다르니까 연구하면 뭐라도 나오지 않겠냐는 긍정적인 스탠스
하사비스도 표현만 다르지 일리야랑 똑같음. 지금 패러다임으로는 안되는데 그렇다고 이게 틀린 길은 아님. 여기서 한두개 혁신을 더 얹으면 agi 될것같고 진짜 5년 있으면 뭐라도 나오지 않겠냐는 스탠스
만약 5년 지났는데 여전히 트랜스포머 바짓가랑이 붙잡고 있다면? 그건.. 뭐 어쩔 수 없지 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
Oai, 앤트로픽, Xai 얘네는 기존 패러다임 끝까지 밀려고 하는듯 물론 얘네 정도면 새 패러다임 나왔다고 적응 못할 애들은 아님
갑자기머리가너무아프고몸살이날거같다ㅠㅠ
트랜스포머가 아니라 LLM 임 대충 얀 르쿤-월드모델+@ / 하사비스-LLM+월드모델 / 일리야-LLM 으로는 스케일링 늘려봤자 안됨 연구의 시대 재돌입 이정도임
Llm이 트랜스포머의 응용이잖음.. 지금 백본으로 다 트랜스포머 쓴다고 트랜스포머 아키텍처가 쓰레기 고물이 되어야 agi가 달성됨
LLM이랑 Transformer랑 관계는 할 일이랑 재료 그 차이임. 둘은 명확히 구분되는 개념임 LLM도 mamba로 대규모로 할 수도 있고, transformer로 비전 작업도 처리할 수 있어
뾰족 초지능아 와줘..!
뾰족뾰족