더 놀라운 것은 에이전트가 모든 가능한 목표를 달성할 필요가 없다는 점이다. 증명에 따르면 특정한 n개의 목표만 달성할 수 있어도 전체 환경 구조를 학습하게 된다. 이는 언어모델이 텍스트 예측이라는 제한된 목표만으로도 광범위한 세계 지식을 획득할 수 있음을 시사한다.
모든 유능한 AI는 월드 모델을 가지고 있어야 하지만, 그게 꼭 명시적 월드 모델일 필요는 없고 오히려 LLM+이미지 생성+... 등의 특정 목표 조합만으로 암묵적 월드 모델을 구축할 수 있다는 내용이었음
저번에 하사비스가 AI가 동영상만으로도 물리학을 이해할 수 있다고 말한 게 이런 뜻이었나본데
초여름이야!!!!!!!!!!
V-JEPA랑 방향성 거의 똑같은 걸로 들리는데? 르쿤 또 1승 한거임?
더빨리 발전해줘 대사비스경!!!!!
그게 얀르쿤이 한말 아님?
구글이 제파보단 먼저 월드모델 학습한 ai 출시할거라고 보여서 좋은거임 ㅋㅋ
애초에 월드 모델에 대한 얀르쿤이랑 하사비스랑 방향 자체는 크게 다르지 않긴함 ㅋㅋ 단지 하사비스는 결과물로 증명할 뿐
르쿤이는 아가리만 털고 허사비스는 쇼앤프루브를 한다는 점임
@ㅇㅇ 제파도 관련 논문 계속 나오고 있음
이런 비슷한내용 제미니한테 물으면 상세히 출력하더라
오픈AI등은 데이터 양과 파라미터 크기만 계속 늘리면 갑자기 AGI가 등장한다는 스케일링 가설을 세우고 계속 때려박는중
ㄹㅇ 그게 월드모델이지 딴게 월드모델이냐
그 글에서 말하는 "세계 지식"이 세상에 대한 지식의 퀄리티까지 포괄하는건 아님. "목표 달성", "세계 지식"이라는 기준점도 지능 스펙트럼의 특정 지점에 머무를 것이고 모두가 인정할만한 AGI 수준에 도달하기까지 얼마나 복잡하고 정교한 월드모델이 필요한 것인지는 아무도 모름.
제파는 말도 꺼내지마라 - dc App
해당 댓글은 삭제되었습니다.
수학은 왜?
핵심은 다양한 모달리티의 데이터 기반이어야 한다는거지 그거만 지키면 오토리그레시브냐 디퓨전이냐 제파냐는 스케일링 곡선의 기울기에만 약간 영향주고 다 되긴 할 듯
근데 하드웨어 효율성 면에선 rnn이나 cnn같이 특화된 구조가 좋은데, inductive bias는 최대한 줄이고 데이터 양으로 일반화하는 게 좋다는 게 그동안의 lesson learned이기 때문에.. rnn이 정말 트랜스포머 능가할 수 있는가에 대해 의구심은 있음.
불타오른다
안녕하세요, 방명록 확인 부탁드립니다.