7cea8276b4856fff37e898bf06d6040349061d43cd6a02370f


https://m.dcinside.com/board/thesingularity/421373

V-JEPA: 얀르쿤의 고급 기계 지능(AMI)을 향한 다음 단계https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/ ErrorErrorai.m.dcinside.com


뉴턴의 세 번째 운동 법칙을 생각해 보세요. 심지어 유아(또는 고양이)도 테이블에서 여러 가지 물건을 떨어뜨리고 그 결과를 관찰한 후에 올라가는 것은 반드시 내려온다는 것을 직관할 수 있습니다. 그 결과에 도달하기 위해 몇 시간의 교육이 필요하지 않으며 수천 권의 책을 읽을 필요도 없습니다. 당신의 내부 세계 모델, 즉 세상에 대한 정신적 모델을 기반으로 한 상황별 이해는 이러한 결과를 예측하며 매우 효율적입니다.

이렇게 하면 소량의 데이터를 사용하여 새로운 작업을 빠르게 획득하고 다양한 작업을 인식하는 능력을 얻을 수 있습니다.

https://m.dcinside.com/board/thesingularity/500144?recommend=1

빌 게이츠 Next Big Idea Club 인터뷰 요약- AI는 곧 화이트칼라 사무직처럼 유저의 의도나 활동을 이해하기 시작할 것이며 컴퓨터 인터페이스는 이제 완전히 에이전트 중심이 될 것입니다.- 현재의 AI는 일을 믿고 완전히 맡긴다는 그 신뢰성 부문에서 아직 부족하m.dcinside.com


글쎄요, 스케일링은 중요한 과제가 아닙니다. 우리는 아마 두 번 더 스케일링을 할 수 있을 겁니다. 그것도 비디오 데이터를 잘 활용하고, 합성데이터를 매우 잘 활용할 수 있다면 말입니다. 그렇게되면 두 번 정도 더 스케일링을 할 수 있겠죠. 하지만 그 쪽은 흥미로운 부분이 아닙니다. 제가 흥미롭게 생각하는 부분은 '메타인지'입니다. 문제를 광범위하게 이해하고 한 발 물러서서 이 답이 얼마나 중요한지, 어떻게 답을 찾아갈 수 있을지, 어떤 외부 도구를 활용할지를 AI가 스스로 생각하도록 하는 것, 그것이 메타인지죠. 단순한 추론에 그치지 않고 인간다운 메타인지로 만들기 위해서는 다양한 작업이 필요합니다.

https://m.dcinside.com/board/thesingularity/500282?recommend=1

ARC-AGI 벤치마크: AGI 개발에 필요한 새로운 벤치마크https://www.sequoiacap.com/article/new-ideas-for-agi The New Ideas Needed for AGI The strength of LLMs is alsom.dcinside.com


“Scale is not all you need. New ideas are needed.”

마이크 누프(Mike Knoop)는 스케일만으로는 충분하지 않으며, 새로운 접근 방식이 필요하다고 강조합니다.

ARC-AGI 벤치마크는 데이터를 많이 투입하더라도 단순히 기억하기 어려운 문제들로 구성되어 있습니다. 이 벤치마크를 해결하려면 매우 적은 양의 데이터로 새로운 작업을 학습할 수 있어야 합니다. 이는 현재의 LLM이 수행할 수 없는 능력입니다.

https://m.dcinside.com/board/thesingularity/500352?page=2

샘 알트만 AI for Good 인터뷰 요약Q: 현재 각 사에서 훈련중인 모델은 '처음으로 대규모로 합성데이터를 활용해 훈련시키는 모델'들이 될 것이다. 지금 웹에 있는 많은 데이터들은 LLM들이 만들어낸 합성데이터 때문. 그것들이 많이 섞이기 시작할 것으로m.dcinside.com


샘 : LLM이 합성데이터를 만들어내 무수한 토큰을 만들고 다시 모델에 먹이는 그런 방식은 비효율적이다. 스스로가 만든 것을 다시 먹이는 셈이기 때문. 지금 핵심은 '더 많이 배우도록' 하는 것이다. 물론 합성데이터를 생성해 모델을 훈련시키는 실험은 진행했다. 하지만 본질적인 것은 역시 '적은 데이터로 얼마나 많이 배울 수 있는가' 다.

스케일링은 크게 중요하지 않다, 적은 양의 데이터로 학습할 수 있어야 한다