[📪정보] 엔비디아에서 첫 세계기반 추론모델 Cosmos-Reason1 를 출시

[덕수옹(deogsuong)]

https://youtu.be/Eu25r-yisPc

https://research.nvidia.com/labs/dir/cosmos-reason1/

NVIDIA Deep Imagination Research Homepage

로보틱스, 자율주행과 같은 embodied system에서 적용하기 위해 물리적 상식과 구체화된 행동 기반 추론 능력을 가지는 것을 목표로 학습된 추론 멀티모달 모델이 공개되었음

이미지, 음성, 비디오 등의 입력을 이해하는 멀티모달 LLM이 등장한건 이미 꽤 지난 일이지만, 보통은 사진 안에서 사물을 찾고 그 사물을 설명하고 공간적 이해는 아직 모자란 부분이 많음

또한 행동으로 인한 결과나 원인 추론에도 아직 부족한 모습을 보임

Cosmos1은 이런 단점을 극복하고 MLLM의 추론 능력을 로보틱스, 자율주행에 적용할 가능성을 더 키워주었다고 보면 됨

[rtOS(azl27t4zdge5)]

개추를 와바박

[특이점촉진주의(captain8911)]

[익명(winner1918)]

[chatgpt4o(ejrtksfl2)]

그래서 일반인 언제 쓸수 있는데 ㅋ

[덕수옹(deogsuong)]

https://github.com/NVIDIA/Cosmos
이번에
발표한 모델은 아직 공개 안되었지만 재밌는거 많아요 ㅋㅋ

[ㅇㅇ 1(182.31)]

이 영상은 NVIDIA 연구소에서 개발한 **Cosmos-Reason1**이라는 새로운 AI 모델을 소개하는 내용입니다. **주요 내용:** 1. **목표:** 세상의 지식(상식)과 실제 물리적 세계를 연결하는 것을 목표로 합니다. 이는 로봇 공학, 자율 주행 차량, 물리적 상식(시간, 공간 등) 이해에 중요합니다. 2. **핵심 기능:** 비디오와 텍스트 입력을 받아 물리적 세계에 대한 **상식 추론(Common Sense Reasoning)**과 **체화된 추론(Embodied Reasoning)**을 수행합니다. * **상식 추론:** 공간, 시간, 기본 물리학에 대한 이해를 포함합니다. * **체화된 추론:** 인간, 로봇 팔, 자율 주행차 등 다양한 주체가 물리적 환경과

[ㅇㅇ 1(182.31)]

상호작용하는 방식에 대한 추론입니다. 3. **작동 방식:** * **모델 구조:** 비전 인코더로 비디오를 처리하고, 텍스트 입력과 결합하여 하이브리드 LLM 백본(Self-Attention, MLP, Mamba 레이어 사용)으로 전달합니다. 모델은 내부적인 사고 과정(`` 태그)과 최종 답변/행동을 출력합니다. * **데이터 큐레이션:** 다양한 실제 비디오(로봇 작업, 운전 등)를 기반으로 질문-답변 쌍, 상세한 사고 과정(Chain-of-Thought) 추적 데이터를 대규모로 구축합니다. * **학습:** 지도 미세 조정(Supervised Fine-Tuning, SFT)과 강화 학습(Reinforcement Learning, RL)을 사용합니다. 특히

[ㅇㅇ 1(182.31)]

특히 RL 단계에서는 모델이 생성한 여러 사고 과정(Rollouts)을 평가하고 검증 가능한 보상(Verifiable Rewards)을 통해 모델을 업데이트하여 추론 능력을 향상시킵니다. 4. **성능:** * 벤치마크 테스트 결과, Cosmos-Reason1은 다른 최신 모델들(GPT-4o 등)에 비해 상식 추론 및 체화된 추론 작업에서 높은 정확도를 보였습니다. * 특히 물리 AI SFT 및 RL 단계를 통해 기본 모델 대비 성능이 크게 향상되었음을 보여줍니다. 5. **시연:** 영상 후반부에는 자율 주행, 로봇의 물체 조작(상자 열기, 토스트 넣기, 빨래 개기 등), 동물의 움직임 등 다양한 시나리오에서 Cosmos-Reason1이 어떻게 상황을 분석하고 다음 행동을 예측하거

[ㅇㅇ 1(182.31)]

거나 질문에 답하는지 구체적인 예시를 보여줍니다. 요약하자면, **Cosmos-Reason1은 비디오를 보고 물리적 세계의 상호작용을 이해하고 추론하는 데 특화된 AI 모델**로, 방대한 데이터와 SFT/RL 학습을 통해 뛰어난 성능을 보여주며 로봇 및 자율주행 분야 등에 기여할 수 있음을 강조하고 있습니다. ㅋㅋ; 댓글 잘리는건 몰랐네

[덕수옹(deogsuong)]

요약 감사합니다.

[익명(61.84)]

**는 떼고 올리는게 더나았지않나싶음 가독성이..

[보추사랑꾼(dodomaen)]

[익명(sukusuku7)]

[ㅇㅇ 2(211.118)]

이게 얀르쿤이 그토록 울부짖던 JEPA 아니냐?

[ㅇㅇ 3(218.147)]

대박 점점 AGI가 구체화되는구나.

[익명(both6480)]

ㅅㅅㅅ

[익명(merge3772)]

[ㅇㅇ 4(124.197)]

얘넨 월드모델에 진심인듯 딥마인드랑도 개발한다는데

[도로시냥(slzpdnjsxnf)]

[익명(182.221)]

사요나라 제파센세

[익명(bluewarp)]

제파는 언제 나오노

[점심밥(yield0917)]

[4어(61.105)]

쓰지마렴

[Weisser_Adler(adler1)]

[천사다천사(jjtheman999)]

신모델은 개추야 - dc App

[멘토스(gblzvhbddpj2)]

[익명(121.157)]

Cosmos 써봤는데 진짜 ㄹㅇ로 성능 개판임. 이게 산업현장용으로 나온게 맞나 싶을정도로 환각 심함 ㅋㅋㅋㅋ 찾아보면 사용해본 사람들 후기도 거의없다

[익명(121.157)]

아직은 한참 개선해야하는 모델이라 생각함

[익명(175.214)]

ㄹㅇ 개쓰레기던데 엔비디아 이름값으로 나오는 물건임 나중에 뭐 개선할 수는 있겠지

[익명(111.65)]

와 이건 ㅈㄴ큰데???

[ㅇㅇ 5(211.252)]

이게 진짜 AGI로 가는 길이지 ㅋㅋㅋ 얀르쿤 뭐하노 ㅋㅋㅋ

[Borazine(player4081)]