@Azurespace
A small clarification: JEPA is not an alternative to transformers. I'm fact, many JEPA systems use transformer modules.
It is an alternative to Auto-Regressive Generative Architectures (such as LLMs), regardless of whether they use transformers.
Azurespace(azurespace)2025-06-08 18:43
답글
Mamba로도 JEPA 만들 수 있고 CNN으로도 만들 수 있고 하여간 여러가지 구조 있는데 지금 제일 좋은게 트랜스포머니까 트랜스포머를 안 쓸 이유가 없겠지
Azurespace(azurespace)2025-06-08 18:44
Veo도 트랜스포머 범주임. 이건 그냥 Diffusion model이고 forward, inverse process가 추가되었을 뿐 트랜스포머로 핵심이 되는 함수를 근사하는건 변하지 않기 때문임
익명(shore1232)2025-06-08 18:47
AGI에 대한 정의....가 우선이긴 한데
너무 깐깐한 기준 말고, 인류의 삶의 질을 월등히 개선 시키고, 생산성도 올리고, 연구원들이랑 같이 개선속도가 나오는.....아기가 주변 도움 받아서 아장아장 걷는 수준은 트랜스포머로도 될 것 같음. 다만, 더 빨리 걸으려면 멀티모달이라 훨씬 다양한 타입의 데이터를 이해할 수 있어야 하고. 시간이 지나면 자연스럽게 제파든 뭐든 아예 월드모델이 될거라고 보기 때문에.
그냥 지금 AI 추세를 그냥 따라가다보면 르쿤이 말하던 형태의 AI가 자연스럽게 만들어질거라고 생각함.
지금 하는 거 다 멈추고, 르쿤형님이 말하는 걸 직진으로 달성하려는 건 좀 아닌 것 같음.
JEPA도 트랜스포머야...
https://www.threads.com/@yannlecun/post/C8wNRocuExq
@Azurespace A small clarification: JEPA is not an alternative to transformers. I'm fact, many JEPA systems use transformer modules. It is an alternative to Auto-Regressive Generative Architectures (such as LLMs), regardless of whether they use transformers.
Mamba로도 JEPA 만들 수 있고 CNN으로도 만들 수 있고 하여간 여러가지 구조 있는데 지금 제일 좋은게 트랜스포머니까 트랜스포머를 안 쓸 이유가 없겠지
Veo도 트랜스포머 범주임. 이건 그냥 Diffusion model이고 forward, inverse process가 추가되었을 뿐 트랜스포머로 핵심이 되는 함수를 근사하는건 변하지 않기 때문임
AGI에 대한 정의....가 우선이긴 한데 너무 깐깐한 기준 말고, 인류의 삶의 질을 월등히 개선 시키고, 생산성도 올리고, 연구원들이랑 같이 개선속도가 나오는.....아기가 주변 도움 받아서 아장아장 걷는 수준은 트랜스포머로도 될 것 같음. 다만, 더 빨리 걸으려면 멀티모달이라 훨씬 다양한 타입의 데이터를 이해할 수 있어야 하고. 시간이 지나면 자연스럽게 제파든 뭐든 아예 월드모델이 될거라고 보기 때문에. 그냥 지금 AI 추세를 그냥 따라가다보면 르쿤이 말하던 형태의 AI가 자연스럽게 만들어질거라고 생각함. 지금 하는 거 다 멈추고, 르쿤형님이 말하는 걸 직진으로 달성하려는 건 좀 아닌 것 같음.
아기아기는 트랜스포머 만으로 가능한데 궁극적인 아기를 탄생시킬려면 월드모델 필요할듯