그래서 내놓는게 JEPA라서 문제임.

JEPA도 결국 llm과 같은 수준의 한계를 가지고 있고, 단순히 추론공간이 토큰에서 잠재공간으로 더 깊어졌을 뿐임. 그래서 현재 llm이 가지는 근본적 문제인 외삽문제(한번도 본적 없는 일반화된 지식을 유추할수 있는가?/상식에 반하는 추론을 통해서 명제를 세울수 있는가?)를 해결할 가능성이 낮다고 봄.

JEPA에 기반하여 아키텍쳐가 조금 더 범용적으로 잘 깎이면, 기존 트랜스포머보다는 더 효율적인 아키텍쳐가 될 수는 있지만, 근본적 문제는 해결하지 못함.

얀르쿤이 주장하기로는 JEPA를 통한 더 세계에 기반한 사고가 가능하다고 생각한다는데, 이것도 이론적으로는 맞는말인데, JEPA가 나온지 몇년이 되는 동안 아직도 이런 사고에 대한 구체적인 아키텍쳐 증명을 못해서 문제임.