[📪정보] 안드레 카파디, dLLM (디퓨전 기반 LLM) 리트윗

[익명(landofooo)]

이것은 최초의 대규모 확산(diffusion) 기반 LLM으로서 흥미롭습니다.

지금까지 보셨던 대부분의 LLM들은 핵심 모델링 접근 방식에서 ~클론이라고 할 수 있습니다. 이들은 모두 "자기회귀적(autoregressively)"으로 훈련되었습니다. 즉, 왼쪽에서 오른쪽으로 토큰을 예측합니다. 확산(Diffusion)은 다릅니다 - 왼쪽에서 오른쪽으로 진행하지 않고, 한 번에 처리합니다. 노이즈에서 시작하여 점차적으로 노이즈를 제거하여 토큰 스트림을 만듭니다.

사실 대부분의 이미지/비디오 생성 AI 도구들은 이런 방식으로 작동하며 Autoregression이 아닌 Diffusion을 사용합니다. 텍스트(그리고 때로는 오디오!)만이 저항해왔습니다. 그래서 왜 어떤 이유로 텍스트는 Autoregression을 선호하고, 이미지/비디오는 Diffusion을 선호하는지가 저와 다른 많은 사람들에게 미스터리였습니다. 이는 이러한 영역에서 정보와 노이즈의 분포, 그리고 우리 자신의 인식과 관련된 꽤 깊은 토끼굴로 판명되었습니다. 충분히 가까이 들여다보면, 두 방식 사이에서도 많은 흥미로운 연결점이 드러납니다.

이 모든 것은 이 모델이 다를 수 있는 잠재력을 가지고 있으며, 새롭고 독특한 심리학 또는 새로운 강점과 약점을 보여줄 수 있다는 것을 의미합니다. 사람들이 이것을 시도해 보길 권장합니다!

왼쪽 -> 오른쪽 처리가 아닌

이미지, 영상처럼 한꺼번에 모두 처리

싹다 확산시켜.

[20세기공포새(faithful4806)]

이걸로 출력 속도랑 컨텍스트 확 늘어나려나

[익명(right7955)]

그럴듯하고 긴 헛소리가 늘어날거같음. 단어와 단어 사이의 연결의 요소가 약해지니까 긴 글에서 맥락이 바껴버리거나 숨은 전제나 행간이 서로 모순되는 일도 발생할거같고

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

ㄴ 매커니즘적 메타인지(메타인지 능력도 베이스 지능에 기반)를 통해 주제에 대한 잠재 공간에서의 계층적 추론이 필요하다고 봄 그래서.

[익명(shore1232)]

과연 어떤 방식이 우위일까 요즘 diffusion 보면 퀄리티 자체는 엄청 좋은것 같은데

[할랄라루와이(overlap4546)]

옛날에 엔비디아 그 그림 발사하는 거 보는 것 같네

[난모르것다(farewell1592)]

트랜스포머 말고도 제대로 된 결과물을 한번 봤으면 좋겠다 유망한거 뭐 좀 없나

[ㅇㅇ 1(121.143)]

벤치마크 피료해 !

[ㅇㅇ 2(211.215)]

기존모델로는 한계가 있어서 디퓨젼 모델이 정답에 가까움

[Borazine(player4081)]

[익명(nicely8886)]

텍스트는 생성완료 시점을 어떻게 잡지? 생성끝시점에 이터레이션 멈춰야할건데? 이미지는 완성도가 존재해서 중간에 멈추면 어중간한 그림인데 텍스트도 저기서 더 돌리면 더 퀄리티 높은 뭐가 되는건가?

[익명(cideraction)]

오히려 7번이나 돌려서 저기까지 끌어올린 거겠지. 생성 완료 시점은 대강 end token 아닐까? 그 뒤는 자르고.

[익명(nicely8886)]

저거는 디퓨전이라 엔드토큰 없는거 아냐? 예를들어 완성에서 한번 더 돌리면 오히려 이상해질거같은데 아닌가

[광희(cheesemini)]

아, 이방법. 난 몇년전부터 생각했던거임. 이제서야 해보는 애들 있네.

[익명(cideraction)]

구체적인 수학 공식과 알고리즘까지 떠올린 거 아니면 의미 없음. 아이디어만 떠올린 건 그냥 탁상공론임.

[ㅇㅇ 3(211.189)]

사람도 말하면서 다음 단어 생각하지 한번에 말 완성하는게 아니라 next token prediction이 맞는 방법이라고 생각되긴하는데

[익명(landofooo)]

뭐 시도는 여러가지 해볼수 있는거라 애초에 사람도 backprop으로 학습하지는 않지만 딥러닝 성능은 입증돼서