[일반] 디퓨전 모델이 언어를 생성하면 어캐 생성하는건지 정의되어 있는 글 있냐

[익명(akdock5)]

이런 사고방식을 거쳐서 생성하라고 하면 어떻게 반응할지 궁금하긴 험

[ㅇㅇ 1(121.132)]

GPT는 디퓨전모델 써보라는 프롬 넣으니까 막 형태소들을 브레인스토밍으로 여러개 불러온 다음 거기서 주제에 맞는거 몇개 고르고 다시 노이즈 넣는다고 이상한 어휘 또 몇개 만들어서 막 갖다 붙이더라. 결과물의 퀄리티는 못써먹을 수준이었지만 존나 창의적이고 해괴한 신조어는 잘 만들었음

[익명(organize4221)]

그게 대체 무슨 소리임.. 그런다고 해서 GPT가 갑자기 디퓨전 모델이 되지 않음 그리고 애초에 GPT는 본질적인 자기 자신을 건들 수 없음 너가 시킨 게 가능햇으면 재귀개선 해보리는 프롬 넣엇을 때 재귀개선 햇겟지

[익명(shore1232)]

이걸 "사고"라고 해야할지 모르겠다.. 디퓨젼 모델은 학습 데이터에 노이즈를 더해서 완전한 노이즈로 만드는 forward process와 노이즈에서 다시 데이터를 생성하는 backward process로 되어있음. 먼저 포워드 프로세스로 노이즈를 생성하고 이때 사용된 정보를 사용해 데이터를 "그럴듯하게"복원함

[익명(shore1232)]

일반적인 언어모델에 diffusion 모델의 방식대로 생성하라 하면 윗댓말대로 노이즈 추가한답시고 삽질하다 엉망이 될 가능성이 높겠지

[익명(organize4221)]

학습 데이터에 노이즈를 더해서 노이즈로 만드는 게 아니고 학습 데이터를 기반으로 노이즈를 어떻게 그럴듯한 데이터로 변환하는 걸 구현하는 거 아님?

[익명(organize4221)]

그리고 실제로 모델 실행할 때는 노이즈랑 프롬포트를 결합시키거나 프롬포트 자체를 노이즈 취급해서 결과물을 생성하는 거고