디퓨전도 존나 깎으면 트랜스포머 딸 수 있음?
지금이야 정확도가 떨어진다고 하지만,
토큰 길이가 엄청 길어지는 상황이 되면
병렬로 텍스트 찍어내는 디퓨전이 유리할것 같고
더불어서 노이즈 제거 스텝을 늘리고
최적점 잘 찾고 하다보면
트랜스포머 따는 순간이 오는거 아님...?
디퓨전도 존나 깎으면 트랜스포머 딸 수 있음?
지금이야 정확도가 떨어진다고 하지만,
토큰 길이가 엄청 길어지는 상황이 되면
병렬로 텍스트 찍어내는 디퓨전이 유리할것 같고
더불어서 노이즈 제거 스텝을 늘리고
최적점 잘 찾고 하다보면
트랜스포머 따는 순간이 오는거 아님...?
서로서로 장단점이 있긴할듯?
Auto-regressive와 Diffusion을 섞는게 요즘 트렌드임
디퓨전이 압도적으로 유리한점이 있어서
속도는 빠르겠더라
어차피 요즘 디퓨전 모델들 백본은 트랜스포머임 자기회귀냐 아니냐의 차이만 있을 뿐