내 생각에는
처음에 image -> video
그다음 생성된 비디오에다 text로 편집만 가능하고
비디오를 편집하더라도 맨 처음 image에서 생성된 비디오는 바뀌지 않는것같음
왜 이렇게 생각했냐면
1. 현재 이미지를 넣을 때 프롬프트를 넣을 수 있는 방법은 저렇게 텍스트를 친 다음 이미지를 억지로 넣는 방법밖에 없는데,
freeze all motions라고 프롬프트를 작성하더라도 생성되는 비디오는 프롬프트와 전혀 관련성이 없음
2. 같은 이미지로 영상을 세개정도 생성한 다음
모두 freeze all motions from the very beginning라고 하면
초반 0.1초정도 엄청 빨리 움직이고 그다음에서야 행동이 멈춤
3. 이렇게 수정된 비디오에다 다시 똑같은 'freeze all motions from the very beginning' 프롬프트를 넣더라도
아까랑 비슷하게 처음에 움직이는 영상이 만들어지지 프롬프트가 더 강하게 반영된 영상이 만들어지지 않음
굳이 v2v를 쓸 리가
이미지에서 다시 만드는것보다 생성된 비디오를 수정하는게 더 효율적이지 않음?
@약팔이아님 지금 v2v로 제대로 쓰이는 모델도 모르겠고 그냥 다 i2v = 프레임 따다 쓰는데
@특이점이
https://ai.meta.com/blog/movie-gen-media-foundation-models-generative-ai-video/
@약팔이아님 저 포스트 그대로라면 작년에 영상계의 나노바나나가 나왔어야 함
@특이점이 근데 뭐 비디오는 어려우니까
@특이점이 자원때문에 굳이 할 이유도 없고
@약팔이아님 애초에 재생성 결과물이 네가 공유한 포스트처럼 일관성을 가진 것도 아니고 전형적인 첫프레임에 의존하는 i2v 모델 아웃풋
v2v 는 아닐거 같긴한데 왜 초반 아웃풋이 프롬프트를 씹는지는 이해가되진않네