Runway는 서면 프롬프트를 사용하여 AI 기반 텍스트-비디오 편집을 애타게 합니다.



오늘 아침에 게시된 트윗에서 인공 지능 회사 Runway는 종종 "프롬프트"라고 불리는 서면 설명에서 비디오를 편집할 수 있는 AI 기반 웹 기반 비디오 편집기의 새로운 기능을 예고했습니다.  프로모션 비디오는 상업용 비디오 편집 또는 생성을 향한 매우 초기 단계를 보여주는 것으로 보이며, Stable Diffusion과 같은 최근 텍스트-이미지 합성 모델에 대한 과대 광고를 반영하지만 현재의 한계를 은폐하기 위해 일부 낙관적인 프레임을 사용합니다.




Runway의 "텍스트를 비디오로" 데모 릴은 "도시 거리 가져오기"(비디오 클립이 이미 존재함을 암시) 또는 "더 영화처럼 보이게"(효과 적용)와 같은 편집 명령을 허용하는 텍스트 입력 상자를 보여줍니다.  그것은 누군가가 "remove object"를 입력하고 사라지는 그리기 도구로 가로등을 선택하는 것을 묘사합니다(우리의 테스트에서 Runway는 혼합된 결과와 함께 "inpainting" 도구를 사용하여 유사한 효과를 이미 수행할 수 있습니다).  프로모션 비디오는 또한 Stable Diffusion과 유사한 정지 이미지 텍스트-이미지 생성을 보여주고(비디오는 이러한 생성된 움직이는 장면을 묘사하지 않음) 텍스트 오버레이, 문자 마스킹("그린 스크린 사용")을 보여줍니다.  " 기능, 이미 Runway에도 있음) 등.




https://arstechnica.com/information-technology/2022/09/runway-teases-ai-powered-text-to-video-editing-using-written-prompts/