1~2는 구글인데 구글은 기본적으로 기술 공개 안 하는 주의임 (구글이 타사보다 반 년쯤 앞서 있다고 보면 됨)
3~4는 이미 풀림
1. 이미지 2개로 짧은 영상 제작
https://film-net.github.io/
2. 이미지 몇 장으로 3D 모델화
4. MDM : 휴먼 모션 디퓨전모델
텍스트 to 모션 및 액션 to 모션 AI
그림AI에 프롬프트를 입력하면 그림을 생성해주듯
프롬프트를 입력하면 휴먼모션도 생성 가능
https://guytevet.github.io/mdm-page/
https://github.com/GuyTevet/motion-diffusion-model
개쩔어
빨리나와서 내 작업 도와줘ㅡㅡ
흐엄.... 맨 위는 원래 AE에도 확장 Plugin 식으로 팰럴렉스 이펙트라고 있음. (after effect parallax effect) 이렇게 치면 나오기도 헙네다. 특이한 효과를 낱개의 사진밖에 없을때 주는 것. 생각보다 쓸데는 거의 없음. 사람 얼굴을 매핑해서 플러그인 내에서 이식한다음, AE에서 손으로 얼굴을 마스크팩 같은 데에 맞게 펴준다음 움직인듯 연출하는 것이 있는데 당연히도 카메라로 찍고 제대로 하는 것보다 구리고. 생각보다 쓸데 ㅈ도 없음. 그냥 말 그대로 어떤 특정 이펙트로 눈요기 하게 해주는 거 그 이상 이하 아님. 저건 아마 구글 픽셀 핸드폰 같은곳이나 아니면 앱 개발로 사진을 재밌게 해주는 장난감 용도로 들어가는 게 1차적일듯.
애니메이션에서 쓸 수 있는가? 문제는 잘 모르겠네... 아마 이상태로는 저 형식으로 발전한다면, 못 쓸 가능성이 농후해보임. 물론 기존의 단순한 레이어 분리, 3D perspective 느낌으로 좌우 축값을 흔들어 없는 움직임을 주는 착시 같은 방식보다 훨씬 낫지만... 두 번째는 꽤 특이점인데, 원래 지금도 3D 스캔기능이 언리얼에서 인수한 회사에서도 있었는데 이 경우 트래킹시 매우 조심해줘야한다는 것과 고퀄 스캔데이터는 카메라 장비가 존나 비싸거나 그랬는데, 핸드폰으로 된다는점. 더 특이한 본문의 2번 영상의 경우 상대적으로 더 쉽다는 점이 특이점인듯. 그런데 애초에 지금 메가스캔 데이터 있는데 잘 안씀. 왜냐면 최적화가 안 돼서 다운로드랑 용량이 퀄이 높아지면 존나 높아져서...
그런데 꽤 좋은 것이긴 한듯... 예를 들어 문화재 복원 사업 같은 경우 그냥 만드는 게 더 빠를 수도 있지만, VR/XR 작업이나 뭐 기타 3D 복원/재현 사업하려면 저 기술이 아마 상당히 지대하게 중요할 것임. 그리고 포켓몬 잡는 게 AR에서 존나 쉽듯 카메라로 지역을 스캔뜨는 게 누워서 떡먹기마냥 대충 쉬워지고, 관리자들이 대충 감독만 해서 올리면 지역이 제대로 XR/VR/AR로 구현되면 아마 소위 좆타버스(?!) 메타버스의 도래가 더 빨라질 것임. 그런데 막상 어떤 씬의 배경이나 이런 거를 쓸때는 생각보다 좆도 쓸데 없을 가능성 농후함.
왜 좆도 쓸데 없냐면 애초에 지금도 수만 수천의 공간이 있는데 방송 로케이션으로 쓰는 곳은 존나 한정적이고, 그런 곳은 답사하는 전문 PD나 로케이션 팀이 노가다로 자기만의 장소를 알거나 픽해둬야됨.. 먼소리냐면 애초에 배경이나 판타지나 뭐 게임이나 드라마 영화건, 프랍을 응용할수는 있어도 배경 전체 스캔떠서 거기서 뭘 하는 거는 개 쓸데없는 경우나 데이터가 당연히 많음. 물론 기술은 상당히 좋고 응용하기 좋을듯... 그보다 여기서 더 중요한건 Two minutes paper 저 유튜브 존나 괜찮음. 인도 박사 아재가 기술을 논문 대략 보고 알려주는데 유익함. 구독 박으셈. 문제는 발음이 좀 뜨악스럽고, 중간에 광고 껴있고, 기술뽕에 취한듯 가끔 설레발 오지게 치는데 (CG쪽 아주 전문은 아니라 잘 모르는)
설레발은 설레발일뿐. 가끔 진짜 되도 않는 설레발 많고. 그리고 저런 프로그램 대부분은 별게로, 테스트용으로 그리고 몇억되는 AI 컴퓨터로 존나 무한반복값으로 올라온 결과값이 포함되어있고, 다른 3D 툴과 호환이 전혀 안 되어있는등 난점이 존나 많은 경우들이 있음으로 저능아가 아니라면, 알아서 파악하고 걸러야함. 일종의 국뽕영상이 인기 많듯 기술뽕 영상과 궤가 비슷하다는 점을 유의하며 시청... 3번은 꽤 유용한 기술이고 밑의 어떤 글에 나온 심도값, 형태파악하여 인간 얼굴을 대충 스컬프팅 해주는 건데 아마 스컬프팅 아티스트에게 특히 전문 스캔장비가 없는 대중에게 꽤 유용할듯. 내 아바타를 만들때 자기 얼굴을 언리얼 메타휴먼마냥 일일히 딸깍거리며 찾기보단 저렇게 스캔뜨거나 저 데이터값을 통해 보간해서
틀을 만들어주면, 소비자도, 작업자도 개같은 노가다나 저지능 유사AI 탑재한 낮은 IQ 같은 컴퓨터가 일을 도와준다 보는 게 맞는 개념의 퀄... 어쩌면 저것도 IOS 앱같은 곳에 필터마냥 앱으로 상품으로 나와서 놀이용으로 나올 가능성도 다분함. 그런데 저짓거리보다 애초에 3D 스캔은 카메라 존나 많은데 가서 앉아 있으면 알아서 떠주는 프로그램 현재 있음. 비용이 비싸서 그렇고 영화사같은데나 AAA게임에서나 써서 그렇지. 그런데 그것도 특수목적용이라... 그보다는 기술적으로 차라리 언리얼 메타휴먼이 좀 더 쓸데가 많을듯. 이미 많이 응용되고. 그런데 그것도 뭐 엄청 대단한 건 아니고 차라리 Chris jones라고 호주 CG 덕후 아재 있는데 그 사람 작업물/상업용 라이선스 쓰는 게 나을지도?
4번은 나오 얼마전에 어디선가 보긴 했는데, 꽤 재밌는 거 같음. 그런데 저런류의 프로토타입은 언제나 상용화 됐을때 봐야하는 게 있는지라... 애니메이터들이 처음에 Blocking Pose 잡을때나 포즈간 자연스러운 보간값이 애매한데 그걸 저게 자동으로 잡게 해주거나 해주면 꽤 큰 도움이 될지도? 그런데 아마 레퍼런스나 씬에 맞는 정확한 움직임이 그려지는 게 아니라 혼자 쌩쑈하는 막춤식으로 쓸지는 몰라도 여러명이 나오는 액션씬, 프랍을 들고 움직이거나 지형지물에 맞게 움직여야한다 이런 거에는 개뿔 적용의 가능성이 너무 요원함.
저런 것보다 오히려 현재 실제로 더 많이 쓰는 것은, AI로 누끼를 따주는 것임. 원래 다들 알다시피 크로마키로 누키를 따는데, (즉 색상 키값을 분리하여) 현재 AI로 웹에서 클라우드에서 색분리 개념보단, 그냥 사람 자체를 좀 더 제대로 인식해서 배경분리를 해주는 게 있음. 이건 실제로도 많이 씀. 이용료가 비싸지도 않음. 크로마키가 없는 스튜디오/ 개인 촬영 영상에서 좀 더 자유도를 주기 위함이고 사용법도 개쉬워서 이미 실용화 됨. 원래 Mocha 같은 AE 확장 프로그램이나 누크같은데서 노가다로 따던 거 어느정도 커버가능. 그런데 즉발하는 물체나, 머리카락은 당연히도 좆도 못땀. 그냥 크로마키가 훨 나은데 어쩔 수 없을때 그리고 외부 촬영시 상당히 용이.
그리고 4번보다는 오히려 더더욱 정교한 모션캡쳐랑, 물리적인 인터렉션이 자유롭게 되는 엔진이나 알고리즘이 AI고 나발이고 보다 훨씬 더 쓸데가 많을 것... 특히 게임이나 VR/AR/XR에서 존나 쓸데가 많을텐데 일단 요원함. 4번의 경우
https://youtu.be/-TS2iLhYP28
이곳에 꽤 자세히 설명이 되어있음. 발전가능성 높아보이는데 그런데 저걸로 모션을 만들거나 응용하기 보단 차라리 믹사모가 퀄이 훨 좋은 건 당연한 것이고... 그게 시간이나 파이프라인상 더 수월할 가능성 용이. 저런 기술 특이점이 혼자 동떨어져 특정 우물만 파는 식이라 다른 것이랑 연계가 잘 안 됨. 프로그래머가 자동화 되거나 기존툴에 자동 이식되는 프로그래밍 AI가 나오지 않는 이상 그냥 기술시연회에 불과한 경우가 다반사