당시에 키넥트라고 엑스박스 장비가 있었다.
적외선을 쏴서 앞에 있는 사람의 공간값을
유추해내서 그걸 기반으로
인체형 본 (관절 위치값이라 생각하면되;)
본 데이터의 포즈값을 찾아내는 기술임.
난 이걸 기반으로 모션캡쳐를 하는법을
인터넷보고 혼자서 찾아내서 연구해서
울 회사가 하는 대형 외주프로젝트에 써먹었음.
그래서 수백개의 애니메이션 클립을 이거로
단기간 내에 해치움.
근데 이 키넥트 기술도 결국에는
마이크로소프트가 기계학습. 당시 용어로는
머신러닝을 뒤지게 시켜서.
적외선값을 주면 키넥트가 본 포즈값을 내뱉는 식으로.학습시켜 내놓은 결과임.
키넥트안에 그 학습한 결과데이터가 있는셈이지.
그래서 내가 생각한건.
이런 원리를 이용하면 영상만 가지고도 포즈 추출하거나
원하는 영상을 만들수도 있을거같았다.
계획은 3d 게임중에 심즈같은 이런게임으로
학습데이터를 만드는거야
1. 심즈 캐릭터의 움직임 한클립 랜더링한거 (비디오파일)
2. 그 클립에 이용된 3d 애니메이팅 파일
3. 동작의 명칭에 대한 라벨링
이 세개를 한 세트의 학습자료로 만들어서
이걸 수만개 생성해서
ai에게 기계학습을 시키면,
키넥트방식에서 쓰는 적외선 데이터값없이도
영상 비디오 파일만보고도 동작을 추출하고
그리고 원하는 동작 이름을 입력하면
그 동작이 생성될수도 있을거라 생각했음.
이게 내가 2016년에 생각해서 보고한 아이디어임.
당시 날 믿어주던 대표가 이거말고 다른곳에선 구체 안에서 모션캡쳐 하는거 연구한다던데 그건 어떠냐고 나에게 물어봤었음 난 그거보단 내가 생각한 이 방식이 더 맞다고 했지