비디오 몇프레임을 줘놓고(소리 정보도 같이) 다음 프레임 몇장 동안에 일어날 일을 맞춰봐라 하면
잘은 모르겠는데 뭔가 쓸만한 놈이 나올 수도? 있지? 않을까? 아님?말고?
일단 시청각으로 정답/오답 맞추기부터 시작하고
어떤 일이 일어났나, 일어날까 를 텍스트화해서 맞추고.. 이건 라벨링이 좀 힘들거고
마지막으론 휴머노이드의 신체가 어떻게 움직여야 자연어로 설정된 목적을 달성할지를 맞추게 하면...
어떤 놈이 만들어질까?
비디오 몇프레임을 줘놓고(소리 정보도 같이) 다음 프레임 몇장 동안에 일어날 일을 맞춰봐라 하면
잘은 모르겠는데 뭔가 쓸만한 놈이 나올 수도? 있지? 않을까? 아님?말고?
일단 시청각으로 정답/오답 맞추기부터 시작하고
어떤 일이 일어났나, 일어날까 를 텍스트화해서 맞추고.. 이건 라벨링이 좀 힘들거고
마지막으론 휴머노이드의 신체가 어떻게 움직여야 자연어로 설정된 목적을 달성할지를 맞추게 하면...
어떤 놈이 만들어질까?
'스크린이 빨갛게 변했다 --> 버튼 누르기에 성공했다' 부터 '고양이가 컵을 밀었다 --> 고양이의 사지를 찢지 않고 컵 보호하기에 성공했다'까지 점점 발전할거고.. GPT-3 같은걸 섞어서 목적 설정도 로봇 3원칙 같은 간단한 목적에서 여러 하위 갈래로 나눠지게 하면.. 행동만큼은 제대로 해내는 로봇이 완성될듯
근데 생각해보니 이거 테슬라에서 하고 있는거구나 충돌 예측, 몸(자동차 차체) 움직임으로 회피할 수 있는지 계산, 차를 계속 부숴먹을 순 없으니 현실과 유사하게 동작하는 시뮬레이션 돌리기...