[📪정보] 비디오 학습으로 minecraft 다이아곡괭이 제작

[특갤용(singularity45)]

https://openai.com/blog/vpt/

labeled되지 않은 비디오를 학습하기 위한 semi-supervised imitation model인 VPT(Video pretraining)를 제안.

labeled된 contractors의 비디오와 키보드, 마우스 기록의 과거, 미래 정보로부터 각 frame 사이의 action을 예측하는 inverse dynamics model(IDM)을 학습. 이후 IDM으로 더 큰 unlabeled 비디오 데이터셋을 labeling하고 과거 frame만으로 action을 예측할 수 있도록 VPT를 학습

foundation model의 pretraining후(VPT)

behavioral cloning이나 강화학습으로 fine tuning.

표준적인 강화학습 기법인 random initialization보다 VPT모델 기반이 reward를 더 잘 받고

minecraft에서 인간 수준의 속도 이상으로 다이아몬드 곡괭이 제작 과정을 보임

zero shot과 behavioral cloning으로 fine tuning했을 때 각 step별 속도 비교

random intialization 기반의 RL 모델과 VPT 기반 RL 모델의 reward 비교

전체 다이아몬드 곡괭이 제작 과정 영상

[ㅇㅇㅇ(14.38)]

[익명(39.117)]

미쳤네 ㅋㅋㅋㅋ

[익명(39.117)]

몰?루

[익명(49.172)]

빡대가리라 잘 모르는데 마크 비디오 보여주고 학습시켜서 다이아 곡괭이 제작하라하면 학습한대로 지 혼자 자율적이고 최적인 방안으로 수행하는거임?

[익명(119.148)]

ㅡㅡ 특이점 온거같은데??

[익명(111.171)]

점점 별개 다 가능해지고있네

[익명(221.154)]

철을 곡괭이랑 작대기로 굽네ㅋㅋ

[ddd(61.38)]

유튜브에 있는 동영상들 다 학습 가능하면 ㄷㄷ하겠네

[익명(119.207)]

[익명(175.223)]

2025~~~

[익명(125.181)]

[문스와치(cot6awdbbabg)]

ㅅㅂ왔다

[익명(211.252)]

근데 이거 예전에 성공한거 아님?

[익명(211.252)]

마크를 모르니까 쩌는건지 아닌건지 모르겠네

[익명(116.34)]

다이아곡괭이 제작법 교육 이수한 방구석 특붕이도 1분컷함. 기계가 교육을 받고 그 내용을 토대로 작업을 수행한다는건 개쩌는거야. 머신러닝은 씨발 신이라고!

[익명(121.146)]

이거 솔직히 그렇게 대단하다곤 못느끼겠는데;; 블럭을 써서 길을 만든것도 아니고, 용암에 빠지는 경우를 대비해서 물 버켓을 만들어 둔것도 아니고, 중간에 몹이 있어서 피해가거나 처치하지도 않았고, 수직으로 내려갈때 협곡만날 가능성을 대비한것도 아님

[익명(121.146)]

요컨데 그냥 프로세스로만 이해하고 있지. 그 사이에 있을 변수는 아무것도 고려하지 못했다는거임 나무->조합대->나무곡괭이->돌->돌곡괭이->철->화로->철괴->철곡괭이->다이아->다이아곡괭이

[익명(121.146)]

프로세스를 수행하기 위해서 필요한 장애물을 해결하는 모습을 보여준게 없음. 이런 패턴을 수백개 입력하고 앞에서 말한 장애물 하나도 마주치지 않는 맵에서 시작한다면 당연히 통과할 수 밖에 없다고 봄

[익명(59.14)]

뭐노 그냥 입력값대로만 하는거면 진짜 실망인데 생각보다 별거 아닌거였노....

[익명(123.215)]

멍청한 놈 뉴비도 안하는 수직굴을 파고 있네ㅉㅉ

[익명(221.154)]

3초무적 쓰려고 한듯

[익명(210.95)]

근데 다이아 찾는걸 어케함?

[익명(121.160)]

수직굴 파다 용암나오면 탈주하냐?