라는 흥미로운 영상이 있길래 가져옴

오팀 아니었던거임



영상 요약


알고리즘 통해 게임 역사상 상징적 매커니즘인 로켓점프를 가르쳐 보겠다


앉기 점프 발사 기본 3요소를 알려준 다음

알아서 타이밍 조절해서 높이 제자리 점프하게 하고

최대 높이에 근접한 점프만 정답처리해서 계속 높게 제자리 점프 하도로 교육



그렇게 교육된 매커니즘을 가지고 점프맵에 도전하는 내용










1단계





언덕 올라가는 기본 단계 점프


목적지에 가깝게 날라갈수록 높은 점수를 주는 방식으로 정답 유도


1번 제대로 점프만 해도 올라갈 수 있는 높이























하지만 이를 성공시키려면 기본 베이스가 제자리 점프인 봇한테


비스듬하게 점프시켜야해서


에임 위치를 알아서 설정하고 쏘라고 하자 이 꼴


걍 시발 답대가리가 없노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ












이 부분에 대해 이전에 에어샷을 교육 시킨적 있었는데

에어샷<<과정도 간단하고 총을 쏘는것 뿐이라 5시간만에 배웠지만

로켓점프<<과정이나 에임 위치 고려해서 단순 계산 1000시간이나 교육 필요하다 보이는 상황

















최대한 교육 시간을 단축 시키고자 일단 쏘고 보라고 추가 교육을 했고

그 결과 시간 단축 + 최초 성공 봇 등장

이후 모든 봇이 완벽하게 해낼때까지 교육함
























그 다음 단계로는 벽점프/멀리뛰기/더 높은 벽점프/포고 교육 하는데

AI가 고전하는 부분에서 사람의 손길이 하나씩 들어감



가령 2단계 벽점프같은 경우 점프 중 벽에다 쏴서 한번 더 점프하면

더 높이 날라간다는것을 배우는것으로 시작하는데

해당 난이도 핵심이 벽 방향으로 W를 꾹 누르면서 점프 해야한다는거임



하지만 봇들은 맨 처음부터 무빙에 대해 배워본 적이 없기때문에 이를 해결 못했고

그래서 wasd를 추가로 가르쳐줌으로서 해결했음



이런식으로 AI 상태를 봐가면서 계속 옆에서 기능을 만져주거나

문젝가 생기면 알고리즘을 다시 짜고 케어를 해주는게 영상 주 내용임




후반부로 가면 포고에서 막히는데

맵도 바꾸고 코드도 다시 짜고? 바닥만 고정해서 보게 하고

똥꼬쇼 엄청 했는데 몇주간 교육시켜도 실패해서 ㅈㅈ침

사실 4단계부터도 ㅈㄴ 힘들게 교육시켜가지고 멘붕온듯





결론이나 처음부터 영상을 만든 이유가

이런 딥러닝/심층강화학습이 쓰레기인걸 말하고 싶었다네요






요약

1. 에어샷은 5시간이면 AI는 해냄

2. 로켓점프는 AI한테 교육시키기엔 너무 어렵다

3. 그래도 봇이 나보단 점프 더 잘하는듯 높게 ㅈㄴ 잘뛰노














에어샷 교육 영상