올해 넥슨 개발자 컨퍼런스 (NDC) 에서 블루아카이브의 머신러닝 개발자의 발표가 있어서 리뷰 남겨봄
그렇다 이 게임엔 사실 R&D가 있다.
넥슨이 블아에 재투자를 안한다는 주장은 거짓이었던 것이다.
항상 감사하십시오 ちょうせんじん.
이 세션에서 소개된 연구는 3가지가 있었는데
* 아로나의 TTS 개발 및 개선 (인게임 적용된 사항)
* 메모리얼 등 라이브2D 캐릭터 이미지의 유저 시선 추적 (연구중, 인게임 적용 일시 미정)
* 모션 캡쳐 및 리깅을 사용한 3D모델 애니메이션 제작 효율화 (아직 연구중이며 실제 개발 프로세스에 적용되지 않음)
이중에서 시선 추적 연구가 재밌어 보여서 리뷰해봤다.
캐릭터가 유저와 눈을 마주치려면 휴대폰의 전면카메라로 촬영한 영상에서 유저의 얼굴 (혹은 눈)을 찾아낼 수 있어야 한다.
이를 위해서는 SSD라는 머신러닝 모델을 사용했다고 한다.
간단하게 설명하자면, 이미지에서 찾고자 하는 물건을 담은 사각형 범위 (bounding box)를 찾는 방식이다.
위 스샷에서 자동차 주위에 딱 맞게 빨간색 테두리를 친 것과 같다.
캐릭터 눈이 유저 눈을 실시간으로 따라가려면 서버가 아니라 클라이언트 (즉 휴대폰)에서 계산을 처리해야 한다.
블루아카 돌리다가 휴대폰에 불나는 사태를 방지하기 위해,
간단한 구조를 갖고 있어 다른 모델에 비해 연산량이 훨씬 적게 드는 MobileNet 모델을 함께 사용했다고 한다.
2017년에 나온 MobileNet 논문의 자료다.
GoogleNet과 비교하면 연산량은 1/3로 줄면서 정확도는 오히려 늘었고,
VGG16과 비교하면 정확도는 큰 차이가 없으면서 연산량은 1/30 수준으로 줄였다.
그렇게 해서 나온 중간 결과물이
이 움짤이라고 한다.
카메라 이미지를 분석해서 사람 시선이 모이는 곳을 계산한 위치가 움직이는 페로로고,
이 위치를 코하루 눈이 따라다니고 있는 것으로 보인다. (현재 방식으로 치면 터치하는 부분이 페로로인 것)
사내 테스트에서 의견을 받아본 결과 어색하다는 의견이 많았고,
눈 외에 얼굴이나 상체가 함께 움직이면 어떻겠냐는 피드백이 있었다고 한다.
대충 이런 느낌이었는듯?
그래서 현재는 눈 뿐만 아니라 얼굴과 몸이 함께 움직이는 방향으로 선회한 듯하다.
그렇다면 넥슨 외에 다른 곳에서는 비슷한 연구가 없었을까?
Disney Research Hub의 2020년 영상을 찾아보았다.
이쪽은 아예 로봇을 제작해서 시선 추적을 시키고 있다.
상체는 고정된 채, 목과 머리만 움직이고 있는데도 상당히 자연스럽다.
다른 동작을 하다가 사람이 다가오니 눈을 마주치고 인사하는 모습이다.
사람이 멀리 있으면 힐끔힐끔 바라보기도 하나보다.
지금까지 블루아카이브 머신러닝 개발자의 시선처리 연구를 리뷰해보았다.
어차피 스토리 다보고 ap는 소탕돌리고 나면 할것은 쓰담쓰담밖에 없으니
캐릭터 상호작용이 강화된다면 유저 경험이 크게 개선될 것 같다.
블루아카이브 개발자들의 건투를 빈다.
로봇 무서운데
NDC22 영상
https://www.youtube.com/watch?v=UOSJVlqejlI
디즈니
영상
https://www.youtube.com/watch?v=D8_VmWWRJgE
모나리자
움짤 원본 영상
https://youtu.be/4naJpv8jXrE
저 로봇 가지고싶다
저거 적용되면 블붕이들 얼굴 찍히는거임?
말은 클라이언트단에서 처리한다니 서버로 넘어갈일은 없을듯 - dc App
개발자 말에 따르면 서버에 전송될 일은 없으니 안심해라 ㅇㅇ
기술력 투자하는건 좋긴한데 개인적으로 성대나 메모리얼 같이 급한거부터 해결해주면 좋겠다..
ㄹㅇ
기술력만 충분하면 성우에 돈 안쓰고 풀보이스 지원도 할수있음ㄷㄷㄷ
근데 ㄹㅇ루 기술 더 발전하면 이미 팬덤 있는 초인기 성우나 이벤트 식으로 더빙하고 나머진 다 기계더빙으로 갈듯 지금처럼 보이스 자료 넣어서 하는것도 끝나고 색깔 rgb 값 넣듯이 보이스값 넣어서 만들거같음 그때 되면 동일한 경험 쌉가능한거신가 같은 목소리로 일어 한국어 다가능ㅋㅋ - dc App
로봇 왤케 무섭게생김
지금도 비나 같은거 돌리면 폰이 불나게 뜨거운데 최적화 좀 먼저 해결해줘
정말 좋긴 한데 그 전에 메모리얼 보이스부터 좀 달아줘 시발
아리스 프로토타입 ㅋㅋ
모나리자시발ㅋㅋㅋㅋㅋ
저런건 넥슨 인텔리전스랩스에서 하는건가
mx소속이던데
저정도 기술은 일반 개발자가 맡아서한다고 보면 된다.
로봇 저거 그 다펑 뮤직비디오에 나온거같이 생겼네
디즈니 리서치면 ㅇㅈ이지 저정도까지 자연스럽게 되려나
이런 거 볼 때마다, 한국이 중,일에 비하면 프로그래머들 게임 개발 문화가 유저친화적인게 아니라는 생각이 든다. 기술에 게임 컨텐츠가 딸려가는게 잘못되었다는 생각은 안드나? 컨텐츠를 떠받치는게 기술이되어야지, 기술 넣어보겠다고 어거지로 컨텐츠 만드는 건 이제 그만해야한다
일본 시장 노리고, 일본 게임 따라가고 싶으면 이런 거 이제 그만해야함. 우리나라에서 인디게임이라고 이름 붙이고 개발자들이 주도하는 인디게임이 하나같이 다 이럼. 무슨 게임을 만들고 싶은게 아니라, 어떤 '기능'을 넣고 싶어서 안달난...
무슨말이지ㅋㅋ - dc App
씹덕겜에 필요한 기술을 투자하는건데 기술을 쓰고싶어서 블루아카 메모리얼이 만들어짐?ㅋㅋ - dc App
개발자 특일듯 - dc App
메모리얼의 경험을 더 좋게 하기위해 rnd하는걸 이런시선으로 보는 놈들도 있노ㅋㅋ - dc App
하나만 알고 둘은 모르는사람, 영상은 보고말함? 3번만 봐도 컨텐츠 제작공정을 좀더 원활하게 하기위한 기술또한 연구중인데. 결국 본문에 나온 시선따라가는 기술넣으려고 억지부리는줄아네 ㅋㅋㅋㅋ 그리고 애당초 씹덕 모바일게임의 컨텐츠라하면 저런 세세한 디테일에서 차이가 갈리는건데. 메모로비 라이브2d로 드래그한 지점 시선 따라가는것도 기술넣어보려고 억지부린거임??
우리가 이런거 만들었다고 동네방네 자랑할 수 있는, '기술'을 드러내기에는 딱 좋지만 유저가 느끼는 만족감은 그저 그런 컨텐츠라는거지. 개발자들이 눈으로 척 봐도 잘 드러나보이는 기술에 치중한다는게 문제임. 진짜 유저에게 만족감을 늘려주는 컨텐츠에 기술이 들어가야하는데 말이야.
하고싶은말이 뭔지는 알겠는데 본분도 안읽고 뜬금없는데서 개같은 태클거니까 어이가 없네 ㅋㅋㅋㅋ 니가 들은 예시가 들어맞는 게임가서 징징대
솔직히 평가해보자. 캐릭터 눈동자가 내 시선을 따라오는데서 오는 만족감이 얼마나 갈 거 같음? 잠깐 신기하고 그 다음부터는 불편하기만할 걸. 단발성, 그리고 자랑거리가 되는 기술에 치중하는건 이제 그만할 때가 되었다...
마지막으로 적자면... 캐릭터의 눈동자가 내 시선을 따라오면 나는 캐릭터의 눈동자가 움직이는 걸 못보게된다로 연결된다.
진짜 유저가 만족감을 들어하는 컨텐츠를 지가 규정하려는거부터 웃김 ㅋㅋㅋㅋ 메모리얼 드래그한데 따라가는건 만족도 있고 카메마로 시선 따라가는건 만족도 가 없다고 니가 정함? 완성되지도 않은기술로 만족도 지멋대로 측정하는것도 웃기네. 본 영상에서도 어색해서 도입을 안했다고 말하는데, 지가멋대로 고나리질하는거부터 ㅋㅋㅋ 대~ 단한 평론가 납셨어 그치??
아니 그럼 뭐.. 저 개발자 상사들은 그걸 몰라서 저러는줄아나 ㅋㅋㅋ 다 모이고 모여서 완성도니까 하는거지
뭔가 오해가 있는 거 같아서 적을게. 내가 실망한건 '실제로 만들면 캐릭터가 움직이는 걸 곁눈질로보거나 아예 못보게 될게 뻔하다' 때문이야. 내 시선이 다른데 있는데 캐릭터를 집중해서 볼 수가 없지. 이게 문제라는 거임. 시선을 100% 정확하게 추적해봤자, 정작 유저는 캐릭터에 집중하고 제대로 볼 수 도 없는데...
딱봐도 분탕이지만 버튼 아무거나 눌러보셈 거기서 파티클이 몇개나 터지나. 렉걸리고 쓸모없지만 결론은 게임이 이쁘다
말바꾸는것도 웃기네 ㅋㅋㅋㅋ 기술력 자랑하려고 저런짓하는거라며? RND로 여러가지 방면으로 여러가지 시도를 내용에 지가먼저 이상한 쉐복해놓고 결국 시선따라가는건 만족도가 낮음! (본인피셜). 니가하는말이 다 맞다쳐도 3번내용은 결국 완성도만 올리면 3D공정에서 상당한 도움이 될텐데 이것도 기술력 자랑하려고 저짓거리하는거임? 지멋대로 헛소리 찍찍 싸놓고 뒤에는 꼬투리만 가지고 자기말 합리화하는거 진짜 웃기면서 역하다 친구야
진짜 유저들 체험을 늘려주고 싶어! 이러면 좋아하겠지? 에서 나온 발상같음???? 시선 따라오면 나는 아예 보지도 못하는데? 이게 유저를 위한, 체험을 늘려주기위한 의미있는 기술로 보여? 난 그냥 개발자들 기술 넣고싶어서 자랑하는걸로 보이는데.
겜안분이네 그냥 ㅋㅋㅋㅋ
완성도 안된 기술에 본인피셜 "뻔함" ㅇㅈㄹ ㅋㅋㅋㅋㅋ 뭔가 일침비슷한걸 넣고싶으면 본문내용을 정확히 처 이해하고 쓰세요
진짜 유저들 체험을 늘려주고 싶어! 이러면 좋아하겠지? 에서 나온 발상같음???? 시선 따라오면 나는 아예 보지도 못하는데? 이게 유저를 위한, 체험을 늘려주기위한 의미있는 기술로 보여? 난 그냥 개발자들 기술 넣고싶어서 자랑하는걸로 보이는데. 그니까 니 뇌피셜로 찍찍싸면서 억까하는걸 끝까지 이해못하겠다는거임??? 영상내용은 보고하는말이니??
말투 왜이렇게 좆팔육 같냐 고아임?
영상을 처안보고 지말만 하니까 간단히 요약해줄께. 머신러닝을 블루아카이브에 적용하기위해 여러가지 방면으로 연구중이고, 이중 실패한것도 성공한 연구도 있으며 그중 일부를 소개하는게 강연의 내용임 << 이거부터 니가 맨처음에 말했던 기술력 자랑하려고 억지로 쓸데없는기능 게임에 처넣을라고 한다는 니 말에 정면으로 반대 된단다. 글 본문에서 소개하는 기술은 이런저런 시도중에 하나일뿐이고 니가 꼬투리잡았던 시선을 따라가는 기술은 자체적으로 완성도가 낮다고 평가해서 본게임에 들어가지도않았고 완성본은 나오지도않고 세상누구도 확인한적이 없어. 개발 의도랑 과정을 니 뇌피셜로 찍찍 넘겨짚는건 둘째치고 기술의 완성을 보지도않고 "뻔함" 이라면서 폄하하는게 정상이라고 보니? 이런걸 억까라고 하는거다
억까라고 생각하는 것도 너의 자유야. 이 말 하는 것도 나의 자유고. 영상 내용도 물론 봤어. 난 싸우려는게 아니라, 내 생각을 적었을 뿐이야. 너의 생각도 충분히 이해하고 공감해.
그리고 머신러닝자체를 기술넣어보겠다고 어거지 부리는거라고 생각하는거면, 저런 기술은 게임개발사에서는 말할것도없고 니가 알게모르게 세상 온갖 곳에 쓰고있다. 저걸 기술력 어거지 부리는거라고 생각한다면. 대가리만 좆팔육세대인 잼민이라는소리니까 아갈머리해주길바래
자유야 ㅇㅈㄹ하네 헛소리 찍찍하면서 맞는말인척 은근슬쩍 넘기지 말라는거야
뭔가 관통한척 다아는척 적어놨지만 실상은 본문내용 하나도안보고 억까하는 헛소리고, 돈까스집가서 요즘엔 치킨을 이렇게 튀기는게 문제야 하면서 ㅈㄹ하는꼴이랑 똑같이 꼴불견이니까 그냥 조용히하자
언제는 무지성억까하더니 이런데서는 또 억빠하네 캐릭터가 시선따라가는게 게이머한테 만족도가 높을지 모르겠는데? 얘말대로 그냥 투자자나 임원한테 게임내적으론 자신없고 기능으로써 어필하고싶은 용도가 더 진한거같은데 - dc App
게이머에게 만족도가 높을지 낮을지는 완성본이 안나온상황에서 넘겨짚는거랑 다를바없지, 드래그로 시선따라오는기능도 실제로 써보기전에 말로만 들으면 그냥 윗머리들에게 어필하는 용도 밖에 안되잖아? 그리고 시선추적기능이 만족도가 낮다고해도 본 영상에서 말하고자 하는건 머신러닝기술을 어떤방식으로 블루아카이브에 도입하려는지 여러 시도를 보여주는건데 이걸 뭐 억빠할게 있음? 그런갑다 하면 되는걸. 이상한 소리하면서 억까하는게 꼴보기 싫은거, 억까 깐다고 억빠가 되는게 아님
억까 줘패는건 그렇다치고, 시선따라가는기술은 본문에 나온정도만 보면 확실히 유저만족도가 높을수가 없는 완성도임, 케릭터 몸이 따라움직인다고해도 별로인건 변함없고 하지만 본문에서 그기술을 자랑하는게 아니고 실패사례로 보여준거고 아로나의 보이스개선이나 모델링에서 머신러닝기능이 도입된다고 하는건 오... 하면서 봐줄만 함
어그로 끌다가 말빨에서 밀리면 "내가 그렇게 생각하는건 내 자유다" 라고 말하는거 존나 많이 보이는데 이거 템플릿 이라도 있냐?
솔직히 말이 좋아서 "컨텐츠 추가"지 유저 모두가 만족할만한게 나오겠냐? 뭐가 나오든 한 3일 빨다가 "그래서 이제 뭐함?" 시전하는게 유저들인데 ㅋㅋ 개발은 달 단위고 소비는 일 단위인게 폰게임임
눈 따라가는건 애초에 메모리얼 눈이 움직이는 걸 볼려면 마주쳐야 되니 극단적으로 말하면 정면 바라보는 것만 느껴지는거 아님?
안녕하십니까 선생님. 좋은 글 같아서 스크랩 후에 다른 카페에 올리고싶은데 혹시 괜찮을까요? 출처 반드시 남기겠습니다 감사합니다.
네 이왕이면 원본 영상 링크도 같이 가져가 주세요
칸샤합니다 선생님. 내용 올리면서 추가적으로 제가 짤 좀 더 줍줍해서 내용 추가해서 넣었고 영상출처까지 다 남겼슴다 감사합니다. - dc App
ndc나도 보다보니 재밋어서 21년22년 블루아카 관련된거나 재밋어보이는거 시간날때 보고있음 - dc App
ndc 되게 재밌네