viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a4f7eb9a4460d032f012962a9


올해 넥슨 개발자 컨퍼런스 (NDC) 에서 블루아카이브의 머신러닝 개발자의 발표가 있어서 리뷰 남겨봄


그렇다 이 게임엔 사실 R&D가 있다.

넥슨이 블아에 재투자를 안한다는 주장은 거짓이었던 것이다.

항상 감사하십시오 ちょうせんじん.


이 세션에서 발표된 항목은 3가지가 있었는데

* 아로나의 TTS 개발 및 개선 (인게임 적용된 사항)

* 메모리얼 등 라이브2D 캐릭터 이미지의 유저 시선 추적 (연구중, 인게임 적용 일시 미정)

* 모션 캡쳐 및 리깅을 사용한 3D모델 애니메이션 제작 효율화 (아직 연구중이며 실제 개발 프로세스에 적용되지 않음)



이중에서 시선 추적 연구가 재밌어 보여서 리뷰해봤다.



viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a4079eaf2155b022e40b1bf96


캐릭터가 유저와 눈을 마주치려면 휴대폰의 전면카메라로 촬영한 영상에서 유저의 얼굴 (혹은 눈)을 찾아낼 수 있어야 한다.

이를 위해서는 SSD라는 머신러닝 모델을 사용했다고 한다.

간단하게 설명하자면, 이미지에서 찾고자 하는 물건을 담은 사각형 범위 (bounding box)를 찾는 방식이다.

위 스샷에서 자동차 주위에 딱 맞게 빨간색 테두리를 친 것과 같다. 



viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a127eebf5470857221cf9ae4f


캐릭터 눈이 유저 눈을 실시간으로 따라가려면 서버가 아니라 클라이언트 (즉 휴대폰)에서 계산을 처리해야 한다.

블루아카 돌리다가 휴대폰에 불나는 사태를 방지하기 위해,

간단한 구조를 갖고 있어 다른 모델에 비해 연산량이 훨씬 적게 드는 MobileNet 모델을 함께 사용했다고 한다.



24b0d768f5dc3f8650bbd58b368771691aba

2017년에 나온 MobileNet 논문의 자료다.

GoogleNet과 비교하면 연산량은 1/3로 줄면서 정확도는 오히려 늘었고,

VGG16과 비교하면 정확도는 큰 차이가 없으면서 연산량은 1/30 수준으로 줄였다.





그렇게 해서 나온 중간 결과물이



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ac78fcd1559b2bd67cface1b862aa13476001eb6


이 움짤이라고 한다.


카메라 이미지를 분석해서 사람 시선이 모이는 곳을 계산한 위치가 움직이는 페로로고,

이 위치를 코하루 눈이 따라다니고 있는 것으로 보인다. (현재 방식으로 치면 터치하는 부분이 페로로인 것)




viewimage.php?id=3dafdf2ce0d12cab76&no=24b0d769e1d32ca73deb8efa11d02831029b292b8dc678b6f0797738e8baa5a677fe8bdd7bb8e44cbfe89db790c30577e7dce08db32fdb5a172ae8f4155c0425de82e6d8



사내 테스트에서 의견을 받아본 결과 어색하다는 의견이 많았고,

눈 외에 얼굴이나 상체가 함께 움직이면 어떻겠냐는 피드백이 있었다고 한다.



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ad78fcd1559b2bd67cface9427b4b1501ebe43


대충 이런 느낌이었는듯?




28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ae78fcd1559b2bd67cfacec9baf103b56b9ffa


그래서 현재는 눈 뿐만 아니라 얼굴과 몸이 함께 움직이는 방향으로 선회한 듯하다.




그렇다면 넥슨 외에 다른 곳에서는 비슷한 연구가 없었을까?

Disney Research Hub의 2020년 영상을 찾아보았다.



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6a978fcd1559b2bd67cface70b7cc073d8b499a34


이쪽은 아예 로봇을 제작해서 시선 추적을 시키고 있다.

상체는 고정된 채, 목과 머리만 움직이고 있는데도 상당히 자연스럽다.



28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6ab78fcd1559b2bd67cface267f87cba820921025


다른 동작을 하다가 사람이 다가오니 눈을 마주치고 인사하는 모습이다.




28a7d72fe39c3ba963f2d1bc109c293c560cfe14f6aa78fcd1559b2bd67cface1caa357b506b6c5f1f


사람이 멀리 있으면 힐끔힐끔 바라보기도 하나보다.





지금까지 블루아카이브 머신러닝 개발자의 시선처리 연구를 리뷰해보았다.

어차피 스토리 다보고 ap는 소탕돌리고 나면 할것은 쓰담쓰담밖에 없으니

캐릭터 상호작용이 강화된다면 유저 경험이 크게 개선될 것 같다.

블루아카이브 개발자들의 건투를 빈다.



출처: 블루 아카이브 갤러리 [원본 보기]