올해 넥슨 개발자 컨퍼런스 (NDC) 에서 블루아카이브의 머신러닝 개발자의 발표가 있어서 리뷰 남겨봄
그렇다 이 게임엔 사실 R&D가 있다.
넥슨이 블아에 재투자를 안한다는 주장은 거짓이었던 것이다.
항상 감사하십시오 ちょうせんじん.
이 세션에서 발표된 항목은 3가지가 있었는데
* 아로나의 TTS 개발 및 개선 (인게임 적용된 사항)
* 메모리얼 등 라이브2D 캐릭터 이미지의 유저 시선 추적 (연구중, 인게임 적용 일시 미정)
* 모션 캡쳐 및 리깅을 사용한 3D모델 애니메이션 제작 효율화 (아직 연구중이며 실제 개발 프로세스에 적용되지 않음)
이중에서 시선 추적 연구가 재밌어 보여서 리뷰해봤다.
캐릭터가 유저와 눈을 마주치려면 휴대폰의 전면카메라로 촬영한 영상에서 유저의 얼굴 (혹은 눈)을 찾아낼 수 있어야 한다.
이를 위해서는 SSD라는 머신러닝 모델을 사용했다고 한다.
간단하게 설명하자면, 이미지에서 찾고자 하는 물건을 담은 사각형 범위 (bounding box)를 찾는 방식이다.
위 스샷에서 자동차 주위에 딱 맞게 빨간색 테두리를 친 것과 같다.
캐릭터 눈이 유저 눈을 실시간으로 따라가려면 서버가 아니라 클라이언트 (즉 휴대폰)에서 계산을 처리해야 한다.
블루아카 돌리다가 휴대폰에 불나는 사태를 방지하기 위해,
간단한 구조를 갖고 있어 다른 모델에 비해 연산량이 훨씬 적게 드는 MobileNet 모델을 함께 사용했다고 한다.
2017년에 나온 MobileNet 논문의 자료다.
GoogleNet과 비교하면 연산량은 1/3로 줄면서 정확도는 오히려 늘었고,
VGG16과 비교하면 정확도는 큰 차이가 없으면서 연산량은 1/30 수준으로 줄였다.
그렇게 해서 나온 중간 결과물이
이 움짤이라고 한다.
카메라 이미지를 분석해서 사람 시선이 모이는 곳을 계산한 위치가 움직이는 페로로고,
이 위치를 코하루 눈이 따라다니고 있는 것으로 보인다. (현재 방식으로 치면 터치하는 부분이 페로로인 것)
사내 테스트에서 의견을 받아본 결과 어색하다는 의견이 많았고,
눈 외에 얼굴이나 상체가 함께 움직이면 어떻겠냐는 피드백이 있었다고 한다.
대충 이런 느낌이었는듯?
그래서 현재는 눈 뿐만 아니라 얼굴과 몸이 함께 움직이는 방향으로 선회한 듯하다.
그렇다면 넥슨 외에 다른 곳에서는 비슷한 연구가 없었을까?
Disney Research Hub의 2020년 영상을 찾아보았다.
이쪽은 아예 로봇을 제작해서 시선 추적을 시키고 있다.
상체는 고정된 채, 목과 머리만 움직이고 있는데도 상당히 자연스럽다.
다른 동작을 하다가 사람이 다가오니 눈을 마주치고 인사하는 모습이다.
사람이 멀리 있으면 힐끔힐끔 바라보기도 하나보다.
지금까지 블루아카이브 머신러닝 개발자의 시선처리 연구를 리뷰해보았다.
어차피 스토리 다보고 ap는 소탕돌리고 나면 할것은 쓰담쓰담밖에 없으니
캐릭터 상호작용이 강화된다면 유저 경험이 크게 개선될 것 같다.
블루아카이브 개발자들의 건투를 빈다.
블루아카에도 런닝머신이 쓰이노 ㄷㄷ
뭐 대단한거마냥 ppt 만들어놓네 ㅋㅋ 실상은 박스 누끼따기 라이브러리 내장함수로 코드 5줄로 만들수 있는거 ㅋㅋㅋ
오늘도 열심히 디시를 지켜보자구~ ㅋㅋ루삥빵삐리삐리빠라뽕~ 흐에!!!!!!!!!!!!!!!
게이는 최적화도 5줄안에 하노?
ㄴ맞는말하는데 무뇌아식 헐뜯기하노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
ㄴ 자기소개하노? ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
면접에서도 해당관련기술 물어보고 할수있다하면 똑같이 대답하고 할수있다고 하세요 ㅎㅎ
얼마나 high level 언어로 짜면 5줄로 이런것도만드노 ㅋㅋ
게이야 빨리 구글에 입사해라
게이는 구글에다 지원 안하고 뭐하고 있노 ㅋㅋㅋ
이 새끼 취업 안하고 뭐함?
5줄은 느그 애미가 3번만에 띄운 임테기 줄 갯수고 등신아 ㅋㅋ
겉핡기 수준도 안배워놓고 아는척하노 저거 폰에서 굴릴려고 모델 최적화하고 경량화 하는거는 뭔데 그럼
알바 또 씹덕을 죽이기로 했느냐
블무새들 와이리늦노 아직까지 블무새출현안하노?
얘내 게임 뽕빨 다떨어짐 ㅋㅋ
해당 댓글은 삭제되었습니다.
몰루
근데 매출 떡락했잖아
컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는 얘들 보라 만든 개발자컨퍼를 뭔 씹덕끼리 뽕짝치면서 분석하고있노 ㅋㅋㅋㅋ컴공 석박사하는
넥슨이 게임을 병신같이 만들어서 그렇지.. R&D는 존나 함 ㅋㅋ
재미가 없다고
씹덕도 배워야 잘만드는거네
한 50년지나서 내가 틀딱이 될쯤엔 맥도날드 키오스크에서 헤메이는게 바로 나일것같다 직업이 나름 하드웨어 펌웨어 개발자인데 좆소따리에서는 따라갈수 없는 갭이 글로벌 적으로 일어나는것같네
추천
고로시 맛들렸노 ㅋㅋ - dc App
ㅇ
이새끼들도 연구라는걸 하긴 하는구나
머신러닝 공부해서 씹덕캐 시선 따라다니는걸로 쓰네 감사합니다 ㅋㅋㅋㅋㅋ
저 로봇 만든회사도 디즈니임
존나 웃기네ㅋㅋ MobileNet도 넥슨이 아니라 똑똑한 천재들이 만든거고 결국 있는 라이브러리를 라투디에 적용하는것도 못하고있는 상황이노
지들도 이정도로 연구하고있단 소리할 뻔뻔함은 없으니까 안한다고 했나보네 정직하노
한마디만 하겠습니다....현생을 살아 씨발새끼들아!!!
키보토스가 현생인데? 지금 청휘석 사려고 지구온라인 쌀먹중임
개무섭네
블루아카는 지금 저게 문제가 아닐텐데
품번 리뷰인줄 들어왔잖아 씨발아
다펑 테크놀로직 뮤비같노;
블루아카나 원신이나 독창적인 게임성은 전혀 없으면서 오타쿠들이나 환장할 법한 캐릭터 따위 팔아먹는 걸로 연명하는 개돼지 전용 게임 아니냐?
원신은 왜욕함? 원신은 갓겜임
원신 해본적도 없는 병신새끼ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
서브컬처라 부름 그래서
좆숨하는 새끼들도 엄지척하고 꺼진 킹신이다 해보고 욕해
아니 씨발 꼬라볼 이유가 있음? 평소에도 눈도 안마주치고 얘기하는 새끼들이 태반인데
얼굴 꼬라보는게 아니고 플레이어가 꼬라보는 위치를 캐릭터도 꼬라보는거임
그러니까 개발하는거지..총겜하는 놈들이 평소에 총질하고 다니냐
저런 기술을 왜 저런데 쓰고있노.
VGG16이 생각보다 정확도가 씹창이네 왜지
로보트 진격거나올거같이 생겼노
시선 안따라가고 얼굴 따라가면 십덕들 얼굴 터져서 디질텐데
블루아카이브 '오버워치 버전' 나오면 블리자드를 이길수 있다.
블루아카이브 '오버워치 버전' 내 '줘' 대충 모모이 미도리 '춤추는콘'
오늘도 실베 엠생백수새끼들 보면서 안도한다 휴~
알파고 때문에 딥러닝과 AI ㅈㄴ ㅆ거품인데 솔까 저거 엇다 쓰냐 이 정도 시간과 돈쳐들였는데 아직 저레벨이면 아직 연구소에서 좀 더 숙성되야할 레벨이지 기업에서 상용화할 레벨은 아닌 것 같다. 아직 제대로 상용화해서 이렇다할 수익모델일만 실적이 없잖아. 빅데이터와 함께 2대 소프트웨어 ㅆ거품. 그냥 AI관련 하드웨어 업체들만 돈 쳐벌은 듯... 아마 곧 저거 전공한 인재들 아마 헐값에 시장에 막 풀릴 듯하다.
응~ 그렇게말한 전기차가 3년전만 해도 쓸모없는거라 했는데 현재는 전기차가 대세야~ - dc App
아니야 전기차 말 나온건 이미 20년도 넘었다. 그렇게 호언장담했던 AI 완전 자율 주행차도 지금 난관에 부딧친 상태야. 그러다보니 AI에 대해서 거품 이야기가 나오는 상황인 거다.
저 시선추적은 원신 처음 나올때 고난이도 기술 들어갔다고 인터뷰에서 자랑하던데
겜에 필요한 기능인지는 몰것네
게임존나재미없던데
존나 정성들여서 똥볼차네 븅신새끼둘ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 너네 bm에 돈 갖다바친 고객들 니즈 충족할 생각안하고 그져 지들 자랑만 할 생각ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 시발새끼들 또 씹덕들이 이런거 좋아한다던데ㅎㅎ 이지랄로 또 좆같은 거 쳐내라ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
길어봤자 이겜 2~3년이지 게임이라고 하지마라 - dc App
씹덕들돈 빨아먹는게 솔직히 제일 편할듯 캐릭터만 잘 뽑아주면 한달에 30~40만원씩 꼴아주니까 개달달할듯
팩트) 비씹덕은 그 돈의 몇배를 한녀에게 꼬라박는다
근데 캐릭터 잘뽑는게 쉬운건 아님 단순 그림만 잘뽑아서 되는게 아니라 스토리같은거도 받쳐줘야 해서리
로봇은 신기하다 - dc App
사형이야! 금지야!
게임이나 재밌게 만들어라 호날두 헛다리 짚는거마냥 실속이 업노
프리코네 표절겜 주제에 개발할게 뭐 있냐
응 다음 가챠겜 회사
해당 댓글은 삭제되었습니다.
지금도 비나 같은거 돌리면 폰이 불나게 뜨거운데 최적화 좀 먼저 해결해줘
정말 좋긴 한데 그 전에 메모리얼 보이스부터 좀 달아줘 시발
아리스 프로토타입 ㅋㅋ
모나리자시발ㅋㅋㅋㅋㅋ
저런건 넥슨 인텔리전스랩스에서 하는건가
mx소속이던데
저정도 기술은 일반 개발자가 맡아서한다고 보면 된다.
로봇 저거 그 다펑 뮤직비디오에 나온거같이 생겼네
디즈니 리서치면 ㅇㅈ이지 저정도까지 자연스럽게 되려나
이런 거 볼 때마다, 한국이 중,일에 비하면 프로그래머들 게임 개발 문화가 유저친화적인게 아니라는 생각이 든다. 기술에 게임 컨텐츠가 딸려가는게 잘못되었다는 생각은 안드나? 컨텐츠를 떠받치는게 기술이되어야지, 기술 넣어보겠다고 어거지로 컨텐츠 만드는 건 이제 그만해야한다
일본 시장 노리고, 일본 게임 따라가고 싶으면 이런 거 이제 그만해야함. 우리나라에서 인디게임이라고 이름 붙이고 개발자들이 주도하는 인디게임이 하나같이 다 이럼. 무슨 게임을 만들고 싶은게 아니라, 어떤 '기능'을 넣고 싶어서 안달난...
무슨말이지ㅋㅋ - dc App
씹덕겜에 필요한 기술을 투자하는건데 기술을 쓰고싶어서 블루아카 메모리얼이 만들어짐?ㅋㅋ - dc App
개발자 특일듯 - dc App
메모리얼의 경험을 더 좋게 하기위해 rnd하는걸 이런시선으로 보는 놈들도 있노ㅋㅋ - dc App
하나만 알고 둘은 모르는사람, 영상은 보고말함? 3번만 봐도 컨텐츠 제작공정을 좀더 원활하게 하기위한 기술또한 연구중인데. 결국 본문에 나온 시선따라가는 기술넣으려고 억지부리는줄아네 ㅋㅋㅋㅋ 그리고 애당초 씹덕 모바일게임의 컨텐츠라하면 저런 세세한 디테일에서 차이가 갈리는건데. 메모로비 라이브2d로 드래그한 지점 시선 따라가는것도 기술넣어보려고 억지부린거임??
우리가 이런거 만들었다고 동네방네 자랑할 수 있는, '기술'을 드러내기에는 딱 좋지만 유저가 느끼는 만족감은 그저 그런 컨텐츠라는거지. 개발자들이 눈으로 척 봐도 잘 드러나보이는 기술에 치중한다는게 문제임. 진짜 유저에게 만족감을 늘려주는 컨텐츠에 기술이 들어가야하는데 말이야.
하고싶은말이 뭔지는 알겠는데 본분도 안읽고 뜬금없는데서 개같은 태클거니까 어이가 없네 ㅋㅋㅋㅋ 니가 들은 예시가 들어맞는 게임가서 징징대
솔직히 평가해보자. 캐릭터 눈동자가 내 시선을 따라오는데서 오는 만족감이 얼마나 갈 거 같음? 잠깐 신기하고 그 다음부터는 불편하기만할 걸. 단발성, 그리고 자랑거리가 되는 기술에 치중하는건 이제 그만할 때가 되었다...
마지막으로 적자면... 캐릭터의 눈동자가 내 시선을 따라오면 나는 캐릭터의 눈동자가 움직이는 걸 못보게된다로 연결된다.
진짜 유저가 만족감을 들어하는 컨텐츠를 지가 규정하려는거부터 웃김 ㅋㅋㅋㅋ 메모리얼 드래그한데 따라가는건 만족도 있고 카메마로 시선 따라가는건 만족도 가 없다고 니가 정함? 완성되지도 않은기술로 만족도 지멋대로 측정하는것도 웃기네. 본 영상에서도 어색해서 도입을 안했다고 말하는데, 지가멋대로 고나리질하는거부터 ㅋㅋㅋ 대~ 단한 평론가 납셨어 그치??
아니 그럼 뭐.. 저 개발자 상사들은 그걸 몰라서 저러는줄아나 ㅋㅋㅋ 다 모이고 모여서 완성도니까 하는거지
뭔가 오해가 있는 거 같아서 적을게. 내가 실망한건 '실제로 만들면 캐릭터가 움직이는 걸 곁눈질로보거나 아예 못보게 될게 뻔하다' 때문이야. 내 시선이 다른데 있는데 캐릭터를 집중해서 볼 수가 없지. 이게 문제라는 거임. 시선을 100% 정확하게 추적해봤자, 정작 유저는 캐릭터에 집중하고 제대로 볼 수 도 없는데...
딱봐도 분탕이지만 버튼 아무거나 눌러보셈 거기서 파티클이 몇개나 터지나. 렉걸리고 쓸모없지만 결론은 게임이 이쁘다
말바꾸는것도 웃기네 ㅋㅋㅋㅋ 기술력 자랑하려고 저런짓하는거라며? RND로 여러가지 방면으로 여러가지 시도를 내용에 지가먼저 이상한 쉐복해놓고 결국 시선따라가는건 만족도가 낮음! (본인피셜). 니가하는말이 다 맞다쳐도 3번내용은 결국 완성도만 올리면 3D공정에서 상당한 도움이 될텐데 이것도 기술력 자랑하려고 저짓거리하는거임? 지멋대로 헛소리 찍찍 싸놓고 뒤에는 꼬투리만 가지고 자기말 합리화하는거 진짜 웃기면서 역하다 친구야
겜안분이네 그냥 ㅋㅋㅋㅋ
완성도 안된 기술에 본인피셜 "뻔함" ㅇㅈㄹ ㅋㅋㅋㅋㅋ 뭔가 일침비슷한걸 넣고싶으면 본문내용을 정확히 처 이해하고 쓰세요
말투 왜이렇게 좆팔육 같냐 고아임?
억까라고 생각하는 것도 너의 자유야. 이 말 하는 것도 나의 자유고. 영상 내용도 물론 봤어. 난 싸우려는게 아니라, 내 생각을 적었을 뿐이야. 너의 생각도 충분히 이해하고 공감해.
그리고 머신러닝자체를 기술넣어보겠다고 어거지 부리는거라고 생각하는거면, 저런 기술은 게임개발사에서는 말할것도없고 니가 알게모르게 세상 온갖 곳에 쓰고있다. 저걸 기술력 어거지 부리는거라고 생각한다면. 대가리만 좆팔육세대인 잼민이라는소리니까 아갈머리해주길바래
자유야 ㅇㅈㄹ하네 헛소리 찍찍하면서 맞는말인척 은근슬쩍 넘기지 말라는거야
뭔가 관통한척 다아는척 적어놨지만 실상은 본문내용 하나도안보고 억까하는 헛소리고, 돈까스집가서 요즘엔 치킨을 이렇게 튀기는게 문제야 하면서 ㅈㄹ하는꼴이랑 똑같이 꼴불견이니까 그냥 조용히하자
언제는 무지성억까하더니 이런데서는 또 억빠하네 캐릭터가 시선따라가는게 게이머한테 만족도가 높을지 모르겠는데? 얘말대로 그냥 투자자나 임원한테 게임내적으론 자신없고 기능으로써 어필하고싶은 용도가 더 진한거같은데 - dc App
유저 친화적인게 아니면 애초에 아로나가 tts로 유저 이름도 안불러주지않았을까 - dc App
게이머에게 만족도가 높을지 낮을지는 완성본이 안나온상황에서 넘겨짚는거랑 다를바없지, 드래그로 시선따라오는기능도 실제로 써보기전에 말로만 들으면 그냥 윗머리들에게 어필하는 용도 밖에 안되잖아? 그리고 시선추적기능이 만족도가 낮다고해도 본 영상에서 말하고자 하는건 머신러닝기술을 어떤방식으로 블루아카이브에 도입하려는지 여러 시도를 보여주는건데 이걸 뭐 억빠할게 있음? 그런갑다 하면 되는걸. 이상한 소리하면서 억까하는게 꼴보기 싫은거, 억까 깐다고 억빠가 되는게 아님
억까 줘패는건 그렇다치고, 시선따라가는기술은 본문에 나온정도만 보면 확실히 유저만족도가 높을수가 없는 완성도임, 케릭터 몸이 따라움직인다고해도 별로인건 변함없고 하지만 본문에서 그기술을 자랑하는게 아니고 실패사례로 보여준거고 아로나의 보이스개선이나 모델링에서 머신러닝기능이 도입된다고 하는건 오... 하면서 봐줄만 함
어그로 끌다가 말빨에서 밀리면 "내가 그렇게 생각하는건 내 자유다" 라고 말하는거 존나 많이 보이는데 이거 템플릿 이라도 있냐?
솔직히 말이 좋아서 "컨텐츠 추가"지 유저 모두가 만족할만한게 나오겠냐? 뭐가 나오든 한 3일 빨다가 "그래서 이제 뭐함?" 시전하는게 유저들인데 ㅋㅋ 개발은 달 단위고 소비는 일 단위인게 폰게임임
이새끼 게임을 한번이라도 해보면 이딴말 안나오는데 기술구현하려고 하는거면 왜 여고생이 배까고 울고있는걸 게임에 넣었을까
멍청하게 아는척하네. 저 알고리즘은 내 '시선'을 눈치채는게 아니라, 휴대폰 전면부가 게임 속 임의의 사각형과 카메라 상 임의의 사각형을 매칭시켜서 '내 눈의 위치'에 따라 시선이 움직이는 기술임. 내 '초점'에 맞춰서 움직이는게 아니라. 아직 AI 딥러닝중이고 잘 알지도 못하면서 억까 심하네. 게다가 이미 블아 스토리 볼륨은 이미 완결이 정해져 있는 상태라 절대 볼륨없지 않음. 한창 스토리에 맞춰서 게임 개발하고 있는데 뭔 컨텐츠 얘기임? 그냥 일뽕친중친미하는 탈조선 외치는 집안백수 같은데.
씹덕이면 좋아하는데
장애인
발달 장애인
씹덕들이 간절히 원하는 것인데 ㅋㅋ저거 메모리얼은 이미 있는 호평받는 컨텐츠인데 기술개발을 통해 상호작용을 더 늘리겠다는 소리임..지금 몇몇 메모리얼에 더빙없는 것만으로도 지랄하는게 씹덕들임
눈 따라가는건 애초에 메모리얼 눈이 움직이는 걸 볼려면 마주쳐야 되니 극단적으로 말하면 정면 바라보는 것만 느껴지는거 아님?
어라
안녕하십니까 선생님. 좋은 글 같아서 스크랩 후에 다른 카페에 올리고싶은데 혹시 괜찮을까요? 출처 반드시 남기겠습니다 감사합니다.
네 이왕이면 원본 영상 링크도 같이 가져가 주세요
칸샤합니다 선생님. 내용 올리면서 추가적으로 제가 짤 좀 더 줍줍해서 내용 추가해서 넣었고 영상출처까지 다 남겼슴다 감사합니다. - dc App
출처는 디시인사이드 실베로 잘 적어놓으라 이기야
ndc나도 보다보니 재밋어서 21년22년 블루아카 관련된거나 재밋어보이는거 시간날때 보고있음 - dc App
아랫짤 로봇 무섭다
이제 재미만 만들면 되겠네 ㅎ
모나리자 눈알 굴리는거 왜캐 무섭노
로봇 무서운데
NDC22 영상
https://www.youtube.com/watch?v=UOSJVlqejlI
디즈니
영상
https://www.youtube.com/watch?v=D8_VmWWRJgE
모나리자
움짤 원본 영상
https://youtu.be/4naJpv8jXrE
저 로봇 가지고싶다
저거 적용되면 블붕이들 얼굴 찍히는거임?
말은 클라이언트단에서 처리한다니 서버로 넘어갈일은 없을듯 - dc App
개발자 말에 따르면 서버에 전송될 일은 없으니 안심해라 ㅇㅇ
기술력 투자하는건 좋긴한데 개인적으로 성대나 메모리얼 같이 급한거부터 해결해주면 좋겠다..
ㄹㅇ
기술력만 충분하면 성우에 돈 안쓰고 풀보이스 지원도 할수있음ㄷㄷㄷ
로봇 왤케 무섭게생김