안녕하세요! 오랜만에 인사드립니다. 전에 완전 몰입형 가상현실에 관련된 논문들을 분석했던 사람입니다.


오늘은 새벽에 시간이 잠깐 비기도 하고, 2024년이 마무리 되어가는 만큼, 지난 6개월간 세간에 공개된 완전 몰입형 가상현실과 관련된 논문들을 몇 개 분석해보려 합니다. 작년과 비교해서 점진적인 발전이 있었으면 좋겠네요ㅎㅎ





먼저 분석해 볼 논문은 올해 초에 발표된 '완전 몰입형 가상현실에서 EEG(뇌전도)를 이용한 시선 추적의 방법' 이라는 논문입니다.


먼저 EEG에 대한 설명을 간단하게 하자면, EEG는 뇌전도의 약자로 말그대로 뇌에서 발생하는 전기적 신호를 말하는 것입니다. 그리고 해당 논문의 연구자들은 VR을 할 때 발생하는 뇌의 전기적 신호를 이용해서 유저가 글자나 그림등을 다른 입력장치 없이 입력할 수 있도록 만들 수 있다고 말하고 있습니다.





해당 자료 화면을 보시면 유저가 보는 VR 속의 화면과, 그런 유저의 머리에 부착되어 있는 EEG장치가 보이실겁니다. 연구진들은 VR을 사용할 때 뇌에서 발생되는 전기적 자극을 이용해서 VR 화면 속 보이는(A) 알파벳들을 선택할 수 있도록 하고 있습니다. 


그리고 추가적으로 B자료에 실린 EEG장치는 완몰가 실현에 꼭 필요한 시스템 중 하나인 BCI를 부분적으로 구현시킨 것이라 연구진들은 설명하고 있습니다. 해당 EEG장치는  'SPELLER' 이라 불리우는 철자기(2진법과 같은 시스템으로 화면 속에서 ~을/를 할까요? 라고 물었을 때 다른 입력장치 없이 BCI만으로 OX를 답할 수 있게 만들어주는 인터페이스 시스템)를 구현시킨 것이라 말하고 있습니다.


SSVEP라 불리우는 시각 유발 전위(...) 같은 어려운 말도 많기는 한데, 다 집어 치우고 간단하게 요약하자면 "EEG를 이용해 BCI의 기본 인터페이스를 구축시키는 데 성공했다." 는 말을 하고 있는 것입니다.


그리고 마지막으로 연구진들은 해당 연구의 결과에 대해 설명하고 있습니다. EEG를 이용한 BCI의 기본 인터페이스를 구축한 이번 연구는 굉장히 긍정적이고, 낙관적이었으며, BCI를 이용해서 상업적 애플리케이션과 상호작용 할 수 있다는 연구 결과를 도출해내는데 성공했다고 밝히고 있습니다. 게다가 이번 실험에서 얻은 긍정적인 데이터들은 추후 BCI의 인터페이스 개발에 큰 도움을 줄 수 있을 것이라 말하고 있습니다. 즉, 연구진들의 말을 한 줄로 요약하자면, "EEG를 이용해서 BCI구축 가능하고, 애플리케이션이랑 상호작용도 가능하다." 는 말을 하고 있는 것입니다.(!!)





다음으로 볼 논문은 해당 논문입니다. 참고로 해당 논문을 읽다가 진짜 깜짝 놀란것이.. BCI기술과 완몰가 기술이 제 생각 이상으로, 어쩌면 진짜 머지 않았을 정도로 발전했다는 것을 깨달았기 때문입니다..


그럼 본격적으로, 해당 논문의 제목은 '가상현실에서 사용될 BCI 인터페이스의 능력과 역할' 입니다. 제목만 봐도 벌써 예상이 가시지 않나요?ㅎㅎ


먼저 해당 논문을 읽으면서 크게 놀랐던 이유 중 하나는.. 지금까지는 그저 간단한 퍼즐게임, 그것도 아니라면 게임이라고 부르기에도 민망한 창 하나 둥둥 띄워놓은 화면에서의 BCI를 이용한 상호작용.. 이런 것들만 봐왔었던 제게 나름 퀄리티가 있는 게임에서 BCI를 이용할 수 있는 방법을 담은 연구 결과이기 때문이었습니다.




해당 그림 속 스포츠.. 뭔가 익숙하지 않으신가요? 바로 축구입니다. 진짜 여기서 놀랐던 게.. 스포츠 장르, 그것도 축구와 같은 나름의 퀄리티가 중요시될 게임에서도 BCI가 적용이 가능하다는 연구가 상당히 충격적이기 때문이었습니다. 연구진들은 첫 번째로 분석드렸던 논문에서도 등장하는 EEG를 이용한 BCI 인터페이스 기술로 유저들이 VR을 착용한 상태에서 어떠한 입력장치의 도움 없이 그저 '상상' 만으로 골키퍼의 움직임을 조종할 수 있는가에 대한 실험을 진행하였습니다. 


연구진들은 EEG의 단점 중 하나인 '외부 자극에 쉽게 노출'(쉽게 예를 들면, VR 속에서 나오는 화면을 통해서만 전기적 자극을 받아야 하는데, 뇌파는 그 외의 외부적인 요인에서도 쉽게 발생하기 때문에 외부 자극에 쉽게 노출되는 성향을 띄고있다.) 되는 단점을 '랜덤 포레스트' 라 불리는 알고리즘 시스템(정확하게는 저도 잘 모르겠습니다ㅠ)을 이용해서 단점을 완화시켰고, 그 결과 BCI를 통한 인터페이스의 정확도가 80퍼센트에 달했다고 설명하고 있습니다.


즉, 유저가 EEG만으로 상상한 움직임과 실제 원했던 움직임의 정확도가 80퍼센트에 달했다는 결과가 도출된 것입니다. 이는 굉장히 유의미한 결과라고 연구진들은 설명하고 있습니다.



정리



지난 6개월간 발표된 논문들을 몇 가지 훑어보니 제 생각보다, 예상보다 VR 시장과 BCI연구에 대한 가능성 있는 논문들이 상당히 많이 보였습니다. 위에서 설명드린 두 논문에서 공통적으로 다루었던 EEG는 BCI 인터페이스를 위한 선두주자로 떠오른 모양이고, 실제로 EEG를 이용해서 어느정도의 퀄리티가 있는 게임까지 BCI로 사호작용을 성공한 연구 결과가 도출되었습니다.


이는 1년 전 분석했던 논문들에 비해 엄청나게, 또 긍정적이고 낙관적인 연구들이 아닐수가 없었습니다. 오늘 새벽에는 2025년 AGI라는 좋은 소식이 들려오기도 하였으니, 이제 BCI와 완몰가의 미래도 전보다 상당히 밝고 긍정적일 것으로 보입니다. 앞으로 언제가 될 지, 어떤 방식으로 나오게 될 지는 모르겠지만, 이제 정말 그리 오랜 시간이 남지 않았다는 생각이 듭니다. 긴 글 읽어주셔서 감사합니다!