[📪정보] [메타] 뇌-텍스트 디코딩: 비침습적 접근

[초존도초(htr3c654r6ft)]

연구 | 자연어처리(NLP)

뇌-텍스트 디코딩: 타이핑을 통한 비침습적 접근

2025년 2월 6일

초록

현대 신경보철 장치는 말하거나 움직일 수 있는 능력을 상실한 환자들의 의사소통을 복원할 수 있게 되었다. 그러나 이러한 침습적 장치는 신경외과 수술에 내재된 위험을 수반한다. 본 연구에서는 뇌 활동으로부터 문장을 디코딩하는 비침습적 방법을 소개하고, 35명의 건강한 자원자를 대상으로 한 코호트에서 그 효과를 입증한다. 이를 위해 우리는 Brain2Qwerty라는 새로운 딥러닝 아키텍처를 제시한다. 이 모델은 참가자들이 QWERTY 키보드로 짧게 암기한 문장을 타이핑하는 동안 전뇌파검사(EEG) 또는 자기뇌파검사(MEG)를 통해 수집된 데이터를 기반으로 문장을 디코딩하도록 훈련되었다. MEG를 사용할 경우, Brain2Qwerty는 평균적으로 문자 오류율(CER) 32%를 달성하며, EEG(CER: 67%)를 상당히 능가하는 성능을 보인다. 가장 우수한 참가자의 경우 모델은 CER 19%를 달성하며, 훈련 세트 외부의 다양한 문장을 완벽하게 디코딩할 수 있다. 오류 분석 결과 디코딩이 운동 과정에 의존적임을 시사하나, 오타 분석은 더 높은 수준의 인지적 요소도 관여함을 나타낸다. 전반적으로 이러한 결과는 침습적 방법과 비침습적 방법 간의 격차를 좁히며, 의사소통이 불가능한 환자들을 위한 안전한 뇌-컴퓨터 인터페이스를 개발할 수 있는 길을 열어준다.

그림 1 접근 방식. 35명의 참가자로부터 전뇌파검사(EEG)와 자기뇌파검사(MEG)를 사용해 기록을 수집하였다. 문장은 화면에 단어 단위로 제시되었다. 마지막 단어가 나온 후 시각적 신호가 주어지며, 참가자들은 시각적 피드백 없이 해당 문장을 타이핑하기 시작했다. 우리의 Brain2Qwerty 모델은 뇌 활동으로부터 텍스트를 디코딩하기 위해 세 가지 핵심 단계를 포함한다: (1) 500ms 창(window)의 M/EEG 신호를 입력으로 사용하는 컨볼루션 모듈, (2) 문장 수준에서 훈련된 트랜스포머 모듈, (3) 트랜스포머의 출력을 보정하기 위한 사전 훈련된 언어 모델. 성능은 문장 수준에서 문자 오류율(CER)을 사용해 평가된다. 뇌가 타이핑을 수행하는 방식에 대한 분석은 동반 논문(Zhang et al., 2025)에 기술되어 있다.

[익명(wlsdn0202)]

비침습임에도 성과가 너무 괜찮아 보이네. 하지만 운동에 의존되는게 태생적 한계라서 발전시키기 빡세보임. - dc App