뇌 활동에서 음성을 해독하는 것은 의료 및 신경과학 분야에서 오랫동안 기다려온 목표입니다. 침습적 장치는 최근 이와 관련하여 중요한 이정표를 세웠습니다. 두개 내 녹음을 통해 훈련된 딥 러닝 알고리즘은 이제 문자, 단어 및 오디오 스펙트로그램과 같은 기본 언어 기능을 디코딩하기 시작할 수 있습니다. 그러나 이러한 접근 방식을 자연스러운 음성 및 비침습적 뇌 녹음으로 확장하는 것은 여전히 중요한 과제로 남아 있습니다.

여기에서는 건강한 개인의 대규모 코호트에 대한 비침습적 녹음에서 인지된 음성의 자기 감독 표현을 디코딩하기 위해 대조 학습으로 훈련된 모델을 소개합니다. 이 접근 방식을 평가하기 위해 우리는 4개의 공개 데이터 세트를 선별하고 통합합니다. 175명의 자원봉사자가 짧은 이야기와 고립된 문장을 듣는 동안 자기뇌파검사 또는 뇌파검사로 녹음되었습니다.

결과는 우리 모델이 3초 동안의 자기 뇌파 신호에서 참가자 전체 평균 1,000개 이상의 고유한 가능성 중에서 최대 41%의 정확도로 해당 음성 세그먼트를 식별할 수 있으며 최고의 참가자에서는 최대 80%의 정확도로 식별할 수 있음을 보여줍니다. - 트레이닝 세트에 없는 단어와 문구를 디코딩할 수 있는 성능. 우리 모델을 다양한 기준과 비교하면 대조 목표, 미리 훈련된 음성 표현 및 여러 참가자에 걸쳐 동시에 훈련된 공통 컨벌루션 아키텍처의 중요성이 강조됩니다. 마지막으로, 디코더의 예측 분석은 주로 어휘 및 문맥적 의미 표현에 의존한다는 것을 시사합니다. 전반적으로, 비침습적 녹음에서 인식된 음성을 효과적으로 해독하는 것은 환자를 뇌 수술의 위험에 빠뜨리지 않고 뇌 활동에서 언어를 해독하는 유망한 경로를 설명합니다






요약) 뇌에 물리적인 무언가를 꽂지 않고 뇌파에서 음성을 41% 정확도로 인식해냄