[📪정보] Meta AI, 인간 두뇌 및 언어 처리에 대한 장기 연구 발표

[익명(1.239)]

Meta AI announces long-term study on human brain and language processing | VentureBeat

Meta AI, 인간 두뇌 및 언어 처리에 대한 장기 연구 발표

인간의 두뇌는 오랫동안, 그리고 계속해서 수수께끼였습니다. 어떻게 발전했는지, 어떻게 계속 진화해 왔는지, 활용된 능력과 아직 활용되지 않은 능력이 있습니다.

인공지능(AI) 및 머신러닝(ML) 모델도 마찬가지입니다.

그리고 인간의 두뇌가 날이 갈수록 정교해지는 AI 및 ML 모델을 만든 것처럼, 이러한 시스템은 이제 인간의 두뇌 자체를 연구하는 데 적용되고 있습니다. 특히, 이러한 연구는 AI 시스템의 기능을 향상시키고 점점 더 자율적인 방식으로 작동할 수 있도록 뇌 기능을 보다 밀접하게 모델링하는 방법을 모색하고 있습니다.

Meta AI 의 연구원 들은 그러한 이니셔티브 중 하나에 착수했습니다. 페이스북 모회사의 연구 부문은 오늘 인간의 두뇌가 언어를 처리하는 방식을 더 잘 이해하기 위한 장기 연구를 발표했습니다. 연구자들은 뇌와 AI 언어 모델이 동일한 말이나 글에 어떻게 반응하는지 살펴보고 있습니다.

Meta AI의 선임 연구원인 Jean-Rémi King은 "AI 시스템을 말 그대로 두뇌와 비교하려고 합니다."라고 말했습니다.

그는 구어가 인간을 완전히 독특하게 만들고 뇌가 어떻게 작동하는지 이해하는 것은 여전히 도전이자 진행 중인 과정이라고 지적했습니다. 근본적인 질문은 다음과 같습니다. "인간을 이 기계보다 훨씬 더 강력하거나 훨씬 더 효율적으로 만드는 것은 무엇입니까? 우리는 유사점뿐만 아니라 나머지 차이점도 찾아내고자 합니다.”


뇌 영상 및 인간 수준 AI

Meta AI는 파리에 기반을 둔 뇌 영상 혁신 연구 센터인 NeuroSpin(CEA) 및 프랑스 국립 디지털 과학 연구소(INRIA)와 협력하고 있습니다. 이 작업은 인간의 감독 없이 학습할 수 있는 인간 수준 AI 에 대한 Meta AI의 광범위한 초점의 일부입니다 .

연구자들은 인간의 두뇌가 언어를 처리하는 방식을 더 잘 이해함으로써 인간만큼 효율적으로 언어를 배우고 처리할 수 있는 AI의 개발을 안내하는 데 도움이 되는 통찰력을 얻을 수 있다고 가정합니다.

King은 "다양한 작업을 수행하기 위해 특수 학습 알고리즘을 개발하고 훈련하고 사용하는 것이 점점 더 쉬워지고 있습니다."라고 말했습니다. “그러나 이러한 AI 시스템은 인간의 두뇌가 얼마나 효율적인지와는 거리가 멀다. 분명한 것은 언어를 훨씬 더 효율적으로, 적어도 인간만큼 효율적으로 이해하고 학습할 수 있도록 이러한 시스템에서 빠진 것이 있다는 것 입니다. 이것은 분명히 백만 달러짜리 질문입니다.”

딥 러닝에서는 여러 계층의 신경망이 함께 작동하여 학습합니다. 이 접근 방식은 자원 봉사자가 이야기를 읽거나 들을 때 단어와 문장의 지각적 표현이 뇌에서 생성되는 시기와 위치를 강조하기 위해 Meta AI 연구원의 작업에 적용되었습니다.

지난 2년 동안 연구원들은 자기 공명 영상(MRI) 및 컴퓨터 단층 촬영(CT) 스캔의 뇌 활동 이미지에서 추출한 공개 신경 영상 데이터 세트에 딥 러닝 기술을 적용했습니다. 이것들은 Princeton University와 Max Planck Institute for Psycholinguistics를 포함한 여러 학술 기관에서 수집하고 공유했습니다.

팀은 수천 개의 뇌 스캔을 모델링하는 동시에 MEG(자기뇌촬영) 스캐너를 적용하여 밀리초마다 이미지를 캡처했습니다. INRIA와 협력하여 그들은 다양한 언어 모델을 복잡한 내러티브를 들을 때 기능적 자기공명영상(fMRI)으로 기록된 345명의 지원자의 뇌 반응과 비교했습니다.

그런 다음 인간 피험자에게 읽거나 제시한 동일한 내러티브가 AI 시스템에 제시되었습니다. King은 "우리는 이 두 데이터 세트를 비교하여 언제 어디서 일치하거나 불일치하는지 확인할 수 있습니다.


연구자들이 지금까지 발견한 것

연구원들은 이미 귀중한 통찰력을 끌어냈습니다. 특히, 두뇌 활동과 가장 유사한 언어 모델 은 문맥에서 다음 단어를 가장 잘 예측하는 모델입니다(예: "어둡고 폭풍우 치는 밤에..." 또는 "옛날 옛적에..."). 부분적으로 관찰 가능한 입력을 기반으로 하는 이러한 예측은 AI 자기 지도 학습(SSL)의 핵심입니다.

그러나 뇌의 특정 영역은 단어와 아이디어를 훨씬 앞서 예측합니다. 대조적으로 언어 모델은 일반적으로 바로 다음 단어를 예측하도록 훈련됩니다. 그들은 복잡한 아이디어, 줄거리 및 내러티브를 예측하는 능력이 제한적입니다.

King은 “(인간은) 다음에 올 일을 체계적으로 예측합니다. "하지만 그것은 단지 단어 수준의 예측이 아니라 더 추상적인 수준입니다."

대조적으로, 인간의 두뇌는 수백만 문장으로 학습할 수 있으며 수조 개의 시냅스 사이에서 정보를 지속적으로 적응 하고 저장할 수 있습니다 . 한편 AI 언어 모델은 수십억 개의 문장으로 훈련되며 최대 1,750억 개의 인공 시냅스를 매개변수화할 수 있습니다.

King은 유아가 수천 개의 문장에 노출되고 언어를 빠르게 이해할 수 있다는 사실을 지적했습니다. 예를 들어, 몇 가지 예에서 아이들은 "오렌지"가 과일과 색을 모두 나타낼 수 있음을 배웁니다. 그러나 현대 AI 시스템은 이 작업에 문제가 있습니다.

King은 “오늘날의 AI 시스템은 아무리 훌륭하고 인상적이더라도 극도로 비효율적이라는 것이 매우 분명합니다. AI 모델이 점점 더 복잡한 작업을 수행하는 동안 "여러 면에서 사물을 광범위하게 이해하지 못한다는 것이 매우 분명해지고 있습니다."

연구를 더욱 연마하기 위해 Meta AI 연구원과 NeuroSpin은 이제 독창적인 신경 영상 데이터 세트를 만들고 있습니다. 이는 코드, 딥 러닝 모델 및 연구 논문과 함께 오픈 소스로 제공되어 AI 및 신경 과학 분야의 추가 발견을 돕습니다. King은 "이 아이디어는 학계 및 기타 분야의 동료들이 사용하고 활용할 일련의 도구를 제공하는 것입니다."라고 말했습니다.

그는 장거리 예측 기능을 더 깊이 연구함으로써 연구원들이 현대 AI 언어 모델을 개선하는 데 도움이 될 수 있다고 말했습니다. 장기 예측으로 알고리즘을 향상시키면 뇌와 더 밀접한 관련이 있게 될 수 있습니다.

King은 “이제 분명한 것은 이 시스템이 불과 몇 년 전만 해도 없었던 인간의 두뇌와 비교할 수 있다는 것”이라고 강조했다.

그는 과학적 진보를 위해서는 신경과학과 AI 분야의 통합이 필요하다고 덧붙였습니다. 시간이 지남에 따라 그들은 훨씬 더 긴밀하고 협력적으로 발전할 것입니다.

King은 “신경과학과 AI 간의 이러한 교류는 추상적인 아이디어와의 은유적 교류가 아닙니다. “매우 구체적이 되고 있습니다. 우리는 아키텍처가 무엇인지 이해하려고 노력하고 있습니다. 두뇌의 학습 원리는 무엇입니까? 그리고 우리는 이러한 아키텍처와 원칙을 우리 모델에 구현하려고 노력하고 있습니다.”

[익명(211.59)]

뇌 신경 과학의 연구에도 ai가 사용이 되는건가

[익명(1.239)]

수확가속의 법칙

[익명(112.185)]