토픽

AI를위한 새로운 두뇌 영감 학습 방법으로 메모리와 에너지 절약

으로 에드 겐트 -2020 년 7 월 27 일0


빈번한 비유에도 불구하고 오늘날의 AI는 인간의 두뇌와는 매우 다른 원리로 작동합니다. 연구자들은 생물학과 더 밀접한 관련이 있는 새로운 학습 방법 을 제안했는데 , 이는 우리가 뇌의 독보적 인 효율성에 접근하는 데 도움이 될 수 있다고 생각합니다.


현대의 딥 러닝은 생물학적으로 영감을 얻은 최소한의 정보로, 뉴런이라고 알려진 개별 컴퓨팅 장치의 대규모 네트워크 간의 연결 강도 정보를 인코딩합니다. 아마도 가장 큰 차이점은 이러한 뉴런이 서로 통신하는 방식 일 것입니다.


인공 신경망은 층으로 구성되며, 각 뉴런은 일반적으로 다음 층의 모든 뉴런에 연결됩니다. 뉴런 쌍 사이의 연결 강도를 결정하는 범위에 해당하는 숫자로 정보가 고도로 동기화 된 방식으로 레이어간에 전달됩니다.


반면에 생물학적 뉴런은 스파이크 (spikes)라고 알려진 전기 충격을 발생시켜 통신하며, 각 뉴런은 자체 일정대로 그렇게합니다. 연결은 깔끔하게 층으로 나뉘 지 않으며 많은 피드백 루프를 특징으로합니다. 즉, 뉴런의 출력이 종종 줄 아래 어딘가에 입력에 영향을 미칩니다.


이 스파이크 기반 접근 방식은 훨씬 더 에너지 효율적이므로 두뇌가 단지 20 와트 만 사용하는 반면 가장 강력한 AI를 훈련하려면 킬로와트의 전기 가 필요 합니다. 이로 인해 인공 스파이 킹 신경망과 뇌의 물리적 조직과 원리를 모방하는 컴퓨터 칩인 신경성 하드웨어의 개발에 대한 관심이 높아져서 더 효율적으로 운영 할 수있게되었습니다.


그러나 이러한 스파이크 기반 접근 방식에 대한 우리의 이해는 여전히 저개발 상태이며,보다 전통적인 인공 신경망의 성능에 도달하기 위해 노력하고 있습니다. 그러나 오스트리아의 그라츠 공과 대학 (Graz University of Technology)의 연구원들은 스파이 킹 신경망과 작동하는 생물학적으로 타당한 학습 방법을 사용하여 딥 러닝의 힘에 접근 할 수있는 방법을 찾았다 고 생각합니다.


딥 러닝에서 네트워크는 데이터를 예측하여 데이터가 얼마나 멀리 떨어져 있는지 평가하여 학습합니다. 그런 다음이 오류는 네트워크를 통해 뒤로 공급되어 뉴런 간의 연결 강도 조정을 안내합니다. 이 과정을 역 전파 (backpropagation )라고하며 , 많은 반복에서 정확한 예측이 이루어질 때까지 네트워크를 조정합니다.


유사한 신경망이 스파이 킹 신경망에 적용될 수 있지만 많은 양의 메모리가 필요합니다. 또한 이것이 두뇌가 학습 문제를 해결하는 방법이 아니라는 것이 분명합니다. 뉴런 사이의 시냅스를 가로 질러 시간과 공간 모두에서 오류 신호를 뒤로 보내야하기 때문에 분명히 불가능합니다.


즉, 실험 신경 과학 데이터에 명확하게 한 두 가지 기능을보고, 인간 두뇌 프로젝트의 일부 연구자를 묻는 메시지가 각 신경 세포는 유지 들에게 분자 마커의 형태로 이전 작업의 메모리를이 천천히 페이드 시간; 뇌는 하향식 (top-down) 제공는 조절이되는 신경 전달 물질 도파민 같은 것들을 사용하여 학습 신호 이야 뉴런 그룹의 행동을.


A의 종이 자연 통신 , 오스트리아 팀은 설명 의 자신이 만든 방법 D 가 전자 소품 부르는 새로운 학습 패러다임을 만들려면 다음 두 가지 기능의 인공 유사체. 이 방법은 역 전파 기반 방법보다 느리게 학습되지만 비슷한 성능을 달성합니다.


더 중요한 것은 온라인 학습이 가능하다는 것입니다. 즉, 대량의 데이터를 한 번에 처리하는 대신 머신 러닝의 에너지 비용에 크게 기여하는 메모리로의 지속적인 전송이 필요하지만이 방법은 데이터를 사용할 수있게되면 단순히 데이터를 통해 학습합니다. 이는 필요한 메모리와 에너지의 양을 획기적으로 줄이므로 소형 모바일 디바이스에서 온칩 학습에 사용하는 것이 훨씬 실용적입니다.


이 팀은 현재 인텔 연구원들과 협력 하여이 접근 방식 을 스파이크 네트워크에 최적화 된 차세대 버전의 신경성 칩 Loihi 와 통합하고 있습니다. 그들은 또한 맨체스터 대학교 (University of Manchester)의 휴먼 브레인 프로젝트 (Human Brain Project) 연구원들과 팀을 이루어 뉴 모픽 슈퍼 컴퓨터 SpiNNaker에 e-prop를 적용하고 있습니다 .


이 기술이 오늘날의 주요 AI의 힘과 일치하기 전에 아직 갈 길이 멀다. 그러나 그것이 우리가 생물학적 뇌에서 볼 수있는 효율성에 접근하는 데 도움이된다면 AI가 도처에 있기까지는 그리 오래 걸리지 않을 것입니다.


이미지 크레디트 : Gerd Altmann  from  ×


https://singularityhub.com/2020/07/27/a-new-brain-inspired-learning-method-for-ai-saves-memory-and-energy/