[📪정보] 새로운 딥러닝 모델: 뉴런 감소, 지능 증가

[특이점 만세!(118.35)]

날짜:2020년 10월 13일소스:오스트리아 과학 기술 연구소요약:.국제 연구팀이 실벌레와 같은 작은 동물의 뇌를 기반으로 한 새로운 인공지능 시스템을 개발했습니다. 이 신기한 AI 시스템은 몇 개의 인공 뉴런만으로 차량을 제어할 수 있습니다. 노이즈 입력으로 훨씬 잘 대처하며, 단순성 때문에 작동 방식을 자세히 설명할 수 있다.

검색엔진부터 자율주행차까지 인공지능이 우리 일상에 도착했습니다. 이것은 최근 몇 년 사이에 이용 가능하게 된 엄청난 컴퓨팅 능력과 관련이 있다. 그러나 AI 연구에서 나온 새로운 결과는 이제 더 단순하고 작은 신경망을 사용하여 특정 과제를 전보다 훨씬 더 잘, 더 효율적으로, 그리고 더 안정적으로 해결할 수 있다는 것을 보여준다.

TU Wien(비엔나), IST 오스트리아, MIT(미국)의 국제 연구팀이 실벌레와 같은 작은 동물의 뇌를 기반으로 한 새로운 인공지능 시스템을 개발했습니다. 이 신기한 AI 시스템은 몇 개의 인공 뉴런만으로 차량을 제어할 수 있습니다. 이 팀은 시스템이 이전의 딥러닝 모델보다 결정적인 이점을 가지고 있다고 말합니다. 노이즈 입력으로 훨씬 잘 대처하며, 단순성 때문에 작동 방식을 자세히 설명할 수 있다. 굳이 복잡한 '블랙박스'로 볼 필요는 없지만, 인간이 이해할 수 있다. 이 새로운 딥러닝 모델은 이제 네이처 머신 인텔리전스지에 발표되었다.

자연으로부터 배우는 것

살아있는 뇌와 비슷하게 인공신경망은 많은 개별 세포로 구성되어 있다. 세포가 활성화되면 다른 세포로 신호를 보낸다. 다음 셀에서 수신되는 모든 신호가 결합되어 이 셀도 활성화할지 여부를 결정합니다. 한 세포가 다음 세포의 활동에 영향을 미치는 방식이 시스템의 행동을 결정한다. 이러한 매개변수는 신경망이 특정한 과제를 해결할 수 있을 때까지 자동 학습 과정에서 조정된다.

"몇 년 동안, 우리는 딥러닝을 향상시키기 위해 자연으로부터 무엇을 배울 수 있는지 조사하고 있습니다."라고 교수님이 말합니다. TU Wien의 연구 그룹 「사이버-물리 시스템즈」의 라두 그로수 대표. "예를 들어, 네마토드 C. 우아함은 놀랍도록 적은 수의 뉴런을 가지고 일생을 살고 있으며, 여전히 흥미로운 행동 패턴을 보여주고 있습니다. 네마토데의 신경계가 정보를 처리하는 효율적이고 조화로운 방식 때문입니다."

"자연은 우리에게 여전히 개선의 여지가 많다는 것을 보여줍니다,"라고 교수는 말합니다. 다니엘라 러스 MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL) 소장. "따라서 우리의 목표는 복잡성을 대량으로 줄이고 신경망 모델의 해석성을 높이는 것이었습니다."

"자연에서 영감을 받아, 우리는 뉴런과 시냅스의 새로운 수학적 모델을 개발했습니다,"라고 교수는 말합니다. 토마스 헨징거 IST 오스트리아 대통령

TU Wien과 MIT CSAIL의 박사후 관계자인 라민 하사니 박사는 "개별 세포 내의 신호 처리는 이전의 딥러닝 모델과는 다른 수학적 원리를 따른다"며 "또한 우리의 네트워크는 매우 희박하다"고 말했다.ell. 이것은 네트워크를 더 단순하게 만들기도 합니다.

자치차선유지

새로운 아이디어를 시험하기 위해 연구팀은 특히 중요한 시험 과제인 자율주행차가 차선에 머무는 것을 선택했습니다. 신경망은 도로의 카메라 영상을 입력으로 받아 오른쪽이나 왼쪽으로 방향을 틀지 자동으로 결정하는 것이다.

IST 오스트리아의 마티아스 레흐너, TU 비엔 동문, 박사과정 학생 등은 "오늘날 수백만 개의 매개변수를 가진 딥러닝 모델이 자율주행과 같은 복잡한 과제에 자주 활용되고 있다"고 말한다. "그러나, 우리의 새로운 접근방식은 네트워크의 크기를 두 가지 정도 줄일 수 있게 해줍니다. 우리의 시스템은 75,000개의 훈련 가능한 매개변수만 사용합니다."

MIT CSAIL의 박사과정 학생인 Alexander Amini는 새로운 시스템이 다음 두 부분으로 구성되어 있다고 설명한다. 카메라 입력은 우선 들어오는 픽셀에서 구조적인 특징을 추출하기 위해 시각 데이터만 인식하는 이른바 경구적 신경망에 의해 처리된다. 이 네트워크는 카메라 이미지의 어느 부분이 흥미롭고 중요한지 결정한 다음, 신호를 네트워크의 중요한 부분으로 전달합니다. 이것은 차량을 조종하는 "제어 시스템"입니다.

두 서브시스템은 함께 쌓이고 동시에 훈련된다. 시스템이 이미지를 적절한 스티어링 방향과 자동으로 연결하고 새로운 상황을 독립적으로 처리할 수 있도록 학습할 때까지 보스턴 지역에서 사람이 운전하는 많은 시간 동안의 교통 비디오가 수집되어 네트워크로 전송됩니다.

지각 모듈의 데이터를 조향 명령으로 변환하는 시스템의 제어 부분(신경 회로 정책 또는 NCP라고 함)은 19개의 뉴런으로만 구성되어 있다. Mathias Lechner는 NCP가 이전 최신 모델에서 가능했을 규모보다 최대 3차까지 작다고 설명합니다.

인과관계 및 해석가능성

이 새로운 딥러닝 모델은 실제 자율주행차에서 테스트되었다. "저희 모델은 운전하는 동안 네트워크가 어떤 부분에 관심을 집중하는지 조사할 수 있게 해 줍니다. 당사의 네트워크는 카메라 사진의 매우 구체적인 부분에 초점을 맞추고 있습니다. 도로변과 수평선. 이러한 행동은 매우 바람직하며, 인공지능 시스템 중에서도 독특하다」(라민 하사니씨). "게다가, 우리는 모든 운전 결정에서 모든 셀의 역할을 확인할 수 있다는 것을 확인했습니다. 우리는 개별 세포의 기능과 그 행동을 이해할 수 있다. 더 큰 딥러닝 모델에서는 이 정도의 해석성을 달성할 수 없습니다."

강인함

Mathias Lechner는 "NCP가 이전의 심층 모델에 비해 얼마나 강력한지 테스트하기 위해 입력 이미지를 교란하고 에이전트가 소음을 얼마나 잘 처리할 수 있는지 평가했습니다."라고 말합니다. "이것은 다른 심층 신경망의 극복할 수 없는 문제가 된 반면, 우리의 NCP는 입력 아티팩트에 대한 강한 저항을 보여주었다. 이 속성은 참신한 신경 모델과 건축의 직접적인 결과입니다."

"해석성과 강건성은 우리의 새로운 모델의 두 가지 주요 장점입니다," 라고 라민 하사니가 말합니다. "그러나 더 많은 것이 있습니다: 우리의 새로운 방법을 사용하면, 훈련 시간과 비교적 단순한 시스템에서 AI를 구현할 수 있는 가능성을 줄일 수도 줄일 수 있습니다. NCP는 창고에서의 자동 작업에서 로봇 이동에 이르기까지 가능한 다양한 응용 분야에서 모조 학습을 가능하게 합니다. 이 새로운 발견은 AI 공동체를 위한 중요한 새로운 관점을 열어준다. 생물학적 신경계의 계산 원리는 우리가 지금까지 사용해 온 블랙박스 기계 학습 시스템의 대안으로 고성능 해석 가능한 AI를 만드는 데 훌륭한 자원이 될 수 있다."

코드 저장소: https://github.com/mlech26l/keras-ncp

비디오: https://ist.ac.at/en/news/new-deep-learning-models/

https://www.sciencedaily.com/releases/2020/10/201013124054.htm

[익명(223.38)]

오스트리아 미국 독일 중국... 은 ㅈ같긴 해도 미국 뒤따라가니까 얘네는 한번 믿고 볼만함 그래도 중국은 일단 의심은 해봐야되고 - dc App

[익명(223.38)]

유럽이랑 일본도 인공지능쪽에서 뭐 한다고하더니 소식이 없네 - dc App

[익명(1.239)]

더 작고 저렴한 컴퓨팅 자원으로 딥러닝을 돌릴 수도 있고, 동일한 컴퓨팅 자원으로 여러개의 다른분야의 약인공지능을 돌릴 수도 있겠네. 상용화되면 어마어마하겠군

[드덕(n7484443)]

github 대충 살펴보니 이전에는 모든 뉴런이 연결되있었는데, 이젠 그걸 극소적이고 부분적으로만 연결하게 만든듯. 그래서 연산량이 확 줄어들고 시간도 빨라진거고.

[익명(118.33)]

사람의 뇌의 구조 특성을 베낀 것..

[드덕(n7484443)]

사람의 뇌가 아니라 C.elegans의 뉴런 구조를 따와서 최적화한거임. 예쁜꼬마선충이 워낙 세세히 분석되어 있어서 가능한거. Neural Circuit Policies (NCPs) are designed sparse recurrent neural networks based on the LTC neuron and synapse model loosely inspired by the nervous system of the organism C. elegans. 깃헙 설명에도 적혀있잖수

[익명(175.199)]

뭔가 오고있다 - dc App

[익명(183.96)]

잠깐 다른 데 응용해서 사용해보려고 했는데 model.save가 안되더라...