[📪정보] 인공지능의 겨울 극복의 역사feat.제프리 힌튼 경

[기타치는여고생..(221.164)]

1969년 마빈 민스키와 시모어 페퍼트가 퍼셉트론의 문제점과 한계를 수학적 증명으로 발표했다. 퍼셉트론은 AND 또는 OR 같은 선형 분리가 가능한 문제는 가능하지만, 선형(linear) 방식으로 데이터를 구분할 수 없는 XOR 문제에는 적용할 수 없다는 것. 사실 이는 퍼셉트론의 한계를 증명한 것이지만, 당시에는 인공신경망 자체의 한계가 드러난 것으로 받아들여졌다.

이후 인공지능의 겨울이라 불리는 암울한 시기가 도래했다. AI 연구에 대한 지원이 끊기고, AI의 가능성에 대한 회의적 전망이 퍼져나갔다. “폭발적인 조합 증가(Combinational explosion)를 인공지능이 다룰(Intractability)수 없다는 비관적 전망이 나왔고, 대규모의 자금 지원이 끊겼으며, 다수의 연구 프로젝트들이 취소되었다.

구글에서 최근에 퇴직한 제프리 힌튼, 그의 업적으로 다층 퍼셉트론과 역전파(Backpropagation) 알고리즘을 통해 XOR 문제를 해결하는 데 기여했고 신경망 연구에 중요한 돌파구를 마련함

1차 겨울은 그렇게 넘어감.

2차적으로 기울기 소실 문제(Vanishing Gradient Problem)는 신경망이 깊어질수록 경사하강법을 통한 학습이 비효율적이 되는 현상이 나타남.

기울기 소실(Vanishing Gradient Problem),

기울기 소실 문제와 LSTM: 기울기 소실 문제는 신경망이 깊어질수록 발생하는 문제로, 신경망의 깊이가 깊어지면서 역전파 과정에서 기울기가 점점 작아져서 앞쪽 레이어로 전달되지 않는 현상이다.

이 문제는 1990년대 후반에 인식되기 시작, 여러 연구자들이 해결책을 제안했다. 가장 주목할 만한 해결책 중 하나는 LSTM(Long Short-Term Memory) 셀. LSTM은 총구슬호프(Schmidhuber)와 호크라이터(Sepp Hochreiter)에 의해 1997년에 제안되었으며, 기울기 소실 문제를 완화하는 데 중요한 역할을 했다. LSTM은 오늘날에도 많은 순환 신경망(RNN)의 핵심 구성 요소로 사용되고 있다.

딥 러닝에서 기울기 소실 문제를 완화하기 위한 다른기술로는 ReLU(Rectified Linear Unit) 활성화 함수, 배치 정규화(Batch Normalization), 잔차 네트워크(Residual Networks, 또는 ResNets) 등이 있다. 이러한 기술들은 신경망이 더 깊어지고 복잡해져도 효과적으로 학습할 수 있도록 도와주며, 모두 다양한 연구자들에 의해 개발되었다. ReLU는 2000년대 초반에 등장했으며 널리 사용되기 시작한 것은 Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton이 2012년에 발표한 논문에서였다, 배치 정규화와 잔차 네트워크는 각각 2015년경에 Sergey Ioffe와 Christian Szegedy, 그리고 Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun에 의해 제안되었습니다. 이러한 기술들은 딥 러닝 모델의 학습을 크게 향상시키는 데 기여했다.

보충글

https://ssollacc.tistory.com/25

[인공지능] 인공지능의 겨울과 붐, 발전과 도약

[부패하는유전자!!!(sansss2015)]

아니 진짜 힌튼햄은 일생 볼때마다 벅차오름... 이런게 진짜 선구자인가... 라는 생각이 들면서

[기타치는여고생Y(221.164)]

자연어 처리 혁신으로인한 AI세계 역사에 한획을 그은 위대한 영웅이라 봄. 대영제국 웜블던 출.생, 인공지능 박사