[📪정보] [컴퓨터 입문 칼럼] 7. 경사하강법, 인공신경망

[Navy(211.195)]

본문은 아래에

클릭하면 이동가능

PART 1

1편 프로그래밍 언어

2편 자료구조, 알고리즘

3편 운영체제, 네트워크, 데이터베이스

4편 하드웨어, 동적계획법

----------------------------

PART 2

5편 인공지능(AI) 기초개념

6편 머신러닝

7편(현재) 경사하강법, 인공신경망

10편(예정) 퍼셉트론, 딥러닝

8편 OpenAI사와 GPT-n series

9-1편 2021년 computing의 발전

9-2편 뉴럴링크, Deepmind사와 알파폴드, 뇌3D지도

---------------------------

PART 3

11편(예정) 하드웨어 2

이후 미정

I. 경사하강법(Gradient Descent)

근삿값을 발견하기 위한 최적화 알고리즘이다.

여기서 최적화는 극대/극소점을 찾는 것으로 이해하자. 극대/극소를 모른다면... 주어진 자원 내에서 가장 좋은 결과물을 만든다든가, 그 결과물을 최소 비용으로 만든다든가, 그 정도 취지로 이해하면 되겠다.

X(i+1) = X(i) - a * gradient f(X(i))로 표현되는데, 수식을 가급적 쓰고 싶지 않았지만 여기선 어쩔 수 없이 사용한다.

아무렇게나 시작 위치를 정해서 X(0)이라고 하자. 거기에 a * gradient f(X(i))를 뺀다. 그럼으로써 다음 위치인 X(1)을 구한다. 같은 방식으로 X(2)도 구하고 계속 진행한다.

그러면 a 곱하기 gradient f(X(i))가 뭐냐? a는 파라미터(parameter), gradient f(X(i))는 X(i) 위치에서의 기울기(gradient, 경사)다. 그러니까 비유하자면 이렇다. 시작 위치에서 기울기를 따라 미끄러져간다. 스키를 타듯. 미끄러져 내려가야 땅바닥(극소점)에 닿을 것 아닌가? 그렇게 땅바닥에 닿을 때까지 계산을 진행한다.

그런데 스피드를 잘 조절할 필요가 있다. 너무 느리게 내려가면 땅바닥에 닿을 때까지 시간이 너무 오래 걸릴 것이고, 너무 빠르게 내려가면 땅바닥을 지나쳐버려서 다시 내려와야 하는 불상사가 발생할 수도 있다.

그 스피드를 a라고 생각하면 되겠다. 여기서는 학습률(learning rate)이라고 하기도 한다. 그 값이 얼마인지는 계산 전에 미리 연구자들이 정해주는 건데 이처럼 외부에서 정해주는 값을 파라미터라고 한다. 파라미터는 뉴스에서도 가끔 등장하는 단어이니 알아두면 좋다.

그런데 과거에는 문제가 있었다. 거친 비유를 하자 (학문적으로는 적절하지 않은 비유인 것으로 안다). 쌀집 계산기에 1 나누기 2 나누기 2 나누기 2...를 하다보면 언젠가 갑자기 0으로 표기되어버리는 순간이 있다. 물론 수학적으로 0이 될 리는 없고 계산기 자체의 한계 때문인데, 이런 식으로 경사 하강법에서 계산을 진행하다보면 기울기가 점점 줄어버리다가 컴퓨터의 한계로 0이 되어버리는 순간이 찾아왔다 (!!).

지금은 어찌어찌해서 과학자들이 잘 해결했다고 한다. 기타 여러 문제가 있었지만 이것들도 해결책이 나왔다.

이것만으로 우리가 원하는 실용적인 기술이 나오지는 않지만, 그 실용적인 기술을 만드는 데 활용되는 대표적인 기술이 경사 하강법이라고 하겠다.

II. 회귀기법 - 인공신경망(Artificial Neural Network; ANN)

인간의 뉴런(신경세포) 구조를 본떠 만든 기계학습 모델.

주의: 그렇다고 해서 진짜로 우리의 뇌 수준의 기능을 하는 것은 아니다.

신경망 기법은 오래전부터 있었으나 여러모로 시련을 많이 겪었다. 그 시련이 뭔지는 다음 편에서 퍼셉트론과 연관지어서 이야기를 해보도록 하고...

뉴런과 뉴런 사이의 연결지점을 시냅스라고 하는데, 그 결합으로 네트워크를 형성한 노드(인공 뉴런)가 학습을 통해 가중치(시냅스의 결합 세기)를 변화시켜, 문제 해결 능력을 가지는 모델을 인공신경망이라고 한다.

꾸준히 가중치를 업데이트한다는 점에서 보면 경사하강법과 미묘하게 유사한 점이 느껴질 수도 있다. 물론 다른 기법이긴 하다만...(수정: 댓글 코멘트에 따르면 아예 경사하강법을 써먹는 거라고 합니다. 제 지식이 부족했던 데에 사과드립니다) 애초에 머신러닝이라는 게 대체로 이런 느낌인 것으로 보인다. 가중치를 바꾸고, 바꾸고, 바꿔서 현실에 맞추고...

물론 여기서 가중치는 시냅스마다 존재하는 거다. 그래서 이 기법 자체가 여러모로 복잡하다. 결과가 왜 저렇게 나오는지도 모른 채, 그냥 썼더니 잘 굴러가더라 하는 소리도 있다.

오히려 그렇기에 앞으로 발전가능성이 많은 분야라고 할 수 있고, 현재 가장 주목받고 있는 머신러닝 알고리즘이라고 볼 수 있다.

인공신경망에서 층(layer, 레이어)이라는 개념이 있는데, 옛날에는 단일층이었고 지금은 여러 층이 복합적으로 구성되어 있다고 한다.

3층 이상인 인공신경망을 딥러닝(Deep Learning, 심층학습)이라고 한다. 요즘은 단일층을 거의 쓰지는 않는다고 하는데, 그런 점에서 본다면 사실상 인공신경망 = 딥러닝이라고 할 수도 있겠다.

다음 편(10편)에서는 퍼셉트론과 딥러닝에 대해서 알아본다. 8편과 9편은 이론적 영역이라기보다는 상식 차원의 내용을 소개해놓았다.

코멘트나 지적 있으면 댓글로 이야기해 주셈.

[익명(49.165)]

경사하강법이랑 ML의 뉴튼랩슨추정법이랑 비슷한거임?

[Navy(211.195)]

경사하강법은 극대극소 찾는 거고, 뉴턴-랩슨은 f(x)=0의 해 찾는 건데, 원리는 똑같은듯

[익명(49.164)]

경사하강법의 단점이 바로 학습률 alpha를 인간이 정해줘야 한다는 점인데, 이걸 자동으로 결정해주는 것이 바로 뉴턴방법(학습률로 해시앙행렬을 사용)

[익명(49.164)]

근데 뉴턴방법은 해시항행렬의 역함수를 계산해야해서 데이터의 차원이 높아지면 계산량이 차원의 제곱 속도로 증가함 (차원의 저주) 그래서 보통 고차원 데이터는 그냥 경사하강법을 선호하는데 문제는 딥러닝 데이터는 거의 100프로 고차원데이터임

[Navy(211.195)]

흐음... 파고 들어가면 복잡하네요.

[익명(210.123)]

늘 좋은글 올려줘서 고맙다

[익명(121.187)]

딥러닝은 쉽제~ 다변량분석이 헬이지 ㅎㅅ

[익명(223.39)]

경사하강법은 넷 가중치 업데이트해주는 최적화 알고리즘이기도 하다.. 인공신경망 따로 경사하강법 따로가 아니고, 인공신경망이 매우 복잡한 회귀알고리즘이기 때문에 글로벌 optima가 closed form으로 나타내기가 어려워서 인공신경망 가중치 업데이트에 경사하강법을 쓰는거.

[익명(223.39)]

경사하강법은 왠만한 최적화 문제에 다 쓰이는 알고리즘임.

[Navy(211.195)]

아 가중치업뎃에 쓰는 거였음? 거기까지 명시적으로 이야기해주는 자료를 못찾아서 잘못 썼네 ㅈㅅㅈㅅ 어쩐지 비슷하더라

[익명(49.164)]

사족: 딥러닝 단일층을 쓰지 않는 이유는 바로 초기 퍼셉트론 모델의 단점인 비선형데이터의 분류가 불가능한 특성을 똑같이 같기 때문. 웃긴건 이 단점이 글에서 소개한 중간층 단 1개만 들어가도 완벽히 사라짐. (universal approximation theorem) 단 중간층 1개로 복잡한 함수를 모사하려고 하면 뉴런 수가 엄청나게 많이 필요한데, 이걸 층을 증가시키는 방향으로 가게 되면 층이 하나 증가할 때마다 뉴런 수가 지수함수적으로 늘어나는 효과를 얻음. 대신 층이 많아지면 그 유명한 그레디언트 소실 문제 때문에 층을 마냥 늘리지는 못함