[📪정보] [컴퓨터 입문 칼럼] 10. 퍼셉트론, 딥러닝

[Navy(211.195)]

이전 편 링크는 최종편 때 몰아서 달겠다. 7편에도 달았고...

I. 퍼셉트론

1957년, 최초로 제안된 신경망 프로그램 알고리즘.

 

하나의 뉴런을 사용하는 방식이다. 다수의 입력을 받았을 때, 입력마다 가중치를 부여해서 곱한 후, 그 합이 일정 값을 초과하면 결과를 출력해 다른 뉴런으로 전달하는 방식.

 

근데 단층 퍼셉트론(Single-Layer Perceptron)의 경우 학습은 가능하지만, 비선형함수를 학습할 수가 없었다. 당장 그 유명한 XOR 문제부터가 존재했다.

<그림 설명> 한 번 XOR을 분류해보자. 음...

 

그리고 첫번째 AI Winter가 찾아왔다.

 

이 문제는 이후 다층 퍼셉트론(Multi Layer Perceptron; MLP)이 나오고 해결되었다. 여러 퍼셉트론이 하나의 층을 구성하고, 3개 이상의 층이 존재하며, 입력층-은닉층(중간층)-출력층으로 구성된다. 은닉층은 여러 개 둬도 되지만 너무 많이 두면 성능이 떨어진다.

 

근데 은닉층을 학습시킬 방법이 없어서 큰 문제가 되었다. 이 문제는 1986년 역전파(backpropagation) 알고리즘이 개발되며 해결된다.

 

그러나 사라지는 경사 문제(Vanishing Gradient Problem), 과적합 문제(Overfitting Problem), 하드웨어 성능 부족 등으로 인해 다시 위기에 처한다. 그러나 2006년 딥러닝 논문이 발표되고, 하드웨어가 발전하며 문제가 상당히 해소되었다.

 

* 사라지는 경사 문제: 층수가 많아지면 역전파 알고리즘이 제대로 작동하지 않음

* 과적합 문제: 지나치게 정확도가 높아서 오히려 효율성과 성능이 떨어짐

II. 인공신경망 & 딥러닝

 

1. 합성곱 신경망 (Convolutional Neural Network; CNN) (1989)

인간의 시신경 구조를 모방해 만들어진 인공신경망 알고리즘. 시신경 구조니까 당연히 이미지 처리라든가, 시각적 영상 분석이라든가... 그런 곳에 많이 사용된다.

 

연결 구조의 복잡성이 다른 다층 퍼셉트론 신경망들에 비해 매우 낮다. 좋은 것이라는 소리다. 합성곱연산과 풀링연산부터 시작해서 뭔가 많이 복잡한데 이 칼럼에서는 스킵한다.

 

 

2-1. 순환 신경망 (Recurrent Neural Network; RNN) (1986)

다른 다층 퍼셉트론 신경망들은 입력 ---> 출력의 일방통행으로 가버리기 때문에 중간층의 뉴런들이 정보 기억을 하지 못한다. 이를 해결한 것이 RNN.

 

시계열분석(Time-series analysis, 시간에 따라 연속성을 지니는 문제) 관련 문제를 해결하고, 문맥을 통해 다음 단어를 예측하며, 번역이나 음성/텍스트 인식 등에 도움이 된다고 한다.

 

2-2. 장단기 기억 신경망 (Long Short Term Memory; LSTM) (1997)

RNN의 개선판. 정보 기억력을 높였고, 어디까지 기억할지 조절할 수도 있다. 음성/필기체 인식 등에서 최고라고 부를 만하다. 물론 번역 등에도 쓰이고. CNN과 함께 응용되어 활용되기도 한다.

 

계산량이 좀 많은 게 흠인데... 하드웨어발전, LSTM의 개선판인 GRU(Gated Recurrent Unit, 2014) 등을 활용하여 해결하고 있다. RNN 계열은 최신의 딥러닝 알고리즘으로 불렸다. 그러나...

 

 

3. 트랜스포머 (Transformer) (2017)

RNN을 사용하지 않은 트랜스포머가 발표되었다. 뉴스 번역할 때 변압기가 되어버리지 않도록 주의하자. 성능도 RNN보다 우수하다고 하고, 그 유명한 GPT-n series의 ‘T'가 트랜스포머를 의미한다.

 

이미지/언어 변역 등에 있어서 거의 모든 시장을 점유하고 있다고 한다. 발표된지 단 4년만이라는 점에서 대단하다고 평가할 수 있겠다.

 

 

4. GAN (Generative Adversarial Networks) (2014)

종종 특갤에 보여서 뭔지 궁금해서 찾아봤는데 나무위키에 있더라.

 

두 모형을 ‘경쟁’시킴으로써 정확도를 향상시키는 기법이다. ‘Adversarial'부터가 적대적이라는 뜻이고, 최초의 논문에는 대놓고 탐정 vs 사기범(?)의 비유를 활용하는 모양이다. 물론 읽어보지는 않았고 어떤 블로그에서 본 거다.

GAN은 CNN, RNN, 트랜스포머를 활용한 혼합모델이다. DCGAN은 CNN을, C-RNN-GAN은 RNN을, TransGAN은 트랜스포머를 활용한다.

수식을 보면 minmax 어쩌고 저쩌고 되어있는데, 비유를 하자면 G가 사기범이고 D가 탐정이다. D는 수식의 결과값을 최대화하는 게 목표고 G는 최소화하는 게 목표다.

딱히 이렇다 할 관련 뉴스는 잘 안 보인다. 정확히는 많긴 한데 고만고만하달까...

쓰고 나니 알맹이는 다 빼버리고 대충 소개한 느낌도 들긴 하는데, 분량 문제가 있기도 하고 비전공자 입장에서는 이것보다 전문적인 이야기를 다루기가 여러모로 껄끄럽다. 원래부터가 입문편이니까?

부족하지만 AI 파트는 여기서 마치고 다음부터는 자유주제 파트로 돌아오겠다. 11편에서는 4편의 내용을 기반으로 하드웨어의 발전 등을 살펴볼 예정이니 부디 4편부터 읽어주시면 감사하겠다. 물론 11편 첫 줄에 링크는 달아두겠다.

코멘트 있으시면 댓글로 달아주시기를 바란다.

완결은 14~15편 정도로 생각하고 있다.

[익명(61.83)]

그냥 무슨 개념인지만 알아도 도움될듯 ㄹㅇ

[Navy(211.195)]

ㄹㅇ

[미래기술(pwqkcxnl)]

Navy님이 쓰신 글 다 정독했습니다. 굉장히 글 잘쓰시네요. 감사합니다^^

[Navy(211.195)]

부족한 글인데 다 읽으셨다니ㅎㄷㄷ 저야말로 감사합니다

[익명(49.164)]

[익명(49.164)]

RNN을 트랜스포머로 대체한다고 말해줬지만 요즘은 CNN까지 트랜스포머로 대체하기도 하고... 뭔가 트랜스포머로 대동단결하려는 듯한 느낌

[익명(49.164)]

트랜스포머 설명이 살짝 아쉬운데, 어려운 거 다 제끼고 '집중'이란 개념을 도입했다는 것 정도만 언급했으면 좋았을듯

[익명(49.164)]

인간 또한 중요하다 생각하는 것에만 '집중'하고 그 외에는 무시하는 방식으로 사고를 하기 때문에, 트랜스포머가 AGI의 열쇠라는 말도 있음

[Navy(211.195)]

인코더-디코더나 attention 같은 거 소개하려다가 뺐는데 attention은 걍 넣을 걸 그랬나

[익명(49.164)]

GAN의 가장 최신 성과 하면 역시 네이버 자동채색AI지. 유튜브 보면 주재걸교수가 U-Net+GAN으로 colorization하는 연구 소개하는 영상 있는데 그게 기초가 된 걸로 보임

[Navy(211.195)]

아 그게 GAN이었음? 자동채색에 관심이 없었어서

[익명(1.219)]

굳이 쓴소리 해주자면 이런거 본다고 실전에서 아무것도 못한다 찐따들아 ㅋㅋ

[익명(1.219)]

9급도 못붙는데 니들이 이런 겉핥기식 정보 본다고 달라질거 같노? ㅋㅋ