주말에 심심해서 도서관에서 시원하게 에어컨이나 쐬면서 책을 읽었다.
대충 000번대에서 슥 훑어보다가 딥러닝 분야에서 제일 눈에 띄는 책을 하나 집었다
"밑바닥부터 시작하는 딥러닝"(사이토 고키 저, 한빛미디어 출판, 2017)
책이 재밌어서 술술 읽다가 도서관에서 빠져나와 서점에서 2권과 3권을 모두 구입했다..
3권을 사니까 여느 전공서적 못지않게 8만원이 넘는 비싼 가격이었지만
새 책 냄새를 맡으며 읽으니 기분은 좋았음
토요일에 읽기 시작한걸 오늘 오전에서야 다 읽게 되어서
복습할겸 신경망에 대한 글을 하나 쌀까 해
책은 파이썬을 활용해서 손으로 쓴 숫자 이미지를 0~9까지의 숫자 중 어떤 숫자인지 구분하는 모델을
만드는 과정과 함께 신경망에 관한 간단한 이론과 함수만 설명되어 있는데,
복습하는김에 신경망에 대한 기원과 발전 과정을 주목할만한 굵직한 사건들을 중심으로
추가로 작성하면서 개인적으로 교양 공부하는겸 작성해보려해
컴공과 2학년 휴학생이라 지식이 다소 부족할 수 있는 부분과
잘못된 정보가 있을수도 있다는점.. 미리 사과합니다..
0. 신경망이란 무엇인가.
신경망이란 인공지능 분야에서 뇌를 구성하고있는 뉴런의 작동 원리를 모방하여 수학적으로 표현하고,
이를 컴퓨터 과학에 접목시킨 수학적 모델이라고 한다.
인공지능이 대중들에게 널리 알려지게 된 계기는 예전 이세돌 바둑 기사와 알파고의 바둑 대결을 시작으로
최근에는 CHAT GPT란 녀석때문에 동네 서점이나 방송 매체에서는 AI의 시대가 도래했다,
인간시대의 끝이 도래했다.. 등 현실적인 이야기와 허구적인 이야기들이 한데 섞여 일파만파 퍼지고 있지.
본인의 친구인 국어국문학과 문돌이 새끼도
인공지능이 더이상 개발되면 안된다는둥, CHAT GPT는 사람의 말을 알아듣고 사람과 대화하는것 만으로도
이미 인간관계의 중요성이 상실된다느니, 챗씹피티가 다양한 형태로 보급되면
더이상 나처럼 언어를 공부하는 학도들은 도태되어 사라질거라느니..
씹소리를 아무렇지도 않게 내뱉는게 참 부끄러우면서도 한편으로는
정말 이런일이 벌어지지 않을까 가끔 호기심이 일어나곤 해.
(와들와들 기계의 반란)
인공신경망에 대한 연구는 1943년 미국의 신경생물학자인 워런 맥컬록과 신경 과학 분야의 논리학자인 월터 피츠가 발표한 논문이
기록상으로 최초의 인공신경망에 대한 연구야.
지금으로부터 약 80년 전 부터 뇌를 인공적으로 구현해내기 위한 연구의 방향성을 제시해준것이 이 논문인데
논문의 핵심은 생물의 뇌를 수학과 임계 논리로 계산하여 뉴런을 이진 출력(ON, OFF)을 내는 논리 게이트를 만들어서
다수의 입력을 받고 각 입력마다 가중치를 곱하고 서로 더한 다음 임계치와 비교해서 출력하는 방식의 신경망 모델을 표현해냈다는거야.
이진 출력 논리 회로는 "전부 또는 전무하다" 라는 신경 활동의 특성을 토대로
뉴런의 행동들이 두 가지 결과만 내놓는것을 5가지 가정을 통해 수학적으로 표현해 낼 수 있다는데
5가지 가정이란 다음과 같아
1. 뉴런의 활동은 '전부 아니면 전무' 의 과정이다.
2. 어떤 뉴런을 흥분되게 하려면 2개 이상의 고정된 수의 시냅스가 일정한 시간내에 활성화 되어야 한다.
1. 퍼셉트론
퍼셉트론이란 1957년 미국의 신경생물학자인 프랑크 로젠블라트와 그의 연구진들이 고안한 알고리즘이며 신경망의 기원이 되는 알고리즘이야.
일전의 맥컬록과 피츠의 논리 회로를 가다듬어서 좀 더 정확하게 수학적인 계산을 통해서 표현해낸 알고리즘이지.
이전의 논리 회로는 "시간 t일때 a 시냅스와 b 시냅스의 연결에서 어쩌구저쩌구~ 시간이 t+1이 되면 뉴런이 흥분해서 중얼중얼..."
설명하기 힘든 꽤나 복잡한 과정을 거쳤는데
로젠블라트의 퍼셉트론 이론은
간단한 수식으로도 이를 표현할 수 있게끔 했어.
위의 그림은 2개의 신호를 받는 간단한 퍼셉트론의 예 인데,
x1과 x2는 입력신호, w1과 w2는 가중치, y는 출력신호야.
해당 퍼셉트론은 하나의 뉴런을 표현한거고,
동그란 원은 뉴런 혹은 노드라고 불러.
말대로 따르면 뉴런 안에 뉴런이 존재하게돼서 이상하게 되는데,
단일 뉴런을 표현하고자 퍼셉트론을 고안해낸 이후
언어가 확장되어서 동그란 원을 표현하는데에 뉴런이 쓰이게 되었어.
동그란 원과 원을 잇는 줄을 전선으로 비유하면 가중치는 전류의 흐름을 억제하는 저항이라고 볼 수 있어.
입력 뉴런을 배터리, 출력 뉴런을 전구에 빗댄다면, 배터리의 전기가 전선을 타고 흘러서 전구에 도달했을때
불이 들어온다면 1, 안들어오면 0으로 보는데 이 0과 1을 가르는 한계를 임계값이라 할게.
전류는 저항의 값에 따라 반비례 하지만, 퍼셉트론에서는 가중치를 입력 신호에 곱하기 때문에 가중치의 값이 커지면 더 강한 신호를 내보내게 되지.
전구가 터지지 않고 제대로 불이 들어올 수 있게하기 위해서는 적당한 전압의 배터리를 연결 하는 방법도 있지만,
연결한 전선의 저항을 조절해서 전류의 크기를 조절하는 방법이 있듯이
퍼셉트론의 가중치도 원하는 출력값을 얻도록 입력값을 조정하는 역할을 해.
위 그림을 수식으로 표현하면 다음과 같아.
y = 0 (x1w1 + x2w2 <= seta(임계값)) 또는
y = 1 (x1w1 + x2w2 > seta)
입력신호 x1, x2에 각각의 가중치를 곱하고 서로 더한 값이 임계값을 넘으면 1, 그렇지 않으면 0이 되는걸 수식으로 표현한 건데
일전의 논리 회로와는 명백하게 차이가 나지?
그림으로 도식화 한 것도 정갈하고 수식으로의 표현도 깔끔해서 퍼셉트론 알고리즘은
맥컬록과 피츠의 논리 회로와 큰 차이점은 없지만, 유의미한 발전이라고 볼 수 있어.
AND, NAND, OR 게이트
퍼셉트론을 활용한 간단한 논리회로 세 개를 알아보자
두 개의 입력층에 각각 0 또는 1 이라는 값을 입력하는 가짓수를 표로 나타내면 다음과 같아
X1 X2
0 0
1 0
0 1
1 1
표를 분석해보면 둘 다 0인 경우, 둘중 하나만 1인 경우, 둘 다 1인 경우로 나눌 수 있는데
이를 어떻게 처리할것인지도(출력값을 어떻게 나눌 것인지) 다양하게 나눌 수 있어.
가령, 둘 다 1인 경우에만 출력값을 1로 하고, 아닌 경우는 0으로 한다던지 (이를 AND 게이트라고 한다.)
둘 중 하나라도 1인 경우에만 출력값을 1로 하고 아닌 경우는 0으로 한다던가 (이를 OR 게이트라고 한다.)
아니면 둘 다 1인 경우에 출력값을 0으로 하고 하나라도 0인 경우에는 1로 하는(NAND 게이트)
X1 X2 Y(AND) Y(OR) Y(NAND)
0 0 0 0 1
1 0 0 1 1
0 1 0 1 1
1 1 1 1 0
위와 같은 표를 진리표라고 해.
진리표를 따라 입력층에 0 또는 1의 값을 넣고, 거기에 각각 가중치를 곱하고 서로 더해서
상황마다 다르게 0 또는 1의 값이 나오도록 해야 하는데
앞에서 표현했던 수식을 다시 떠올려 보자
y = 0 (x1w1 + x2w2 <= seta(임계값)) 또는
y = 1 (x1w1 + x2w2 > seta)
x1, x2의 값은 간단하게 0 또는 1로 주어졌는데, 가중치인 w1, w2를 어떻게 설정하고, 임계값을 어떻게 설정해야 원하는대로 y값을 설정할 수 있을까?
아쉽게도 로젠블라트의 퍼셉트론에서는 이런 가중치를 설정하는 문제를 인간이 직접 설정해 주어야 해.
지금이야 간단하게 0.5의 값이라던지 하나는 -0.3, 하나는 0.7의 값을 넣는 등 쉽게 생각해 낼 수 있지만
입력값이 수십, 수백개로 많아지고 논리회로도 복잡해지면 적절한 가중치를 하나하나 설정하는데에 있어서 상당히 복잡하고 어려운 일이 될 수 있어..
그리고 이 퍼셉트론의 문제점은 표현력에 한계가 있다는 것이야.
가령 다음과 같은 y값을 얻는 논리회로를 만들려면 어떻게 처리해야할까?
X1 X2 Y1 Y2
0 0 0 1
1 0 1 0
0 1 1 0
1 1 0 1
위에서 표현한 수식으로 생각했을때는 분명 임계값에 따라 값이 변하도록 설정하였는데
해당 진리표에는 위의 수식으로는 도저히 풀어낼 수 없는것으로 보여져.
이것이 (단층)퍼셉트론의 한계인데,
표현력이 제한된다는 점 외에도
여전히 모든 가중치들이 인간이 매번 직접 설정해주어야 한다는 점에서
맥컬록-피츠의 이론에서 크게 발전한건 없는 것 처럼 보여지지..
2. 다층 퍼셉트론과 역전파 알고리즘
앞서 보았던 로젠블라트의 퍼셉트론을 현재는 단층 퍼셉트론이라고 불러.
단층 퍼셉트론을 2개 이상으로 연결한것이 다층 퍼셉트론인데,
이를 통해 좀더 복잡하고 전에는 표현하지 못한 것들을 표현해 낼 수 있게 되었어.
X1 X2 Y1 Y2
0 0 0 1
1 0 1 0
0 1 1 0
1 1 0 1
위에서 해결하지 못했던 진리표를 다시 봐보자.
해당 진리표는 AND, OR, NAND 게이트를 각각 하나씩 연결하면 구현해 낼 수 있는데 어떻게해야될까?
정답은 "OR 게이트와 NAND 게이트(AND 게이트)를 1층에, 두 게이트의 출력값을 입력값으로 받는 AND 게이트를 2층으로 한 논리 회로"야
X1 X2 A1 A2 Y1
0 0 0 1 0
1 0 1 1 1
0 1 1 1 1
1 1 1 0 0
X1, X2의 입력값을 같는 OR 게이트와 NAND 게이트의 출력값을 각각 A1, A2라고 하고, A1, A2를 입력값으로 받는 AND 게이트의 출력값을 Y1이라 했을 때
진리표는 위처럼 나타낼 수 있어.
말은 좀 복잡하지만 잠깐만 생각해보면 보기보다 간단하다는걸 알 수 있어 (아님말고)
기존의 퍼셉트론을 몇개 연결한 것이 뭐가 중요하냐고 물을수 있는데,
기존의 퍼셉트론은 선형 분리 가능한 패턴만 해결할 수 있었다면,
다층 퍼셉트론은 비선형 적인 패턴들도 분리가 가능해.
쉬운말로 예외처리가 가능하다는거지.
예시를 들어보자.
선형 패턴이라는것은 일전의 이진 출력과 같은 형태로 예 또는 아니오로 표현해 낼 수 있는거야
가령 어떤 인물이 주어지고
Q. 해당 인물은 남자입니까?
A. Y
Q. 해당 인물은 백인입니까?
A. N
Q. 해당 인물은 ...
둘중 하나만을 표현하는데에 그친다면
비선형 패턴은
Q. 해당 인물이 남자입니까?
A. 성적으로는 남자로 분류되지만 정신적 성별은 여자이거나 바이섹슈얼입니다.
Q. 해당 인물이 백인입니까?
A. 보기에는 백인처럼 보이지만 사실은 내면에 흑인을 동경하는 마음에 그는 흑인으로 불리기를 원하므로 흑인입니다.
와 같은 복잡한 분류가 가능하다는거지.
(저는 모든 성적인 취향과 생각을 존중하며 피부색은 검정색 흰색이 아닌 모두가 다 같은 "피부색"을 지니고 있음을 존중합니다.)
(정확히 따지자면 잘못된 예시일 수 있지만, 어디까지나 선형 패턴과 비선형 패턴이 어떤 것인지 이해를 돕기 위한 예시임을 알립니다.)
다층 퍼셉트론의 개념이 적용되면서 10년이 넘도록 인공신경망의 연구에서는 뚜렷하게 표현할 수 있는 모델 중에서는
선형 패턴만을 다룰 수 있는 모델들만 존재했는데,
비선형 패턴을 다룰 수 있고, 이를 수학적으로 명확하게 표현할 수 있다는 점에서 큰 도약이 되었어.
하지만 아쉽게도 비선형 패턴을 다룰 수 있고
기존의 퍼셉트론을 여러개 연결하고 입력 뉴런을 증가시키고 출력층을 증가시켜도
결국 가중치는 인간이 직접 설정해주어야 한다는 어려움이 존재했는데,
이를 해결하는 방법이 1986년 영국의 컴퓨터학자인 제프리 힌튼이 고안한 역전파 알고리즘을 통해 제시되었어.
(오차)역전파 알고리즘
퍼셉트론이 고안된게 1957년인데 이를 보완할 수 있는 개념이 1986년에서야 고안되었는데,
약 30년이란 세월이 걸린데에는 기술적 한계도 있지만,
당대 사람들의 냉혹한 인식의 변화도 영향이 있어.
신경망 모델이 발전함에 따라 대중들에게는
"뭐? 인간의 뇌를 인위적으로 만들어 낼 수 있다고? 인간의 뇌처럼 논리적인 사고를 해낼 수 있다는거야?"
같은 소문이 퍼지면서
인권 단체에서는 윤리적으로 있을 수 없는 일이라면서 연구를 제한하고 규제를 해야한다는 둥
인간이 인간을 만들어내면 어떤 일이 발생할까 등
지금의 AI에 대해 호들갑 떠는것 처럼 당대 사람들이 존나게 호들갑 떠는거에 비해
막상 결과물이 "사실은 사람처럼 자율적으로 논리적인 생각을 해낼 수는 없습니다." 라니까
사람들의 관심이 점점 식어감에 따라 연구에 필요한 지원도 점차 줄어들고
실제로 말도 안되는 제한과 규제가 생겨서 연구하는데에 차질이 생기기도 해.
그렇게 약 30년이라는 세월이 흐른 뒤에야
기존의 고질적인 문제였던 "모든 가중치를 인간이 직접 설정해 주어야 한다"는 문제를 해결할 수 있는 방안이 떠올랐는데,
그것이 바로 역전파 알고리즘이야.
이를 이해하기 위한 예시를 들어볼게.
사진은 사과를 살 때의 최종 가격을 계산 그래프로 표현한거야.
사과의 값을 100으로 지정하고 이를 입력값으로 나타내면
사과의 개수가 가중치가 되어서 사과의 값에 곱해지게 되지,
또, 사과의 값에 사과의 개수를 곱한 값에 소비세라는 가중치를 곱해서 최종적으로 계산해야 할 값이 정해지는거야.
말로 풀어내면
"한 개에 100원짜리 사과를 총 2개 사는데 지불해야 할 값은 총 얼마일까?(소비세 1.1 포함)"
영수증에는
사과 100원 (2개)
소비세 20원
총 합 220원
이렇게 적혀있겠지.
굳이 계산 그래프를 이용하는 이유는 국소적인(뉴런 혹은 노드별)계산에 집중하고자 이용하는거야
현재로선 사과를 계산하는데에 그치지만,
사과 외에도 딸기 바나나 배 등 여러 과일이 더해질 수 있고,
최종가를 정하는데에 과일의 개수 뿐 아니라 할인, 특정 조건을 달성하면 얻는 이벤트 특가, 무게당 가격 등
여러가지 요인이 추가되면 수식으로 표현하는데에 복잡해 지는데,
계산 그래프로 나타내면 가시적으로 쉽게 표현할 수 있다는 이점이 있기 때문이야.
이 사진은 아까의 계산 그래프에서 각각의 요소들이 어떻게 변하는지에 따라 최종 가격이 어떻게 변하는지를 나타낸 거야.
최종 가격인 220원에서부터 역으로 거슬러 올라가는거지.
최종 가격을 1이라고 했을 때, 소비세를 내기 전에는 1.1의 값, 사과의 개수를 정하기 전에는 2.2의 값을 얻는걸 볼 수 있는데,
사과의 값이 100원에서 1원씩 변동될 때 마다 최종 가격은 2.2원씩 변한다는 뜻이야.
실제로 사과 가격을 101원으로 한다면 최종 가격을 222.2원이 되지.
사과 가격뿐아니라 사과의 개수, 소비세가 변동됨에 따라 각각의 값 만큼 최종 가격이 변동되는걸 확인할 수 있어.
더 복잡한 예시가 있지만, 머리아프니까 꺼내진 않을게.
이처럼 역으로 거슬러 올라가는걸 '미분' 이라고 하는데, 고등하교 미적분 시간에 배우는 미분 그새끼야..
고등학교때 대충 배웠다면 미분을 함수의 기울기, y' f'(x) 이런식으로만 알텐데,
미분(differentiation)은 값이 변동됨에 따라 함수의 값이 어떻게 바뀌는가를 표현한 거야.
역전파 알고리즘의 핵심은 요소들, 그러니까 가중치의 미분값을 찾아간다는거지.
쉽게 말해 역전파 알고리즘은 가중치가 변동됨에 따라 최종 출력값이 어떻게 되는지를 나타낸 것이고
이는 기존에 퍼셉트론에서 모든 가중치를 일일히 수정하면서(모델을 학습시키면서) 골머리를 썩혔던 연구진들에게
"케잌을 먹듯이 가중치를 쉽게 설정하는 방법"을 제시했다는거지.
가중치의 설정이 수월해 졌다는건 퍼셉트론에 새로운 논리문제를 적용시킬 때 마다 수백가지가 넘는 가중치의 값을 일일히 다시 설정했던 과거에 비해
짧은 시간 내에 수백가지가 넘는 가중치를 빠르게 설정할 수 있고,
어떤 뉴런을 연결하는 가중치가 최종 출력값에 얼마나 영향을 끼치고 있는지,
어떤 뉴런이 중요한 역할을 하고 있고 어떤 뉴런이 오류를 일으켜서 수정을 해야 하는지를 명확하게 알아낼 수 있다는 엄청난 도약을 이끌어냈지.
3. 신경망
암흑기라고도 표현됐던 인공신경망 연구의 침체기는 역전파 알고리즘의 등장으로 다시 부흥기를 맞아 활발한 연구가 진행된 배경도 있지만,
침체기 사이에 급속도로 발전한 컴퓨터 공학과 신경 생리학, 광학 기술의 발달들로 인해 신경망을 연구할 환경들이 전과 달리 매우 진보된 점들도 있어.
이때 부터 연구진들이 가중치를 직접 변경(지도 학습)하지 않아도 모델이 직접 학습(비지도 학습, 자율 학습)하게 하거나
입력값에 가중치를 곱하는 것 외에도 다른 요소를 통해 출력값을 처리하는 방법 등 여러 방면으로 인공신경망을 발전시키는 방법들이 연구되어왔어.
이런 개발중에서 유명한 모델중 하나는 2012년도에 윤곽을 드러낸 AlexNet인데 이는 CNN (Convolutional Neural Network 합성곱 신경망) 모델을 사용해서
기존의 이미지 데이터를 분류하는 모델의 오차 범위를 대폭 낮추고 대중들에게 인공신경망 연구의 현 주소를 알려준 모델이야.
알렉스가 어쩌구.. CNN 합성곱이 저쩌구..
신경망 모델에 관심이 없던 사람이라면 처음 들어보는 내용일 수 있는데,
중요한것은 2012년도라는 꽤나 근시간대에도 아직 완벽에 가까운(오차가 0에 매우 근접한) 모델이 나타나지 않았다는거야.
2023년인 현재에도 자율주행이니, AI추천 항목, 잔업을 대신 해주는 AI, 코드 대신 짜주는 AI,
CHAT GPT, 화풍을 따라하는 AI라거나 원하는 그림을 그려주는 AI 등
대중에게 널리 알려진 신경망을 활용한 모델들이 대거 출현했지만
아직까지 영화 터미네이터의 스카이넷처럼 기계문명이 인간을 지배하고
아이언맨의 인공 비서 자비스가 가사를 대신하고 자유롭게 대화하는것 처럼
완벽하게 인간을 대체할 수 있는 신경망 모델은 개발되지 않았어.
앞서 보았던 퍼셉트론에 대한 정보도 이를 이해하는데에 어느정도 도움을 주지만,
실제 신경망 모델을 만들어보면 대중이 상상하는 인공지능으로 발전하기까지 앞으로 얼마나 더 발전해야 하는지를
글로 보는 것 보다 잘 알 수 있겠지?
이번에는 "밑바닥부터 시작하는 딥러닝"을 따라 실제 0~9까지 손글씨로 적혀있는 이미지에
어떤 숫자가 써 있는지를 분류하는 모델을 구현하면서 신경망 모델은 어떻게 구성되어있고
어떤 방식으로 동작하는지를 자세하게 보려고 했는데
현재 저녁도 안먹고 글쓰다보니 배고파져서
활성화 함수라던지 데이터를 행렬로 다루는법, 다차원 배열 등
실제 구현에 필요한 정보들은 밥먹고 난 다음에 작성하도록 할게
ㅃㅃ
댓글 0