74ea8977b48a6df23be683e1419f2e2d4ea198b0eb11e5884d990c30


이 책의 좋은 점은 "마스터 알고리즘"의 요소가 될 수 있는 각각의 대표적 알고리즘을 알기 쉽게 소개한다는 것이다.


◆책에서 소개하는 대표적 알고리즘

기호주의자/연결주의자/진화주의자/베이즈주의자/유추주의자


책서두에서부터 지식 공학파(대표자 민스키)와 생득주의자(대표자 촘스키)를 거하게 까고 들어간다.

뭐 챗지피티4.0을 대표로하 는 현재의 흐름을 보면 확실히 지식공학파(전문가 시스템등)의 입지는 태풍 앞에 촛불 신세이긴 한거 같다.

이 책이 나온 것이 2015년이니까 저자의 갬블은 멋지게 성공한 셈이다 ㅋㅋ


내가 읽은 최고의 인공지능 입문서!

_ 빌 게이츠

라고 출판사 서평이 자랑하고 있는데 빌 형님이 진짜 읽었는지는 모르겠다 ㅋㅋ


아무튼 재미있게 읽은 책이었음 특히 ~~주의자 소개는 굿

이북으로도 있어 난 리디에서 구매


https://product.kyobobook.co.kr/detail/S000001868277


각 알고리즘의 주장을 간단히 소개하면..


(1) 기호주의자

여러 사실로부터 동일한 경향을 추출하여 추론하는 귀납적 방법에는 다음과 같은 한계가 지적되고 있다.

　a) 흄의 귀납 문제

　　예전에 경험한 대상 이외의 어떤 대상에 대해서도 추론할 수 없다.

　b) 노 프리런치 정리

　　모든 문제를 해결할 수 있는 만능 알고리즘은 존재하지 않기 때문에 전제 조건과 전제 지식을 알고 알고리즘을 구성해야 한다. (데이터만 보고 판단해서는 안 된다)

　c) 오컴의 면도칼

데이터에 가장 간결한 이론을 선택해야 하며, 관찰 사실을 완전히 설명하지 못하는 이론까지 일반화해서는 안 된다.

따라서 기호주의자들은 귀납적 방법이 아닌 일반적이고 보편적인 사실을 전제로 결론을 논리적으로 도출하는 연역적 방법을 사용한다.

특히 결과로부터 원인을 추론하는 경우에는 결정나무나 규칙집합을 이용하여 연역에 부족한 지식을 파악하여 그 지식을 일반화하는 역연역을 수행한다.

--> 이거 프래그머티즘의 아버지 찰스 퍼스의 abduction하고 연결하는게 낫지않나. 즉 가설을 만들고 시작 


2) 연결주의자

연역적 추론이 순차적인 것에 반해 연결주의자들은 뉴런에 의한 병렬적인 방법을 발전시켰다.

매카롭과 피츠의 모델은 유효한 입력의 개수를 임계값으로 하여 이차값을 출력했지만 이것으로는 정의할 수 있는 내용에 한계가 있었다.

그래서 각 뉴런에 가중치를 부여하는 퍼셉트론이 등장했지만 이 역시 직선의 경계만 표현할 수 있고 학습 방법도 아직 불분명했다.

그래서 퍼셉트론에 비선형층을 연결하고 이를 다중화한 뉴럴넷을 통해 비선형 경계를 정의할 수 있게 되었다.

또한, 각 층의 출력을 연속적인 값으로 설정하고 오차 역전파법을 사용하여 학습이 가능해졌다.

--> 2024년 현재 가장 핫하고 대성공을 거둔 알고리즘


3) 진화주의자

진화론자는 자연을 모방한다는 점에서는 뉴럴넷과 동일하지만 학습 방법에 있어 뉴럴넷처럼 파라미터를 미세 조정하는 후천적인 방식이 아닌 방대한 정보를 낭비하는 것을 각오하고 우연적인 시도를 많이 반복하여 최종적으로 가장 적합도가 높은 것을 남기는 유전 알고리즘을 채택한다.

이 우연적 시도에서는 각 개체를 무작위로 교배하거나 돌연변이를 일으키는 것을 반복한다.

이 선천적 기법을 신경망과 같은 후천적 기법과 결합하는 것도 효과적인 수단이 될 것으로 기대되고 있다.


4) 베이즈주의자

모든 학습된 지식에는 불확실성이 있고 주관적이라는 생각 하에 현재 인식하고 있는 사전 확률에 대해 새로운 정보를 얻을 때마다 새로운 사후 확률을 계산하는 베이즈 추정을 수행한다.

예를 들어 병자를 모집단으로 하여 열이 났을 때 그것이 독감에 의한 것인지 판단할 확률(사후확률)은 모든 질병에서 독감에 걸릴 확률(사전확률)과 독감에 걸렸을 때 열이 날 확률을 곱한 것을 모든 질병에서 열이 날 확률로 나눈 것이 된다.

이 개념을 이용하여 여러 사건(확률 변수)의 의존관계(조건부 확률)를 화살표로 연결한 베이지안 네트워크를 통해 다대다 및 양방향 요인분석이 가능해진다.

또한 무작위 시행실험을 반복하여 사전확률을 사후확률로 계속 갱신하는 방법을 마르코프 연쇄 몬테카를로법(MCMC)이라고 한다.

--> 이것도 자연언어처리 (구글의 트랜스포머나 bert같은 애들)의 대성공으로 승승장구중

뭐 과학의 가장 중요한 알고리즘이지


5) 유추주의자

두 가지가 어떤 관점에서 일치한다면 다른 관점에서도 일치할 확률이 높다는 것이 유추의 근간이다.

이를 가장 간단한 방법으로 구현하는 것이 근사치법이며 근사치법의 과학습 위험을 줄이기 위해 다수결에 의해 여러 근사치를 사용하는 k-근사치법이 있다.

또한 서포트 벡터 머신(SVM)에서는 경계를 결정하는 사례로 서포트 벡터를 선택해 경계에서 가장 가까운 사례까지의 마진을 최대화한다.

커널을 이용하여 비선형 경계에도 대응할 수 있으며, 퍼셉트론에서 벡터의 내적을 이용한 유사도를 보다 일반화했다.





책 속으로


이 책의 가장 큰 목표는 당신이 머신러닝의 비밀에 들어서게 하는 것이다. 차량의 엔진이 어떻게 작동하는가는 기술자와 정비공만 알면 된다. 반면 운전대를 돌리면 차량의 진행 방향이 바뀌고 브레이크를 밟으면 차량이 멈춘다는 것은 모든 운전자가 알아야 한다. 그런데 우리는 머신러닝을 사용하는 방법은커녕 머신러닝에서 운전대나 브레이크에 해당하는 게 무엇인지조차 모른다. 이 책은 당신에게 머신러닝을 효과적으로 사용하려면 알아야 하는 개략적인 지식, 개념 모형을 소개한다.

〈들어가는 말〉 중에서


책의 목차를 보면 흐름을 알 수 있을듯


목차

들어가는 말


제1장 머신러닝의 혁명이 시작됐다

머신러닝은 무엇인가 / 최고의 기업들이 머신러닝을 채택하는 이유 / 머신러닝이 과학을 혁신한다 / 국가의 운명을 바꾼다 / 지상 전쟁에 한 명, 가상 전쟁에 두 명 / 우리는 어디로 향하는가


제2장 마스터 알고리즘은 어떻게 탄생하는가

신경과학에서 / 진화론에서 / 물리학에서 / 통계학에서 / 컴퓨터 과학에서 / 머신러닝 vs 지식공학 / 머신러닝 vs 인지 과학 / 머신러닝 vs 머신러닝 실행자 / 마스터 알고리즘은 당신에게 무엇을 주는가 / 또 다른 만물 이론이 될 것인가 / 본선에 진출하지 못하는 후보들 / 머신러닝의 다섯 종족


제3장 흄이 제기한 귀납의 문제 _기호주의자의 머신러닝

데이트를 할 수 있을까, 없을까 / ‘세상에 공짜는 없다’라는 정리 / 지식 펌프에 마중물 붓기 / 세상을 다스리는 법 / 무지와 환상 사이 / 당신이 믿을 만한 정확도 / 귀납법은 연역법의 역이다 / 암 치료법 학습하기 / 스무고개 놀이 / 기호주의자의 믿음


제4장 우리 두뇌는 어떻게 학습하는가 _연결주의자의 머신러닝

퍼셉트론의 성장과 쇠퇴 / 물리학자가 유리로 두뇌를 만들다 / 세상에서 가장 중요한 곡선 / 초공간에서 등산하기 / 퍼셉트론의 복수 / 세포의 완전한 모형 / 두뇌 속으로 더 깊이 들어가기


제5장 진화, 자연의 학습 알고리즘 _진화주의자의 머신러닝

다윈의 알고리즘 / 탐험과 개발 사이의 딜레마 / 최적 프로그램의 생존 / 성의 임무는 무엇인가 / 자연에서 ‘학습’을 배우는 두 종족 / 가장 빨리 학습하는 자가 승리한다


제6장 베이즈 사제의 성당에서 _베이즈주의자의 머신러닝

세상을 움직이는 정리 / 모든 모형은 틀리지만 그중에는 유용한 모형도 있다 / 예브게니 오네긴에서 시리까지 / 모든 것은 연결되어 있다, 직접 연결되지는 않지만 / 추론 문제 / 베이즈 방식 학습하기 / 마르코프가 증거를 평가한다 / 논리와 확률이라는 불행한 짝


제7장 당신을 닮은 것이 당신이다 _유추주의자의 머신러닝

할 수 있으면 비슷한 점을 찾아봐 / 차원의 저주 / 평면 위의 뱀들 / 사다리 오르기 / 기호주의 vs 유추주의


제8장 선생님 없이 배우기

같은 종류끼리 모으기 / 데이터의 모양 발견하기 / 보상과 처벌 그리고 강화 학습 / 자꾸 연습하면 아주 잘하게 된다 / 연관 짓기 배우기


제9장 마스터 알고리즘을 위한 마지막 퍼즐 조각

여러 가지 학습 알고리즘을 어떻게 통합할 것인가 / 궁극의 학습 알고리즘 / 마르코프 논리 네트워크 / 흄에서 가사 로봇까지 / 지구 규모의 머신러닝 / 의사가 지금 당신을 진찰할 것이다


제10장 이것이 머신러닝이 펼치는 세상이다

섹스, 거짓말 그리고 머신러닝 / 디지털 거울 / 디지털 모형들의 사교 생활 / 공유할 것인가 공유하지 않을 것인가, 그리고 어디에서 어떻게? / 신경망이 내 일자리를 빼앗는다 / 전쟁터에서 인간이 싸우지 않는다 / 구글+마스터 알고리즘=스카이넷? / 진화, 두 번째 막이 시작됐다


맺는말