리니어 리그레션의 한계

앞서서 우리는 리니어 리그레션에 대해서 배웠다. 리니어 리그레션은 연속적인 값을 예측하는데 유용했다. 하지만 비연속적인 분류 문제, 아니면 오직 0과 1사이의 값을 다루는 확률 문제서도 유용할까?

그림1을 보면 알 수 있겠지만 리니어 리그레션은 분류와 확률의 문제에서 성능이 좋지 못하다. 예측값이 항상 증가분을 가져야하고, 데이터에 지나치게 민감하다. 따라서 분류/확률 문제에선 리니어 리그레션을 쓰면 안 되고 오른쪽과 같은 논 리니어 리그레션(비선형 회귀)을 사용해야 한다.


활성화 함수

활성화 함수는 모든 x의 정의역을 받아서 0과 1 사이(가끔 -1 까지도)의 y값 치역을 출력한다. 따라서 리니어 리그레션의 함수를 활성화 함수에 넣고 훈련할 타겟(실제 y의 값)을 0과 1로 분류하여 주면 그 모델은 '비선형 모델'이 된다.


아래는 활성화 함수의 다양한 종류이다. 옛날에는 시그모이드가 최고인 줄 알았지만, 요즘엔 RELU나 SELU같은 ELU 계열의 더 성능이 좋다고 알려져있다.

퍼셉트론과 아달린

활성화 함수(그중에서도 계단 함수)가 사용된 리그레션 구조를 퍼셉트론이라고 부른다.

활성화 함수, 임계 함수(Quantizer)가 사용된 리그레션 구조를 아달린이라고 부른다. 임계 함수는 실제 학습에 포함되지 않고, 예측값을 인간이 보기 좋게 바꾸어줄 뿐이다.


나중에 배울 ANN(인공 다층 신경망)은 수많은 퍼셉트론의 병렬 연결으로 이루어져 있으며, 구조의 맨 마지막에는 임계 함수가 존재한다. 따라서 아달린, 퍼셉트론 모두 사용한다고 말할 수 있다.


결정 경계로 그래프를 보는 직관


이제부터 아달린과 퍼셉트론을 표현하는 그래프는 그림4의 왼쪽이 될 것이다. 이는 3차원 그래프이다(여기서 y의 값은 색깔이다). 주어진 x_1, x_2 값을 받아 파란색과 빨간색으로 구분을 하는 임계치(초록색 직선)를 '결정 경계(decision boundary)'라고 부를거다.


오른쪽은 리니어 리그레션이 표현된 2차원의 그래프이다(여기에서 y값은 위-아래의 축이다).


서로 그래프가 완전히 다르니 헷갈리지 말도록 하자.