고전 뉴럴 네트워크에서는 Associative Network 라는 것을 다루어요.
이 Associative Network 는 저렇게 입력 feature 와 output label(혹은 실수 x, 만약 연속공간이라면!)이 주어졌을 때 입력과 출력의 associativity 를 중점적으로 보는 거에요.
예시로 만약 바나나는 노란 색을 가지고 있고, 껍질이 있으므로 그 껍질을 벗기지 않는 한 냄새가 나질 않겠죠.
그러면 아래와 같은 feature 에서 p^0 = 1, p = 0 (노테이션 편의상 앞으로 p^1 이라고 할게요.) 인 상태에서 target a = true(1) 인 결과가 나오겠죠.
그럼 우리는 냄새에 관한 입력인 p^0 에 관한 weight w_00, w_01 은 증가시켜서 hardlim(sigmoid 랑 비슷하게 생긴), decision boundary 를 넘게 하고 싶고
p^1 에 관한 weight w_01, w_11 은 감소시켜서 decision boundary 를 못넘게 하고 싶어요.
이때 아래와 같은 Hebbian learning rule 을 적용하게 되면 같은 부호끼리는 서로 곱해서 1 이 되니까 증가하게 되고 아니면 0이니까 그대로 있는 learning rule 을 이끌어 낼 수 있겠죠.
이 때 feature(p^0 나 p^1 의 값) 를 {0,1} 이 아닌 {-1, 1} 에서 선택하게 하면 저 rule 은 좀 더 명확한 의미를 가지게 될거에요.
같은 음수 response 면 그것도 강화해야 맞으니까요.
제가 궁금한건 헤비안 학습규칙에서 동시에 활성화된 뉴런들의 연결이 강화된다면, 뉴런 하나의 입력과 출력 둘중어디가 연결된다는말이냐는거에요 그게 어떻게 결정되죠?
입력 feature 들 중 하나와 출력 label 이 동시에 켜진다면, 즉 1 의 값을 가진다면 weight 가 커진다는 거에요. 즉 feature[i] 와 output label 이 연결된다는 것입니다 - dc App
뇌세포 하나는 입력과 출력을 둘다가지잖아요 두 세포간의 연결에서 각 세포의 입력과 출력중 뭐가 연결될지 어떻게알죠?
저기서는 그렇게까지 생물학적으로 엄밀하게 따지고 들어가지는 않은 거 같아요. 모티베이션만 얻어온 ㅇㅇ - dc App
좋아용