[📪정보] ENN에 대해 알아보자 - 1. 작동 원리

[익명(121.156)]

안녕! 며칠 전 부터 ENN 떡밥 끌어 올리고 있는 특붕이다.
스스로 개념 정리도 할 겸 ENN 작동 원리를 정리해보려고 해.

ENN은 Essential Neural Network(본질 신경망)의 약자야.
입력과 출력의 관계에서 핵심적인 부분을 뽑아 기억하는 게 특징이지.
기존의 신경망에 비해서 안정적이고, 사람이 이해하기 쉽다는 특성이 있어.

ENN의 기본 전제는 '결과가 다르다면 입력도 다르다'야.
모든 상황이 똑같을 때 다른 판단을 하는 건 이상하잖아?
그래서 결과가 다르다면 항상 '뭔가가 다를 것'을 가정하고 신경망을 굴려나가.

위의 그림은 논문에 나와있는데, ENN을 잘 설명해주는 것 같아서 가져왔어.

과일과 야채를 나눈다고 가정해보자.
이렇게 최종적으로 나누고 싶어하는 결과를 논문에서는 '개념(Concept)'이라고 해.

과일에는 사과, 오렌지, 바나나, 라임, 포도
야채에는 파프리카, 당근, 애호박, 양배추, 올리브
이렇게 포함되는 개념들이 있단 말이야.
이런 중간 결과들을 논문에서는 '부개념(Subconcept)' 이라고 불러.

이제 입력(감각)에서 출력(개념)을 찾아내는 모델을 만든다고 가정해보자.
'빨간색' - 사과일수도 있고, 파프리카일수도 있지.
'동그랗다' - 사과일수도 있고, 양배추일수도 있지.
'길다' - 바나나일수도 있고, 애호박일수도 있지.

감각만으로 뭔가를 결정할 수 없단 말이야?
(다층 신경망에 대한 이야기는 나중에 할게!)

그래서 일단 출력에서 시작해.
'이러이러한 특성일 때 결과는 과일이였는가?'에서 시작하는거지.
그러면 '색깔로 나눠진다', '길이로 나눠진다' 이런 명확한 관계는 보이지 않지만
적어도 사과끼리는 비슷한 특성을 공유할 거 아니야?
'빨갛다', '동그랗다', '길지 않다'

논문은 이걸 첫번째 단계라고 해.
특성과 결과를 쭉 늘어놓고, 비슷한 특성을 공유하는 것,
그걸 '부개념(사과)'라고 생각하는거지.
(KNN, 보로노이 분류머신이랑 비슷한데, 여기서 비선형성이 생겨!)

그렇게 비슷한 친구(부개념)들끼리 주욱 모아놨어.
'사과', '바나나', '파프리카', ...
물론 컴퓨터가 '사과'라는 이름은 모르겠지만 분류할 수는 있겠지?

부개념들 사이에 차이는 분명히 존재할거야.
애초에 비슷한 특성을 기준으로 묶은거니까, 둘이 다르다면 다른 특성도 있겠지.

그래서 부개념 사이의 차이들(Differentiae)을 찾아내기 시작하는데

논문은 이걸 두번째 단계라고 해.
'사과와 파프리카의 차이는 울퉁불퉁한가'
'사과와 당근의 차이는 빨간색 동그라미 vs 주황색 길쭉이'
이렇게 분류하는 기준을 학습하는거지.
이게 차이 뉴런(Differentia neuron)이야.
(여기서는 SVM에 활성화함수 시그모이드를 씌워서 사용해!)

여기에서 '사과'와 '바나나'의 차이에서는 굳이 학습하지 않아.
어차피 둘 다 과일이잖아. 최종적으로 나누고싶은 대상이 아니야.

다음 단계는 분류하는데 필요한 특성만 뽑아내는(Pruning, 가지치기) 단계야.

사과의 경우에는 다른 부개념들과 이런 차이들이 있어.

'울퉁불퉁하지 않음'
'빨갛고 길쭉하지 않음'

'빨간색'
'빨갛고 굽어있지 않음'
'길쭉하지 않음'

보다시피 중복되거나 겹치는 부분들이 있지?
하지만 컴퓨터는 뭐가 뭔지 구분을 할 수 없어.
그래서 필요한 기준들만 추려내는거야.
'빨간색'이랑 '길쭉하지 않음'을 알고 있으면

'빨간색이고 길쭉하지 않음'은 굳이 다시 생각할 필요 없잖아?

그러면 지우는거야.

(이 단계는 SVM의 margin을 보면서 진행해!)

그렇게 추려나가다보면 본질적인 차이만 남게 돼.
'빨갛다', '길쭉하다', '굽어있다', '울퉁불퉁하다'
이게 본질 신경망이라는 이름이 붙은 이유지.

이렇게 본질을 추려내고나면 설명을 할 수 있게 돼.
'사과는 빨갛고, 길쭉하지 않고, 굽어있지 않고, 울퉁불퉁하지 않아서 사과입니다'
이렇게 연결하는 부분이 논문에서 이야기하는 5단계!
(약간의 파라미터 조절이 있기는 해!)

이렇게 ENN의 작동 원리에 대해서 알아봤어.
ENN은 어떻게 학습하는지랑 GDN(기존 신경망)과의 비교는 따로 글을 파도록 할게.
많은 전문가 특붕이들의 검증 부탁해! (후덜덜)

[익명(49.166)]

[익명(121.156)]

[익명(210.123)]

그래서 symbolism이랑 결합했다고 하는거구만 재밌게 잘읽었음

[익명(121.156)]

고맙다. 덕분에 보람을 느끼고 간다

[익명(210.123)]

loss 함수나 역전파없이 파라미터 업데이트하는 방식도 궁금한데 2편기대할게

[익명(121.156)]

ㅇㅋㅇㅋ

[36악장(dranhen)]

이거 subconcept 뉴런 앞에 differentia 뉴런이 있던데, 나도 처음에는 subspace 나누는 줄 알고 있었는데 아님.

[36악장(dranhen)]

각 differentia 뉴런은 feature combination에 따라 디시젼을 내리는 로지스틱 회귀로 봐야할 것 같고, subconcept 뉴런은 각 분류규칙을 아울러서 어떤집합의 하위개념으로 맵핑시켜주는거라 생각함.

[36악장(dranhen)]

근데 그걸 명시적으로 클러스터링을 통해 확보하는게 진짜 중요한지는 모르겠음

[익명(121.156)]

클러스터링이 ENN의 비선형성을 확보할 수 있는 유일한 부분이지 않아?

[36악장(dranhen)]

그러니까 그걸 dnn으로 하는게 훨씬 나을 것 같다 이말임. 고차원 클러스터링은 학습도 어렵고 저차원 표현정도로 잠재공간을 끌어내면 개념의 느슨한 맵핑은 dnn도 할 수 있잖아

[36악장(dranhen)]

그리고 앞쪽에 convultion net이 붙을거면 이미 비선형 공간에서 피쳐는 다 뽑혀져 나왔을거라

[36악장(dranhen)]

convolution. 아무튼 간에 ...

[익명(121.156)]

고차원 클러스터링을 생각했나보군! 그 편향과 분산 사이에서 지겹게 고민하는 분야 말이야. 하지만 ENN의 클러스터링은 느낌이 살짝 달라. 차원을 끝까지 올려서 이산적으로 나눠버리지. 논문에서 말했듯, 보로노이 다이어그램이 딱 적절한 표현인 것 같아. 좋은 피드백이였다. 다음 글에 포함할게!

[36악장(dranhen)]

아 이거 혹시 subconcept이 레이블이 되서 SVM하는건가?

[익명(hyeongim264)]

정보글 잘읽었다 고맙다 게이야

[익명(121.156)]

다음 글도 빨리 들고올게!

[익명(hyeongim264)]

[익명(49.166)]

태그 정보글로 가자

[익명(121.156)]

그럴까

[익명(112.144)]

이 자는 특갤의 보배..

[익명(121.156)]

헤헤

[익명(183.105)]

2025 agi가 진짜 온다

[익명(rechido)]