[📪정보] 조합신경망을 알아보자 - 1. 개발 배경

[익명(118.44)]

안녕! 특온갤에 떡밥 뿌리는 특붕이야.

얼마 전에 전문가 특붕이가 '조합신경망'이라는 걸 알려줬거든?

그래서 배운 내용 정리할 겸 글을 써보려고 해.

글은 총 세 편 정도 쓸 계획임

이해 안 되는 거 댓으로 말해주면 피드백 될거고

틀리거나 이상한 내용 있으면 지적 바란다 (ㄷㄷ).

조합신경망은 말 그대로 여러 기능을 조합하기 위한 신경망의 구조야.

다음 그림을 봐보자.

그림을 가운데에 적절한 크기로 배치하려 해.

문제를 해결하기 위해서 4를 내리고 시계방향으로 돌리는 걸 학습했어.

다른 예시를 봐보자.

이번에는 2를 올리고 크기를 줄이는 걸 학습했어.

여기서 우리는 인공지능에게 기대하게 되지.

이렇게 올리고 키우고 돌리는 일도 인공지능이 해줬으면 싶은거야.

올리기, 키우기, 돌리기, 따로따로는 다 배웠으니까.

이 일을 처리하기 위해 가장 처음 나온 방법은 모조리 하는거야.

위의 과제를 예로 들자면, 이동-회전-조절을 모든 입력에 대해 하는거지.

0만큼 움직이는 것도 움직이는거고

0만큼 회전하는 것도 회전하는거잖아?

그러니까 이동-회전-조절 모두 작업되게 만들어놓으면 적절히 알아서 처리 돼.

이런 방식으로 그럭저럭 해결이 되는 듯 했어.

하지만 일이 복잡해지면서 학습 시간이 매우매우매우 길어지기 시작했어.

인공지능은 자기가 어떤 일을 했는지 안 했는지도 모른 채 무지성으로 학습을 시도했지.

자기가 0만큼 움직여놓고 '내가 움직인게 틀린 원인인가?' 이러고 있었던거야.

그러다보니 나중에는 스스로 뭐를 잘못했는지도 모르게 되고, 배울 수도 없어졌어.

(그라디언트 소실)

그래서 나온 구조가 ResNet(잔차신경망)이야.

ResNet은 이렇게 생겼어.

통상적인 흐름에 뛰어넘는 구조를 추가한거지.

대략 이렇게 정신이 아득해지는 모양으로 사용함.

알다시피 인공지능은 각 층에서 작업이 일어나잖아?

이렇게 층을 뛰어넘는 연결을 추가하면

역할을 안 한 층에 대해서는 거의 무시하고 넘길 수 있어.

큰 이득이지!

하지만 작업의 순서는 여전히 고정되어있다는 것을 알 수 있어.

입력이 단순한 경우에는 여전히 효과적일 수 있지.

단순히 이미지 한 장을 입력받아서 요약 텍스트를 내놓는다거나.

이미지를 보고 인식하는 과정은

'산이 있는가?'->'사람이 있는가?' 이렇게 차례대로 적용하는 것으로 충분하니까.

실제로 ResNet은 이미지 인식 분야에서 큰 역할을 하고 있어.

하지만 ResNet으로도 마뜩찮은 특붕이들이 많을거야.

우리는 불필요한 작업에 대해서

0만큼의 작업을 '하는' 인공지능보다

아예 작업을 건너 뛰는 인공지능이 필요하거든.

작업의 결과가 있든 없든, 작업에 들어가는 순간 이미 자원은 사용되고 성능은 낭비되니까.

그런 과정에서 나온 모델이 어제 뜨거운 반응을 보였던 GFlowNet이야.

(설명은 댓에 링크 참조)

작업들을 연결시켜놓고, 스스로 알아서 일을 스킵하지.

하수관을 만들어놓고 물이 흐르는 길 대로만 작업하면 불필요한 경로들을 쳐낼 수 있으니까.

하지만 GFlowNet도 작업의 순서를 바꿀 수는 없다는 한계를 가지고 있어.

작업의 순서를 굳이 바꿀 수 있어야 하냐고?

물론 작업의 순서를 바꿀 필요가 없는 일도 충분히 많아.

하지만 작업은 일반적으로 교환불가능(non-commutative)한 성질을 가지고 있어.

책을 오른쪽으로 돌리고 세우는거랑 세우고 오른쪽으로 돌리는 것은 완전히 다르잖아?

모든 동작의 조합을 하나하나 다 배우고 있기에는 많이 비효율적이야.

물론 지금은 매우매우 큰 모델을 사용해서 무대뽀로 해결하고 있지만,

고칠 수 있다면 고치는 쪽이 좋겠지?

작업 사이의 순서를 분리, 재조합 할 수 있어지면

배우는 시간도 많이 줄어들고 할 수 있는 일도 많이 늘어날거야.

이런 맥락에서 필요한 게 바로 조합신경망이야!

작업을 분리할 수 있고 각각의 작업을 조합할 수도 있지.

레저부아르랑 비슷한 접근 방식일 수도 있는데

레저부아르보다 훨씬 정제된(sophisticated) 느낌이 드네.

(애초에 레저부아르는 혼돈계 분석 원툴이긴 해)

조합 신경망이 어떻게 작동하는지 알아보기 전에

우리의 가장 큰 우방이자 힘,

컴퓨터가 일을 어떻게 처리하는지 알아보도록 하자.

다음 글에서 봐!

[익명(118.44)]

참고한 논문(조합 신경망):
https://openreview.net/forum?id=B1ffQnRcKX

[익명(118.44)]

GFlowNet 설명(특온갤):
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=74504

[ㅇㅇㅇ(14.38)]

[익명(112.144)]

오 너 설명 잘한다

[익명(118.44)]

[레몬샤베트(yabu1020)]

꺄 고마워!♥

[익명(118.44)]

[익명(121.140)]

3줄요약좀

[트라야누스(221.150)]

빨리 다음글 내놔

[익명(14.50)]

모냐이거 ㄷ ㄷ

[익명(211.54)]

개같이추천

[익명(58.29)]