[📪정보] 조합신경망을 알아보자 - 3. 조합신경망의 동작

[익명(218.235)]

이해 안되는 거 댓글 ㄱㄱ

지적 환영 (ㄷㄷ)

이번 글은 드디어 조합신경망의 동작 원리야!

2번 글을 숙지하고 오는 게 좋을거야.

조합신경망은 2번 글의 아이디어를 신경망으로 옮긴거니까.

일단 지난 글을 복기해보자.

우리는 다양한 기능을 조합할 수 있는 지능을 원해.

다양한 기능들 사이를 오가기 위해 컴퓨터는 점프와 복귀를 썼고

이걸 인공지능에 확장할 수 있으면 좋겠지.

인공지능이 AI조각들을 왔다갔다 할 수 있게 되면

기능에 대한 학습과 배열에 대한 학습이 분리되고,

같은 기능을 여러군데 써먹을 수 있으니까.

그러면 인공지능이 AI조각으로 나눠서 학습하기 위해 필요한 단계를 정리해보자

1. 학습하기

2. 학습한 내용을 기능으로 분리하기

3. 학습한 내용을 기능들의 조합으로 나타내기

여기서 우리는 3에 집중할거야.

1은 지금 딥러닝에서 하고 있는 부분이고

2는 ENN으로 대표되는 심볼릭 학습에서 가능성을 보였으니까.

어찌어찌 기능들을 분리는 했다 치고,

문제를 해결하는 조합을 찾기+실행하기 라는 마지막 퍼즐에 집중할거야.

이걸 설명하기 위해서 컴퓨터의 작동 방식을 '정책'이라는 도구를 사용해서 표현하고,

최종적으로 이 정책을 인공지능으로 구현하는 방법을 알아보면서 조합 신경망 소개를 마치려고 해.

[컴퓨터의 동작을 정책으로 나타내보자]

다음은 논문에 나온 도표야.

전에 강화학습에 관심이 없었던 특붕이들은 보기 힘들 수도 있는데, 그냥 넘겨도 좋아.

여러 글씨가 써 있는데 중요한 부분은 중간 쯤에 있는 부분이야.

m1 ~ π( . | x0, rout )

이 π를 '정책(policy)'이라고 그래.

정책을 쉽게 표현하자면 '다음에 뭔 행동을 할지'인데

이전에 어떤 행동들을 했고,

그 행동들의 결과를 알 때,

다음에 어떤 행동을 할 지를 의미해.

예시를 두 개 들어보자.

첫 번째로는 (1+2)+3을 하는 프로그램이야.

1이랑 2를 작업기억에 추가하고, 덧셈하고

3을 추가하고 덧셈하는 프로그램이지.

이걸 정책으로는 이렇게 표현할 수 있어.

두번째 예시는 우산을 챙기는 프로그램이야.

바깥을 보고 비가 오면 우산을 챙기고,

아니면 그냥 나가는 프로그램은

정책으로 이렇게 표현될 수 있음.

[정책을 딥러닝으로 나타내보자]

사실 이 부분은 새로울 게 없어.

이미 완성돼서 알파고에도 쓰였던 부분이거든.

그러니까 어렵지 않게 이해할 수 있을거야.

딥러닝은 'A일때 B'꼴로 표현될 수 있는 모든 것을 학습할 수 있어.

'새벽 3시일때 이 글의 조회수'라던가

'내가 흑돌을 잡았을 때 승률' 같은거.

그러니까 정책을 학습하는 것도 어렵지 않게 할 수 있어.

이전에 뭐를 했는지 5개 정도를 입력으로 주고

그렇게 얻은 결과도 입력으로 주고

그 상황에서의 다음에 할 행동을 학습 시키면 됨.

예를 들어

이전에 했던 행동 5개:

- 바깥 날씨 확인하기

- 우산 챙기기

- 핸드폰 챙기기

- 핸드폰 충전기 챙기기

- 밖으로 나가기

지금까지 얻은 데이터:

- 바깥 날씨: 비

이런 상황일 때 다음에 할 행동은?

('A일때 B' 꼴)

> 비 맞기 전에 우산을 쓴다.

물론 '비 맞기 전에 우산을 쓴다'는 이전에 어찌어찌 분리해서 이미 알고있는 기능이야.

이것 또한 딥러닝이 학습할 수 있는 분야라는거지.

A일때 B 꼴이니까.

[총 정리]

학습한 내용이 어찌어찌 기능으로 잘 분리되어있고

분리된 기능을 어떻게 조합할지 딥러닝 하고싶다.

=>

어떤 기능을 선택할지 정책으로 표현할 수 있고,

그 정책은 딥러닝으로 학습 가능하다.

정책은 이전에 어떤 상황일 때 다음에 어떤 행동을 할지 정하는 것이다.

이전의 정책망과 차별되는 부분은 정책의 대상이 기능이라는 점이다.

이렇게 조합 신경망에 대해 3부작으로 알아봤어.

특붕이들의 특이점 기술 이해에 도움이 되었기를 바라.

다음에 또 신기한 거 있으면 들고올게!

[익명(218.235)]

나도 모든 특붕이가 읽을 거라고는 생각하지 않음

[익명(211.220)]

아니면 ai권위자가 호들갑 떨면 그런거 끌거와서 자축하고ㅋㅋ 가관임

[익명(211.220)]

암튼 고맙다

[익명(218.235)]

(뜨끔)

[익명(218.235)]

그래. 재밌게 읽었으면 나야 좋지

[익명(59.27)]

오 정성들여쓴 티가 나네 ㅎㅎ 개추

[익명(218.235)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(218.235)]

[Jahy(pytorch)]

policy learning이 저러면 behavioral cloning아님? RL의 묘미는 BC의 한계의 compounding error를 해결하고 long-term planning이 가능하도록 objective function을 짜는건데..(큐함수나 가치함수 학습 등)

[Jahy(pytorch)]

아 댓글 달린 페이퍼 대충 빠르게 읽어보니 MDP로 포뮬레이션하고 PPO로 학습돌렸네

[익명(218.235)]

오오.. 전공자

[익명(218.235)]

덕분에 PPO 알아간다 ㄳ

[Jahy(pytorch)]

쨋든 module들의 사용을 action으로, 그다음에 agent의 내부 state를 state로 포뮬레이션하고 RL을 돌리는건데, 이게 generalize가 잘된다고 주장하는 페이퍼같은데 실험이 좀 약하네..

[익명(218.235)]

그건 ㅇㅈ

[익명(218.235)]

나도 단순히 추천받은 논문이라 개념만 간단히 소개한거임

[Jahy(pytorch)]

내가 먼저 본 페이퍼는 이거였음
https://arxiv.org/pdf/1904.12584.pdf

[익명(218.235)]

너의 추천은 내가 잘 소비하도록 하겠다

[익명(218.235)]

ㄳ

[Jahy(pytorch)]

갠적으로 특갤애들은 뉴로심볼릭 별로 안좋아하는거 같더라.. 연구하는 입장에서는 ood generalization문제 때문에 scaling 한계를 자꾸 느껴서 또다른 breakthrough가 절실한데

[익명(218.235)]

뉴로심볼릭을 안 좋아한다고? 내 느낌이랑 다른걸

[익명(122.34)]

Jay // 아주 지극히 개인적인 너의 agi예상년도는 어느정도야?

[Jahy(pytorch)]

그때 내가 본의아니게 심볼릭 논쟁? 잠깐 촉발시켰었는데 그냥 "stack more layers!!!!" 이거 엄청 좋아하는 분위기같던데 일부였나..ㅋㅋ 갠적으로 AGI는 아직 concrete하게 보이진 않음. 워낙 한계가 명확해서..ㅇㅇ 기업들 돈벌려고 언플하는 정보들 접하면 ㄹㅇ 3년안에 올거같기도 하고 그런데 학계에선 솔직히 요즘 살짝 정체된 느낌이 강함

[익명(122.34)]

고마웡

[익명(218.235)]

아 맞네 ㅋㅋㅋㅋㅋㅋ 내가 뉴로심볼릭 좋아해서 기억이 잠시 왜곡된 듯

[익명(218.235)]

stack more layer는 M$ 딥넷 이후로 그냥 밈처럼 쓰이는 듯 진지한 의미는 없을거임 아마

[익명(218.235)]

*layers

[Jahy(pytorch)]

이제 박사 들어간 식견이지만, 현재 prevailing한 neural net은 이제 사람 신경세포랑은 걍 컨셉정도만 공유하고 너무 너무 다르게 동작하고 있고(우리 뇌세포는 어텐션을 하지 않음. 어텐션은 생물학적인 신경망을 본뜬 게 아니라 추상화된 의식의 흐름을 본뜬 거), objective function도 사람이 실제 학습하는거랑 너무나도 다르게 학습하고 있는데(사람이 다음 단어 맞추기 식으로 학습하진 않잖음) 이 방향 그대로 scaling만 했는데 뭔가 ood generalization도 잘되고 심지어는 conscious한 에어전트가 나타날거라고 생각하는건 너무 naive 한것 아닐까 라고 항상 생각함. 뭔가 필요해 뭔가 다른게

[익명(218.235)]

동의함. 뉴로심볼릭, 그 중에서도 GflowNet보다는 조합신경망이 그 돌파구가 될 것 같아서 나도 글 쓴거임.

[익명(14.50)]

그게 gflownet임

[익명(218.235)]

그리고 *순전히 개인적으로* 조합신경망에서 뇌세포의 구조랑 연결될 수 있을 것 같은 부분이 보인 것도 있음. 아직 정리해 말할 정도는 아닌데, 시각신경으로 CNN 만든 것도 효과가 좋았잖아, 조합신경망에도 비슷한 일이 일어날 수 있을 거라는 생각임

[Jahy(pytorch)]

나 gflownet 모르는데 한번 공부해봐야겠다 ㅋㅋㅋ

[익명(218.235)]

지플넷은 가장 큰 문제가 순서가 너무 고정되어있음. 너무 Rigid함. 새로운 지식을 만들려면 기존의 방법들을 새로운 데이터에 대해서 적용시켜볼 수도 있어야 하는데, 지플넷은 그게 상당히 어렵다고 느낌. 예를 들어 덧셈을 알고, 지수의 덧셈의 관계를 알면 음의 지수같은 개념도 만들 수 있잖아. 지플넷에서 그걸 어떻게 해결할지 감이 안 잡힘.

[익명(14.50)]

아냐 특붕아 내가 저번에 조합신경망 알려준 전문가 특붕이인데 지플넷은 그렇게 이해하먄안댕 ㅎㅎ 위에 내가 쓴 글 읽어바 이해 약간 될거야 ㅎㅎ

[익명(218.235)]

권위에 기대네. 나도 논문 읽어봄. 그래도 다시 한 번 읽어볼게

[익명(218.235)]

이걸 틀리다고 지적할거면 왜 틀린지를 들어서 얘기를 해줘야지 '암튼 틀림'은 좀...

[익명(14.50)]

아 미안 권위.. 부릴 생각은 아니었는.. 무튼 내추측에 gflownet 그림을 네트워크 모양으로 이해해서 저게 한방향으로만 고정되어있다고 생각한거같은데 사실 네트워크가 아니라 어떤 대상이 변화하는 상태를 나타낸 그래프야.. 조합을 이용할 수도 있는거지.. 말로 설명할라니까 힘드네 ㅠ

[익명(218.235)]

그니까 에지가 트랜지션이라는거잖아? 그런데 그 에지를 두 번 쓰거나 재사용은 역시 어려운 거 아니야?

[익명(218.235)]

물론 그 트랜지션에 아주 많은 정보가 포함될 수 있다는 데에는 동의하는데

[익명(14.50)]

근데 그 에지에 쓰인 재료는 재사용된다는거지 ㅎㅎ

[익명(14.50)]

에지는 다음 스테이트로 가는 통로고 다음 스테이트에는 이전 스테이트에 포함된 패턴들이나 정보 등등이 계속 중첩되거나 더해질 수 있는거

[익명(218.235)]

그 재료의 재사용이 무엇을 의미하는 거야?

[익명(218.235)]

작업은 non-commutatable 한데, 비가역적인 결과물을 재사용해서 모든 원하는 결과를 얻을 수 있어?

[익명(218.235)]

만약에 원소를 하나 지우는 에지가 있다고 가정하자. 그 에지를 거친 데이터에 다른 데이터를 중첩해서 지워진 원소를 복구할 수는 없잖아?

[익명(14.50)]

음.. 이게 단일방향 flow 만 생각하면 모든 경우는 못다루지만 이게 뒤로도 갈수있긴해.. mcmc 를 그런식으로 구현했는데 예를들어서 레고 보트를 다 만든다음에 다시 약간 분해해서 새로운 보트 만들고 하는식

[익명(14.50)]

마지막말은 이해를 못했네 ㅜㅜ

[익명(14.50)]

난 이제 내일출근때매 자야할거갘아서 ㅜㅜ 다음에 또 얘기하자 ㅎㅎ 너가쓴 조합신경망 글들 다 잘 읽었음 ㅎㅎ 분명히 중요한 방향이고 사람들이 주목하고있어 지플넷은 아마 그냥 내가 요즘에 꽂혀서 그런듯 ㅎㅎ

[익명(218.235)]

보트를 만들기 위해서 용골을 만들고, 선체를 만들고 돛을 만든다고 하자. 지플넷으로 보트를 만들었어. 그러면 할 수 있는 것은 만든 보트를 약간을 고치는 것 뿐인 거 아니야? 새로운 배를 만들려고 한다면, 용골을 만든다는 정보는 지플넷의 어디에 저장돼? 만약 저장된다면 재사용할 수 있어?

[익명(218.235)]

출근 중요하지. 암튼 즐거운 대화였음. ㅃ

[익명(14.50)]

아 엉 그니까 보트를 앞으로 조립하는 네트워크랑 뒤로 분해하는 네트워크를 동시에 배우는데 얘네가 각각 폴리시 네트워크의 일종이야 얘 둘을 사용해서 앞으로 갓다 뒤로 갓다 해

[익명(14.50)]

그래 ㅠ 담에또봐 특붕아

[익명(218.235)]

ㅂㅂ

[익명(14.50)]

진짜 마지막으로
https://arxiv.org/pdf/2202.01361.pdf
여기
맨 처음 그림 보면 아주 대강 이해될거야
굿밤!!

[익명(218.235)]

나는 그 그림에서 P_b의 generalization을 얘기한거였지 너도 굿밤!!!

[Jahy(pytorch)]

늦었지만 지플넷 빠르게 흝어보고 옴 ㅋㅋㅋㅋㅋ 얘도 조합문제 풀 수 있는 포뮬레이션 충분히 가능함. 어차피 dynamic action은 RL어프로치를 취하고 있는 neural programmer도 마찬가지로 힘들어하는거니까(다시 말해서 저기 오픈리뷰에서도 볼 수 있다시피 여기도 사용할 수 있는 오퍼레이션을 hand-crafted로 정해놨자나), 딱히 지플넷의 단점이라고 볼 수는 없을듯.

[Jahy(pytorch)]

에너지-베이스드 어프로치를 generative flow로 끌고 들어와서 최종 아웃풋에 대하여 적절한 reward를 내어놓을 수 있는 Reward function만 있으면 그거랑 proportional 한 sample을 만들어 낼 수 있는 trajectory를 graph로부터 샘플링하는 방식인듯 싶음. MCMC랑 RL 그 사이의 어딘가에 위치한 느낌. MCMC라고 보기에는 transition이 combinatorial한 점이 아주 다른거고 RL로 보기에는 걍 심플하게 objective가 다름

[익명(218.235)]

맞아 그게 저 리뷰의 문제야. 생성도 필요하다고. 근데 조합 신경망은 리뷰에 나와있는 건 아니지만, 저 모습 그대로 생성까지 확장할 수 있어보여. 물론 생각을 조금 더 정교하게 해봐야겠지만

[익명(218.235)]

그러게. 이것도 샘플링 하면 비슷할 수 있겠구나

[Jahy(pytorch)]

씨벌 근데 이거 벤지오 아들이 썼네 존나 유전이 전부다 하...

[익명(218.235)]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[Jahy(pytorch)]

쨋든 난 너랑 대부분 생각이 비슷한 거 같고, 사실 우리 생각은 벤지오랑 비슷하거든? 근데 요즘 지플로우넷 벤지오가 꽂혀있는거 (물론 지 아들이랑 같이 써서 그런걸수도 있지만 ㅋㅋ) 보면 분명 방향성은 맞을거 같음 튜토리얼 개 친절하게 되어있으니까 (아 물론 전공자기준) 한번 꼭 보셈.

[Jahy(pytorch)]

https://milayb.notion.site/GFlowNet-Tutorial-919dcf0a0f0c4e978916a2f509938b00

[익명(218.235)]

샘플링 관련 무언가도 알고있어 혹시

[익명(218.235)]

/?

[익명(218.235)]

저기서 그 루트를 샘플링 하는 것 까지 인공지능이 할 수 있어야 할 것 같은데... 암튼 ㄳ

[Jahy(pytorch)]

샘플링은 애초에 policy를 learn 하는 거니까 s만 주면 a는 바로 나오는거지 머 ㅋㅋㅋ 그다음 a가 constructive action이니까 s_t+1은 쉽게 정해지는거구

[Jahy(pytorch)]

아 루트? 루트는 걍 초기 시작값이니까 빈 값 주면 됨. 아무것도 없는 상태

[익명(218.235)]

ㄴㄴ 그거를 어떻게 할거냐는거지. 개수가 엄청 많을 거 아니야

[익명(218.235)]

route였음 굳이 신경 안 써도 됨

[Jahy(pytorch)]

rl 트레이닝 하는것과 샘플링 방식은 똑같은거 같음. 테트리스 할때도 우리 액션은 사실상 3개밖에 없는데 그 세가지 액션 갖고도 엄청난 베리에이션 만들어내자나 ㅋㅋ 여기서도 a 자체는, 즉 constructive action은 제한되겠지만 이게 엄청 오랫동안 지속되어서 complex한 물체를 만들어 낼 수 있으니까 걍 sample-base로 가는거 같음. 튜토리얼에서도 여기는 data와의 싸움이라기보단 computational ability와의 싸움이라고 명시해놓음

[Jahy(pytorch)]

다시 말해 우리가 들고 있는거를 정리하면, i) state->r로 매핑해 주는 리워드 펑션 ii) state에 적용할 수 있는 action set 요렇게 들고 있고, 여기서 저 리워드 펑션 값을 들고 좋은 리워드를 만드는 trajectory란 무엇인가..를 찾아나가는 과정이라 보면 될거같아

[익명(218.235)]

그 엄청 오래 지속되는 게 결국 무시할만한 수준이 아닐 것 같다는 생각인거지. computational하게는 누가 못해. 그 다음 단계까지 갈 수 있는지가 지플넷으로 잘 안 보여서 그런거지. 암튼 논문이랑 튜토리얼을 다시 한번 꼼꼼히 읽어봐야겠음

[익명(218.235)]

무슨 강화학습 개론을 설명해주고 있어 ㅋㅋㅋ

[Jahy(pytorch)]

ㄴㄴㄴ 강화학습이랑 묘하게 다름. 강화학습은 trajectory의 cummulative reward를 maximize 하는 거고 얘는 결과물, 즉 graph의 leaf 노드에만 점수가 부여된다는거래 ㅋㅋ 어떻게 보면 sparse reward 설정의 RL로 볼 수도 있는데, 그렇게 보기엔 optimize하는 objective가 다르네. 근데 또 재밌는건 traditional RL에 entropy maximize를 다는 reg를 줄 수가 있거든? 이렇게 포뮬레이션하면 gflownet의 objective랑 비슷해진대. 여러모로 흥미로운 연구같음

[익명(218.235)]

암튼 나는 아직 지플넷에 대해서는 재귀적인 발전이 가능하겠다는 생각이 들지는 않음. 전문가 특붕이가 그렇다고 하니 이유야 있겠지만 이게 모든 부분에서 생성적일 수 있는지 의문임. 어쩌면 인공지능이 문제의 본질을 파악해야한다는 개인적인 편견때문인지도 모르지

[익명(218.235)]

11 그러니까ㅋㅋ 나는 그냥 그래프 모양으로 만들어놓은 강화학습이라고 밖에 생각이 안된다규ㅠㅠ 이게 어떻게 '있는 것 최적화' 이상의 무언가를 할 수 있는거라는거야... 얘가 창조적인 일을 할 수 있다고?

[Jahy(pytorch)]

특붕이가 지적하는 점은 결국 DAG constraint때문인거 같은데 나도 어느 정도는 동의함. 사실 generative process자체가 지성의 일부긴 하지만 과연 본질일까? 라는 의문은 당연한거니까. 쨋든 디아2나 하고 있었는데 특갤하다가 꼭두새벽에 논문 열독했네 ㅋㅋㅋ 유익했다구

[익명(218.235)]

앞뒤로 움직일 수 있다매. DAG constraints도 아니지

[익명(14.50)]

ㄴㅣ네ㅜ잠안자? ㅠ 잠이 안오네

[Jahy(pytorch)]

time이라는 걸 부가해서 억지로 움직일 수 있게 만든거지(걍 말이 그렇다는 거지 실제로 아마 실험도 안해봤을껄?), 포뮬레이션 자체는 DAG여야만 작동함. 플로우 기반이니까 ㅋㅋ

[Jahy(pytorch)]

대학원생의 저녁 아님? 지금이 ㅋㅋㅋㅋㅋ

[익명(218.235)]

ㄹㅇㅋㅋ

[익명(218.235)]

아니 Directed가 문제가 있었다는 얘기는 아니였는데 ㅋㅋㅋㅋ

[익명(14.50)]

뒤로가는 디컨스트럭션도 동시에 배워 consistency 강제하느라 필요함

[Jahy(pytorch)]

그건 우리가 걍 뉴럴넷 optimize할때 feedforward 신경망이라도 backpropagation해서 배운다는 느낌이자나. 실제 generative process 자체는 cycle 있으면 안된다고 써져있는걸?

[익명(218.235)]

ㅇㅇ 포뮬레이션에 필요한 DAG는 생성 기준으로 생각하면 되는거고, 그게 분해를 못 할 이유는 아니지

[Jahy(pytorch)]

Another important difference between the typical RL setting and the GFlowNet setting is that the GFlowNet policy (corresponding to $P_F$ above) only allows "constructive" actions, which means that the graph of possible state transitions forms a DAG, i.e., one cannot go back to a previously visited state.

[익명(14.50)]

글고 나도 잘 이해는 못햇는데 이게 inference 가 엄청 자유롭다고해 ㅜ 그래서 단순 forward construction이상의 의미를 가지는데 좀 더 공부해야 와닿을듯

[익명(218.235)]

inference 자유롭겠지 그냥 노드 두 개만 있으면 inference인데

[익명(14.50)]

아 그니까 dag 인건 맞는데 dag 에서도 역방향 prob dist 를 정의할 수 있으니까

[익명(218.235)]

내말이

[Jahy(pytorch)]

애초에 foundation of GFlownet? 여기서는 td기반이 아니라 forward policy backward policy를 기반으로 둘을 매칭시켜서 배우네. 그럼에도 불구하고 생성->조립->다시 생성의 flow 자체를 배우는건 아직 좀 힘들거같음

[익명(14.50)]

이거 이미 페이퍼 있어
https://arxiv.org/pdf/2202.01361.pdf
이거
처음 그림 봐바 ㅇ런식으로 mcmc 구현함

[익명(14.50)]

흥분되지않아? 난 흥분됨 ㅎㅎ

[익명(14.50)]

벌써 4시네 망했네.. 자러간다 굿밤데렴 ㅠㅠ

[Jahy(pytorch)]

포맷이 icml인거 같은데 어셉 됐으려나 ㅋㅋㅋㅋ

[익명(218.235)]

잘 자 ㅂㅂ

[Jahy(pytorch)]

ㅂㅂㅂ 나도 자야지 ㅋㅋ

[익명(218.235)]

ㅂㅂ 다들 잘 자

[ㅇㅇㅇ(14.38)]