[💩] 망상글에 긁히는 이유

[딥부이(51.15)]

평소에 되도 않는 망상을 보면 그냥 웃고 넘어가는데

내 관심 분야에서 진지 빨고 개소리하는 건 못참고 덤벼들게 된다

그 이유를 생각해보면 대학원 가면 연구 프로세스를 훈련받는데 이게

아이디어를 제안함(99프로 망상) -> 개같이 까임 -> 반박 가능한데까지 반박 -> 반박 못하면 다른 아이디어를 찾기

이게 정상적인 흐름인데 망상충 얘길 진지하게 받아주면

아이디어를 제안함(99프로 망상) -> 개같이 까임 -> 좆까고 내 말이 맞음 -> 반박 다 씹고 망상글 무한 도배

이렇게 끝난다. 실무에선 있을 수 없는 일

그래서 몇번 데이고 나니 망상글은 조용히 차단부터 하게 됐다. (특히 맨날 같은 패턴을 보이는 다중이 요주의범 있는듯)

망상과 아이디어의 차이에 대한 좀 더 구체적인 예를 들어보자.

내가 지속학습에 대한 기발한 아이디어를 떠올렸다고 해보자.

지속학습은 D1 데이터를 학습시킨 모델에 새롭게 얻은 D2 데이터를 추가학습시켰을 때 모델이 D1, D2에 대해 둘다 성능이 유지되어야 한다.

근데 다음 그림과 같이 D1을 학습시킨 모델과 D2를 학습시킨 모델이 있다면, 이 두개를 합치면 지속학습 되는거 아님? 이라고 아이디어를 제안할 수 있다.

자 얼마나 심플하냐? 이게 되면 그 다음에는 D3이 새로 추가됐을 때 이걸 학습한 모델3을 모델(1+2)에 또다시 합치면 되니까 지속학습은 정복된거다.

망상충의 얘기가 딱 여기까지임. 왜냐면 이런 아이디어는 일반인도 낼 수가 있거든.

근데 이건 큰 문제가 아님. 모든 연구의 시작은 아무리 똥같은 아이디어라도 거기서 시작해서 어떻게 완성하느냐의 문제니까

문제는 망상충의 망상이 내 관심사였을때 참지 못하고 관심을 던져줄 때 발생함

저 아이디어를 보는 순간 조금이라도 딥러닝 공부해본 인간은 바로 질문이 떠오를거다.

"그래서 두 모델을 어떻게 합치는데?"

모델을 합치면 마법처럼 갑자기 두 데이터셋에 전부 성능이 좋은 모델이 튀어나오나?

아님, 그 과정도 결국 인간이 전부 만들어줘야 한다. 이걸 실제로 해내는 인간들이 훌륭한 연구자들이고 이 부분이 어려우니까 그렇게 AI인력들이 연봉이 쎈거지

그럼 모델 합치기는 그냥 망상으로 끝일까? 가장 무식한 방법은 다음과 같이 두 모델의 파라미터를 더하는 걸 생각해볼 수 있다.

딥러닝 제대로 배운 인간들은 망상충이 이러면 되지 하고 대답하는 순간 개병신이네 하고 병먹금 할거다.

왜냐면 파라미터 공간에서 저렇게 무식하게 더하거나 평균내서 마법처럼 고성능의 모델이 튀어나올리 없다는 걸 배우고 경험을 통해 너무 뼈저리게 잘 알거든

그럼 다음처럼 바꾸면 어떨까?

아까보다는 뭔가 좀 더 유식해보인다. 하지만 본질적인 문제는 아무 것도 해결되지 않았다. 왜냐하면 이건 두 파라미터 포인트 사이를 선형 결합한 것일 뿐인데 파라미터 공간 같이 복잡한 공간 속에서는 이런 단순한 발상으로는 절대로 의미론적으로 유의미한 보간이 이뤄지지 않기 때문이다.

즉 딥러닝을 배워보면 이 정도의 발상으로는 절대로 망상의 수준에서 벗어날 수 없다는 게 너무 당연하다. 망상충과의 논의는 항상 이 레벨에서 끝난다.

참고로 위에서 설명한 이 방법은 사실 내 망상이 아니고 실제로 있는 연구 주제이며 Merging Model이라고 부른다. 한 연구에서 제안한 방법을 아래 소개한다.

여기서 H는 해세 행렬이다. 어떻게 위와 같은 방법이 나왔는지에 대한 설명은 아래 유튜브를 참고하라

https://youtu.be/_49ydwCrhVk

How to make machines that adapt quickly - Emtiyaz Khan - CoLLAs 2024

내용을 쭉 정독해보면 알겠지만 엄밀한 수학 전개를 통해 위의 모델 합치기 기법이 실제로 말이 된다는 것을 유도한다. 하지만 그럼에도 불구하고 이 방법은 D1과 D2가 유사한 경우에만 잘 맞는것으로 한정된다는 제약도 같이 소개한다.

이 정도는 되어야 망상이 아닌 연구 아이디어라고 불러줄 수가 있으며, 설사 수학적으로 이론적으로 매우 그럴듯한 완성도를 갖췄더라도 실제 실험을 해보기 전에는 좋은 결과가 나올지는 아무도 모른다. 아니, 장담하건데 100이면 100 다 쓰레기 같은 성능이 나올 것이다. 거기서부터 출발해서 뭐가 문제인지 한참 고민하고 헤매다보면 운이 좋으면 그 원인이 '핵심 아이디어'가 아닌 다른 문제였고 이 문제들을 전부 해결해서 마침내 성능 향상이 있었다면 본격적인 논문감이 된다. 운이 나쁘다면 성능이 안나오는 이유가 아이디어가 나빠서일 수도 있다. 더 운이 나쁜 경우는 아이디어가 나쁜데 그걸 깨닫지 못하고 세월을 허송세월하게 되는 경우다.

무조건 된다고 믿었는데 잘 안되는 경우는 부지기수이고 그 속에서 어떻게든 이점이나 기존 방법들과의 차별성 혹은 사용처를 찾아내고 합리화 하는 게 다음으로 할 일이다.

결론: 망상충한테 긁혀서 똥글 쌈

[딥부이 1(118.235)]

굿

[딥부이 2(1.249)]

ㄱㅊ

[펜니르(lonewolf)]

역전파 빌런 또 왔다갔나

[익명(211.36)]

[딥부이 3(147.47)]

글 왜이렇게 잘씀?

[익명(218.146)]

정보) CU, GS25 편의점 5천 상품권 받아 1. 앱스토어에서 [언니의 파우치] 검색, 설치 2. 회원ㄱㅏ입 후 추쳔인에 [QPZXF3EL] 입력하면 5천 캐시지급 3. 받은 캐시로 [쿠폰샵]에서 상품권 구매 ㄱㄱ

[익명(211.234)]

무슨 말인진 알겠는데 제시한 예제에서 "망상"이라고 쓰인 내용, 파라미터 단순합산이랑 선형 결합은 실제 많은 연구에서 기반 방법이 된 거긴 함. Snapshot ensemble, stochastic weight average 같은 앙상블 기법이 그런걸 직접적으로 논문 쓴거고 moco 같은 곳에서도 선형 결합을 통한 업데이트를 활용

[익명(211.234)]

따라서 '망상'이라서 저런건 연구가 안된다는 건 말도 안되고 그냥 novelty가 지금 수준에선 없는거임. 님이 링크한건 이론적인 support를 깎아서 최신 연구의 수준까지 올린거고.. 애초에 실험과학적인 측면이 많아서 '(비전문가라)이론이 빈약하기 때문에 망상이다'라는 주장이 잘 안통하는 분야임. 내가(만약 위에서 내 말한 기법들을 몰랐다고 가정했을 때

[익명(211.234)]

) 누가 파라미터 단순 결합했다고 주장하면, 개병신이네 병먹금 하는게 아니라 실험 결과를 물어봤을 거임. 내 생각엔 오히려 이렇게 이론적으로 강하게 서포트 되어야만 연구라고 생각하는게 풋내기 같음