[❓질문] 형들 질문좀 급함

[익명(114.71)]

딥러닝 아키텍처에서

레이어를 나누는 기준이 뭐야

그냥 이거 구현하는 사람 마음대로 아냐?

이거가지고 레이어 기준이 뭐냐 그러면서 계속 딴지거는사람이 있는데

뭐라 말해줘야함?

[익명(106.102)]

보통은 레이어 역할따라 나누지, 기준이 뭐냐고 묻는거는 결국 각 레이어가 어떤 역할을 하는지 설명해달라는거 같은데 논문에 안적어놨냐?

[익명(114.71)]

아키텍처를 가져와서 자른다음 NAS의 후보군으로 넣으려고 하거든 근데 얘내를 자를때 그냥 논문 테이블에 있는데로 잘려있는데로 가져오는데 잘라오는 기준이 모호하다 이러는겨 논문에서 적혀있는 테이블대로 레이어 1, 레이어 2,... 이게 정식 명칭도 아니고 그냥 논문에서 구현한대로 가져오는거고 이거 부르는것도 레이어니 블록이니 뭐니 다 다른데 찾아봐도 답도 안나오는데 이걸 어떻게 정의하라는건지 막막하다

[익명(114.71)]

애초에 난 AI 전공도 아닌데 이걸 왜하는지도 모르겠고... GPU 돌아가는 컴퓨터도 안사주면서 딥러닝 관련 논문쓰라고 하는 교수가 참 야속하다. 여튼 근데 네트워크들 보면 똑같은 구조가 연속해서 들어가있는 경우가 있는데 이 경우에는 역활이 똑같지 않아? 그냥 conv로 해서 feature를 계속 추출한다음 넘기고 넘기고 하는건데 개수가 많을수록 feature를 잘뽑아내서 좋은거 아닌가? 잘 몰르겠네

[익명(211.235)]

저도 ai전공이 아니라 공부중이긴한데 자르려는 부분에서 어떠한 결과값을 가지고있고, 이 결과값의 크기나 특징을 어떻게 활용할껀지 설명해주면 되지 않을까요?

[익명(114.71)]

음 근데 레이어에서 나오는 결과값 텐서값들이 비주얼화된다는 보장이 없죠. 어텐션레이어 같은경우에는 grad-cam같은것도 쓰기 힘들고 직접 히트맵 뽑으려면 아키텍처 뜯어서 어탠션 맵 뜯어와야 하는데 계속 for loop돌면서 임의로 생성중인 NAS에서는 그렇게 하면 바로 텐서 사이즈 에러가 뜨겠죠? 거기다 최신형 어탠션같은 경우에는 reculsive한 트랜스포머가 있으면 그건 또 보여주기도 힘들어요. 그리고 원하는건 그런게 아니라 모델을 조각조각 내서 NAS의 잠재공안에 넣을때 이때 조각조각내는 기준이 뭔지 물어보는거에요.

[익명(211.36)]

일단 너무 두서없이 이야기해서 다 대답해주긴 힘든데, 1) 내가 리뷰어여도 후보군을 왜 그렇게 선정해냐? 얘랑 얘는 어떤 차이 때문에 넣은거냐? 이렇게 물어볼듯 2) 일반적으로 layer 역할에 따라 이름을 다르게 붙이니까 이름이 같으면 전부 같은 역할이겠지, 다만 연속적으로 쌓는 이유에 대해서는 설명해줘야 할듯

[익명(114.71)]

1) 성능이 좋은 모델의 블록들의 일부분들을 때서 강화학습으로 특정 문제에 최적화된 NAS망을 찾는다고 하는데 그냥 레이어별로 넣으면 쌓는데 오래걸리니까 성능이 좋은 잘 알려진 모들들의 블록을 때서 쌓아볼려고 하는거고 어떤 차이때문에 넣은것은 아님 하나하나 쌓는것보다 모듈쨰로 잘라서 넣어보자는거임 2) 실제적으로 자른 기준은 모델이 구현되어있는대로 논문에서 테이블로 적혀있는 블록들 순서대로 잘랐다고 하고 싶은데 애초에 이거 하나하나는 임의로 모델 개발하신분들이 이름을 붙여놓은건데 그건 모델 개발하신분들이 설정해놓은 기준인데 그걸 왜 나한테 물어보는지, 즉, 네말대로 왜 비슷한 기능을 가진 레이어들이 모인 블록들을 연속적으로 쌓았는지 설명해라고 하는데 그걸 모르겠다는거지

[익명(106.102)]

이제야 니가 대충 어떤걸 했는지 알거 같긴 한데, 니가 한거 자체가 태클 들어가기 존나 쉬운 연구이기도 하고 지금까지 설명한것들을 토대로 유추해봤을땐 본문에 설명이 잘 안됬을거 같다는 생각이 듬. 특히 그냥 가져다 쓴다로 설명이 끝나면 안됨, 가져다 쓰더라도 얘는 대충 이런 원리인데 이런 경우 메리트가 있다를 전부 설명해줘야함.

[익명(114.71)]

근데 어떤 메리트가 있냐는 돌려보기전에는 모르잖아. 직접 NAS에서 문제 특화 네트워크 만든다음 돌려봐야 아는건데

[익명(211.36)]

만들기전에 알수 있어야 하고 그게 설명이 안되면 괜찮은 티어의 저널이나 컨퍼에선 논리 부족으로 까임 어떤 학문이든 실험은 어디까지나 내 논리에 대한 검증 수단이지 결과론은 인정 안됨

[익명(23.119)]

그걸 보여주는걸 ablation study라고 appendix나 종종 메인에도 들어가는 내용인데 빼먹었나보네

[Sesiwo(visiopo44)]

레이어는 보통 신경망 층 하나를 의미하고 블록이 기능에 따라 임의로 묶은 레이어의 덩어리 아님? - dc App

[익명(114.71)]

ㅇㅇ 나도 그렇게 알고 있는데 자르는 기준이 뭐야? 블록이요? 블록의 정의가 뭐야? 레이어 연속으로 묶은걸 블록이라고 하죠? 그러니까 이걸 왜 연속으로 묶었지? feature extraction을 위해 비슷한 단위를 묶어놓은거고 그건 모델 구현한 사람들의 설정한건데요? 그러니까 그걸 왜?

[익명(114.71)]

이짓하고 있음 그것도 머신러닝 전공도 아닌 사람들이

[Sesiwo(visiopo44)]

그걸 왜? 의 답은 이미 나왔는데..ㅋㅋ 답이없네그건. 결국 설계하는것도 인간이니 inductive bias가 들어가게되고, 그래서 기능별(inductive bias별)로 나눈건데.. 설계때부터 다른 의도를 가지고 넣고 있는거라. - dc App

[에들렌(flqmdbdi93)]

보통은 기능에 따라 나눈거겠지 레이어 하나하나가 무슨 역할을 하는지 알고있는지를 물어본거같네

[익명(114.71)]

ㄴㄴ 그거랑은 조금 달라

[에들렌(flqmdbdi93)]

아니면 너가 임의로 가감해보고 봐라ㅅㅂ 이렇게 할 때가 성능이 좋다 표로 보여줘

[1(14.37)]

activation function같은 비선형변환으로 구분되는 하나의 선형변환을 해주는 모듈 단위?