은닉층 노드들이 입력크기 증가량에 비례해서 활성화크기도 증가한다는게 기본 모델의 가정이잖음. 근데 실제로는 안그럴텐데? 온도만봐도 너무뜨거운거 만지면 잠시동안 차가운느낌이드는거처럼, 인간이 규정한 개념이 실제로 그 크기에 비례해서 뉴런을 활성화시킨다고 보장할수없음. 무슨말인지 모르겠다면 예를 하나 들어봄. 색깔같은경우 0x00에서 0xff로 변하는걸 지금처럼 흑백 단계별로 설정했다면 학습이 잘 되겠지만 누가봐도 불연속적이게 랜덤한 색깔순서로 설정했다면 학습이 잘 안될거임. 기본 모델로도 충분히 크게 만들면 해결가능하다고하지만 내생각엔 각각의 가중치 자체를 함수로 봐야하지않나 싶음. 아직 cnn 안배웠는데 합성곱이라는 어감이 뭔가 이런 생각이 적용된거아닐지 추측해봄. 가중치자체를 함수로보는건 하나의모델자체를 하나의가중치로봄으로써 해결가능하니까
[일반] 가중치를 왜 스칼라로둠?
익명(175.223)
2023-03-26 17:29
추천 1
댓글 13
다른 게시글
-
최적화 공부하고 있는데 어려우면 정상이지? [2][일반] 익명(211.36) | 23.03.26추천 0
-
데이터 전처리 하고 모델링 하는것 까진 알겠는데 [2][일반] tpptpp(tpptpp) | 23.03.26추천 0
-
딥러닝 수강 특) [1][일반] 익명(211.200) | 23.03.25추천 0
-
이산적으로 딥러닝 구현하는 방법 알아냈다[일반] 익명(220.126) | 23.03.25추천 0
-
seq2seq 어텐션 원래 학습속도 개느림? [1][일반] 익명(223.38) | 23.03.25추천 0
-
수리통계랑 베이지안 통계가 딥러닝에서 어케 쓰이나요? [3][일반] 익명(106.102) | 23.03.25추천 0
-
도커 다시 깔아본 놈 있냐 [4][❓질문] Mahavishnu(radiomix) | 23.03.24추천 0
-
왜 해외 데이터 판매 사이트들은 가격을 안붙여놓음? [2][일반] 익명(218.148) | 23.03.24추천 0
-
석사 해외논문1개 국내여러개 면 초봉 얼마 받음? [16][일반] 익명(118.235) | 23.03.23추천 0
-
왜 gpu는 엔비디아거 밖에 못씀? [3][일반] tpptpp(tpptpp) | 23.03.23추천 0
제일중요한건 개념설정할때 실제로 최대한 많은 뉴런이 그 개념의 수치증가량에 비례해서 활성화되도록 설정하는걸텐데 이걸 맞추는건 한계가있을거고 그렇다고 각 가중치 자체를 신경망으로해버리는건 걍 1ㄷ1대응시키는거만큼 비효율적인짓같고. 학습이 충분히 된 후에는 그때까지데이터기반으로 가중치를 함수로추정하는방법도 있을거같은느낌이듬
그리고 아까말한거처럼 수치값과 실제세계의 대응이 랜덤하게 맵핑된 경우에서는 뭔가 점들을 보간하는게 의미가 없을거같긴한데 뭔가그래도 중심극한정리처럼 의외의 사실을 제시하는 뭔가가있다면 그나마 조금이라도 정확도를 높일수있는 보간법이 있지않을까 하는생각도듬.
생각하면서느낀거는 결국 탑다운이 고작 이정도만으로도 한계에부딪히는건가 싶고 그렇다고 바텀업하려면 뉴런들이 서로다른클럭을가지는거도 문제고 뉴런간의 핑이나 대역폭, 시간에따른활성화그래프, 그리고 궁극적으로 인간의직감을이루는요소가 무엇인지를 알아내야하기때문에 탑다운으로밖에못할거같긴함. 물론 저런거 알아내는거부터도 탑다운식인거같고
아 글에서 말을좀 잘못햇는데 수치증가량에비례해서 증가한다는말은 가중치만큼 변한다는말임. 가중치가음수면 감소도가능. 그러나 어떤수치인상태에서 증가하든 고정된 가중치만큼만을 기울기로 가지는측면이 한계를만드는 원인아닐까생각함
활성함수 쓰는데? 그리고 CNN이 왜 CNN 인지는 convolution 부터 배우고오면됨
활성함수가 가중치마다 다르게부여된게아니고 그걸 학습하며 적합한모양을찾아 변화시키는게아니잖음. 그리고활성화함수도 내가알기론 스칼라값에적용하는거라 무슨가중치로부터온지도 고려안하고 통합된값만으로 두루뭉실하게 결과내는거로암
너는 딥러닝이 universal function approximator 라는거에 좀 깊에 생각할 필요가 있겠다야. 학습하면서 모델의 출력값이 적절한 모양을 찾아서 변화하는게 맞음 변화되는 모양은 모델의 표현력이 허용하는 한도내에서 데이터와 에러가 적게 되도록 수렴하는거고
그러니까 어떤함수든 근사가능한건 ㅇㅈ하는데 궁극적으로 입력특성의 수치값이 실제인간의생각이랑 다르게 정렬되어있다면 효율이너무떨어질수있다는생각이들은거임. mnist 데이터 암호화시켜서 학습시켜도 정확도 90이상찍는건아니잖음. 그렇다면 이걸 해결하기위해선 그냥 모델크기늘리고 최대한 입력특성의수치가실제를모방하도록 잘 설정하는거말고는 더이상 답은 없는건가 하는생각에
그런식으로 하는건 아직 시기상조아니냐 현실 뉴런구조 따라한다고해도 최신 뉴런구조 스캔한게 최근에 초파리이고 모델 복잡도가 높을수록 일반화성능 개판나는데
암호화시킨 트레이닝셋을 아무리학습한들 테스트셋에대한 정확도는 낮을거고 물론 이건 인간도 맞추지못하겠지만 딥러닝목적이 인간모방이아니라 임의의알고리즘을근사시키는건데 입력이랑실세계대응이매끄럽지못하면 그거에큰걸림돌이된다는거. 그리고 어떤생물은 저 암호화된데이터를 잘 분류하는 뇌체계를가진것도잇을텐데 그런생물을 모방할수없음
ㅅㅂ ㅋㅋㅋ 데이터 스케일링 하다 흑화했냐 함부로 크기 못바꾸는 데이터가 모델이 학습하기 뭐한 크기면 그꼴나긴하는데
그리고 조금이라도 정확도를 높일수있는 보간법은 베이지안 뉴럴 네트워크 찾아보면 좋음
ㄱㅅㄱㅅ즐밥되십쇼