https://gall.dcinside.com/m/deeplearning/2885

딥러닝 아키텍쳐: 수학적 접근 리뷰 - 딥러닝 마이너 갤러리

https://www.amazon.com/Deep-Learning-Architectures-Mathematical-Approach/dp/3030367207레딧에서 딥러닝에 대해 수학적으로 분석한 텍스트북 없는가 검색해

gall.dcinside.com



위에 글은 책 반정도 읽고 전에 쓴 리뷰.


지금 Information Theory 관련된 부분 읽고 있는데,

이 책을 더 읽어야 할지 회의가 옴.



info theory  관련 첫번쨰 챕터


아니 씨발, 손실된 정보가 정말 이런 개념이 맞나? 

손실된 정보가 인풋정보랑 같은 모델은 아무 가치가 없다고?

손실된 정보가 인풋정보랑 같으면 아우풋 정보는 명백한 시그마 필드라고? 

뭔소리야? recoverable 시그마 필드 일 수도 있잖아. 니가 전에 그렇게 말했잖아.



예를 들어 카지노 룰렛이 있음.

1- 10 까지 번호가 매겨진 칸이 있고 홀수 칸은 빨간색이고, 짝수 칸은 검은색 칸임.

그럼 인풋 정보 I 는 다음과 같은 세트를 가질 수 있음. 


I = {

공이 1에 떨어졌다, 

공이 2번에 떨어졌다,

...

공이 10번칸에 떨어졌다,

공이 빨간 칸에 떨어졌다, 

공이 검은 칸에 떨어졌다, 


공이 1번 칸이나 2번칸에 떨어졌다,

공이 1번 칸이나 4번 컨에 떨어졌다,

.......

}


어느 딥러닝 네트워크가 룰렛 돌아가는 영상을 보고 무조건 1이라는 값만 뱉어냄.

그럼 그 네트워크가 아무런 가치가 없음.

이 모델의 아웃풋은 공이 어느 칸에 떨어졌다는 명백한 정보 외에 아무 정보가 없음.


공의 위치에 대한 인풋 정보는 모두 소실됨. 아웃풋을 보고 공이 원래 어디 있던건지 알 수 없음.



근데 딥러닝 네트워크가 공이 빨간 칸에 떨어지면 0이라는 값을 뱃고, 검정칸에 떨어지면 1이라는 값을 뱉음.

그럼 어느정도 인풋 값에 대한 손실이 있음.

Output에는 다음과 같은 정보만 남는다고 할 수 있음.

O = 

{

공이 빨간 칸에 떨어졌다, 

공이 검은 칸에 떨어졌다, 

공이 어느 칸에 떨어졌다,(전체 set)

공이 아무대도 안떨어졌다.(빈 set)

}


근데, 위의 정보는 Recoverable한 정보임, 무슨말이냐면  O의 정보를 제외한 I의 다른 정보만 있다면, 즉 I - O 세트에 대한 정보만 있다면

O의 정보는 복원할 수있음.


공이 빨간 칸에 떨어졌는지, 검은 칸에 떨어졌는지 정보가 없어도 공이 숫자 1에 떨어졌다는 정보가 있다면,

공이 빨간 칸에 떨어졌다는 정보가 복원 가능함.


근데 이 책에서는,

이처럼 아웃풋의 정보가 복원 가능한 정보 뿐인 모델은, '모든 정보가 손실된 모델'이라고함. 


????


그리고 모든 정보가 손실된 딥러닝 모델은 위에서 말한것처럼 무조건 1이라는 값만 내뱉는 모델처럼 별 가치가 없다고함.


????


아니, 이해 할 수 없음. 

극단적으로 말해서 내가 그냥 빨간색에 공이 떨어졌는지 검은색 칸에 공이 떨어졌는지만 알려주는 딥러닝 모델을 만들고 싶다면,

그걸로 된거지.


이부분에서 작가가 지금 뭔가 자기가 무슨 말을 하는지 제데로 인식을 안하고 글을 써내리고 있다고 느껴짐.


실제로 나중에 가서는 '모든 정보가 손실된 딥러닝 모델'은 명백한 정보(공이 어느 칸에 떨어졌다 같이 무가치한 정보)만 내뱉는다고 말함.

뭔 소리야 씨발, 

내가 구상한 딥러닝 모델로 공이 빨간 칸에 떨어졌는지 검정칸에 떨어졌는지 정보를 알 수 있는데 아무런 정보를 알 수 없다고?


작가는 손실된 정보에 대해 잘못된 정의를 내리고 있거나,

모든 정보가 손실된 딥러닝 모델에 대해 잘못된 정의를 내리고 있거나,

씨발 그냥 지가 지금 뭔소리를 하는지 모르겠거나.



그리고 또 뭔가 삼각형에 관한 preposition을 하나 주면서 이게 곧 사용될거라고 하는데, 사용 안함. 

다시한번 나온 어쩌라고 preposition.

씨발.



지금 읽고 있는 두번째 챕터


아니 씨발 이거 f-1(x)를 f(x)라고 잘못적은거지?


왜 바이너리 분류하는 모델의 엔트로피가 1이라고 단정하는거냐. 

모델의 확률 분포에 따라 다를수 있잖아?

균등한 확률을 가진 모델이란 전제를 빼먹고 말하는 거냐?

근데 그런 전제라도 엔트로피가 ln(2) 여야 하잖아? 

아니 지금 아무 언급도 안하고 ln을 log2로 바꿔치기한거야? log2(2) =1 이니까 1이라는거야?




24b0d121e0c176b660b8f68b12d21a1d25f35e83



아니 책을 출판해서 팔아먹을 거면 퇴고 작업이라던가 proof reading이라던가 해야할것 아니냐?

이 책을 계속 읽을지 회의가 들고, 작가가 에러를 일으킬 떄마다 머리가 아프고 빡친다.