[일반] 근데 딥러닝이 왜 확률 모델이라는거임?

[익명(118.235)]

통신처럼 중간에 노이즈나 페이딩이 들어가는 것도 아니고

딥러닝에서의 아웃풋은 결국 인풋 -> 행렬곱 -> 활성화함수 -> 행렬곱 ->.... -> 이런식으로 이루어지는 단순히? 수치적인 계산의 결과인데

왜 확률 모델이라고 하는지 예전부터 궁금했음 

[익명(124.197)]

initialization부터 확률 씀

[딥삣삐 1(49.164)]

뉴럴넷은 y=f(x;theta)와 같이 결정론적인 함수를 모사하는 만능모사기인데 이걸 왜 확률모델이라고 하냐는 질문임?

[딥삣삐 1(49.164)]

뉴럴넷을 단순한 함수로 쓸 수도 있지만 실제로 확률모델에 써먹고 있기 때문임

[딥삣삐 1(49.164)]

딥러닝할때 다짜고짜 MSE Loss를 도입하는 게 사실 MLE라는 최적화 과정에서 가우시안 노이즈 가정을 써야 나오는건데 이 설명을 스킵해서 모르고 넘어가는거지

[익명(118.235)]

ㅇㅇ 윗댓에 initialization 얘기는 트레이닝때 얘기고 내가 궁금한건 외 inference때 딥러닝 모델은 어쨌든 결정론적인 함수인데 왜 확률 모델이냐는게 궁금한거임

[딥삣삐 1(49.164)]

회귀모형이란게 p(y|x) = N(y; f(x;theta), I) 이런 식으로 조건부 확률을 모델링한다고

[딥삣삐 1(49.164)]

분류 모델에선 BCE Loss는 베르누이 분포, CE Loss는 multinomial 분포 등을 모델링하는거고

[딥삣삐 1(49.164)]

생성모델은 조건부확률이 아니고 p(x)를 MLE 하는거고

[익명(118.235)]

@딥삣삐1(49.164) 아... 그러니까 머신러닝의 시초격인 회귀모델부터 확률로 모델링하고 딥러닝은 회귀모델의 발전형이니까 딥러닝도 확률 모델로 생각할 수 있다는 의미인가?

[딥삣삐 1(49.164)]

먼소리여 고전머신러닝인건 선형회귀고 뉴럴넷으로 회귀모형 만드는게 딥러닝이구만

[딥삣삐 2(106.102)]

확률모델은 디퓨전쪽만 그런거 확률 요소를 많이 포함하고 있어서 그런거지

[익명(61.255)]

윗댓처럼 학습을 할때 데이터들을 가우시안 분포로 가정하고 그 가우시안 분포 분산을 최소화 해서 얻은 모델이기에 확률모델이라고 하는거같은데 딥러닝모델자체를 확률모델로 부르는건 생성형모델같은 늬앙스가 아닌듯 - dc App

[n1(dok275)]

확률 모델은 디푸전처럼 보통 관측 데이터 분포를 다루는거고 댓글들에서 말하는 mle관점에서 가우시안 분포가정하고 mse loss 쓰고 이런거는 네트워크 파라미터 관점에서 보는거라 이런걸 확률 모델이라 부르지는 않은거같음

[약팔이아님(vital7966)]

확률분포를 출력하니까 확률이지 예를 들어 앞면 뒷면을 0, 1 이런식으로 출력하는게 아니라 각각의 나올 확률을 [0.5, 0.5] 같이 벡터로 출력하니까 확률모델이라 하는거

[익명(23.119)]

위의 댓글들은 그냥 다 무시해라. 엄밀히 이론만보면 결정론적으로도 설명 가능하다. 순수 결정론적 관점에서 변분법으로도 설명은 할 수 있고, 대표적으로 pinn 이 그런 관점에서 출발한거

[익명(115.139)]

확률 모델이라 하지말고 모수 모델이라 하셈. 딥러닝은 세미-모수모델이라 모수가 존재하지만 결정론적이여서 세미-모수 모델임

[익명(125.243)]

1. 모델 출력 자체가 분포로 나오는 경우: 결과값 자체가 확률적인값인 경우를 의미하고 예를들어 VAE에서 가우시안 분포로 출력하는 경우가 있음 2. 출력은 결정론적이지만 학습 방식이 확률에 기반한 경우: 너가 글에 예시로 든것도 여기에 해당하는데 출력이 결정론적이라 하더라도 이를 출력하는 과정이 확률에 기반하여 선택되기 때문임. 예를들어 강아지/고양이 이미지 분류를 한다면 결과는 "강아지"라는 결정론적인 결과지만 내부적으로 강아지일 확률이 계산되고 거기서 높은 확률인 클래스가 선택된거임. 추론 과정이 결정론적처럼 보이더라도 실제 그 결정이 선택되는 과정은 확률적인 과정을 통해 결정된다 참고로, 사실 2번 항목도 분포를 출력하는건데 설명을 위해 굳이 나누어서 설명했다

[딥삣삐 3(125.187)]

기초 교양 수준일텐데 제대로 이해하고 있는 애들이 거의 없네

[딥삣삐 4(14.4)]

ㅋㅋㅋ이론충 등판했네

[딥삣삐 5(221.151)]

결정론적으로 이야기 할수 있는건 물리법칙 처럼 수식으로 정해진거 아니면 불가능함. 질문 맥락에서 보면 결국 모델링은 관측데이터로 모델을 추정하는 거라 통계 모델인걸 묻는 내용으러 볼수 있는데 MLE같은 경우에 노이즈가 가우시간을 따른다고 가정하고 가장 적합한 파라미터들을 고르면 평균과 분산을 설명하는 모델을 고르게 되는거임 평균과 분산이 하나의 값으로 정해지니까 결정론적인거 아니냐?라고 물을수도 있는대 그러면 회귀분석 다시.배우고 와라.. 말고 해줄수 있는 얘기가 없음 - dc App

[익명(163.114)]

결정론적으로 다 설명 가능하다니까, 대표적으로 pinn이 보편근사 이론에 기반하고, 결정론적으로 그냥 residual 를 최소화해서 pde 해를 찾는데 딥러닝을 다루는 케이스 어차피 방법론은 결정론으로 보나 확률, 통계적으로 보나 이런건 그냥 철학차이다. 응용 분야 따라서 직관적으로 설명하기 쉽게 취사선택 하는거지

[없써지기(suitcase0114)]

당장 loss함수에서 cross entropy 쓰는거나 regularization이나 stochastic gradient descent가 확률에서 나옴

[없써지기(suitcase0114)]

loss최소화는 likelihood최대화와 등치임

[없써지기(suitcase0114)]

@없써지기 완성된 모델에서 출력값이 변동되지 않는한 확률과는 상관없지.