[일반] 역전파에 대해 궁금한점 질문받아주세요

[익명(220.89)]

딥러닝이 역전파를 주로 쓴다고 알고있는데

스테이블 디퓨전도 역전파를 쓸거같은데

그럼 이 스테이블 디퓨전의 신경망에 역전파로 그림을 훈련시켰을텐데

이 스테이블 디퓨전의 신경망 그대로 개를 구분하거나 언어를 훈련시킬수도 있냐?

내말은 하나의 역할을 위해 신경망을 만들었는데 그 신경망에 다른역할도 훈련시킬수 있냐 이말

[익명(rechido)]

디퓨전모델의 신경망이 예측하는건 그저 노이즈뿐임. 디퓨전모델을 위해서 학습시킨 신경망을 재활용해서 분류문제나 다른 태스크를 시키려는 거라면 전혀 그럴 이유가 없음. 하지만 같은 신경망 아키텍쳐가 다른 태스크를 학습할수도 있냐고 물으면 답은 yes임 - dc App

[익명(rechido)]

디퓨전모델에 흔히 쓰이는 아키텍쳐는 u-net이라고 불리는 일종의 autoencoder의 발전형인데 이건 원래 메디컬이미지 쪽에서 segmentation에 쓰려고 나온애니까 오히려 디퓨전모델이 전혀 다른 태스크에 갖다쓴 케이스 - dc App

[익명(175.124)]

[익명(220.89)]

그럼 하나의 신경망에 분류문제나 언어학습이나 그림그리기 셋다 하나의 신경망에 다 쑤셔넣을수도 있음?

[익명(220.89)]

언어모델이 스케일올리니까 다른 능력이 생겼던거처럼 하나의 신경망에 온갖 테스크를 다 학습시키면 많은 테스크의 정보가 스케일업으로 작용해서 새로운 능력이 나오는거아님?

[특술람(gpt2030)]

전이학습이라고 부르는 것이셈