[일반] 딥러닝의 역사를 알아야하나?

[익명(223.38)]

딥러닝 겨울이나 언제 rnn cnn ann dnn 이 나왔고 attention은 뭐때문에 겨울이 왔고 이런거 공부함?

석사 3년 생활하면서 배운적도 들은적도 없는데 

역사적 흐름도 알아야하는건 뭐지?

[익명(59.10)]

옛날 모델을 배우는 것은 역사보단 아이디어를 배운다는 느낌 아닐까?

[익명(223.38)]

너도 겨울 언제왔고 시대적 배경흐름 알고 있음? 난 그냥 대충 논문 읽고 던졌는데;;

[익명(59.10)]

@ㅇㅇ(223.38) 그냥 여러번 보다보니까 역사도 어쩌다보니 알게된거지 각잡고 역사 공부한건 아니지

[딥삣삐 1(165.194)]

수업에서 보통 역사순으로 배우지 않나? mlp 오버피팅 문제를 cnn이 해결해줬고 그라디언트 소실 문제를 resnet이 해결해주고 seq2seq의 병목을 self-attention이 해결하고 이런 식으로

[익명(223.38)]

배운건 기억나는데 쓸데가 없다보니 기억도 안남

[딥삣삐 1(165.194)]

rnn의 long context 문제를 lstm,gru가 해결하고 vae의 블러를 gan이 해결, gan의 mode collapse 문제를 diffusion이 해결 이런 식으로 이어지는 흐름을 알면 논문 스토리라인 쓸 때 의미있을 거 같은데

[익명(223.38)]

나만 모르나보네

[익명(223.38)]

너가 얘기해주니 기억나는데 말하라하면 못말할듯

[익명(118.235)]

하나 태클 걸자면 resnet은 기울기 소실 문제가 아니지 않음? resnet 논문 보면 기울기 소실이 발생하지 않았음에도 성능 열화가 있었다고 하고 그 이유로 층이 깊어짐에 따라 loss가 엉망이 돼서라고 주장하던데

[딥삣삐 1(165.194)]

@ㅇㅇ(118.235) 맞음 내가 착각함; 기울기 소실 문제는 오히려 rnn이랑 관련있었고 resnet은 레이어 수를 늘리게 해줬다 정도인듯. resnet이 효과본 이유가 네트워크 입장에서 쌩 output을 학습하는 것보다 잔차만 학습시키는 게 난이도가 낮아서였다고 했던거 같음

[익명(with5401)]

자기 분야는 알아야 되고 아이디어는 알아야지 - dc App

[익명(124.197)]

필요성을 못 느끼면 할 필요 없는 듯 안 가르쳐주는 데엔 나름 이유가 있음

[익명(124.197)]

하지만 고전적인 아이디어를 하나씩 훑다보면 우리가 당연하게 배우고 있는 지식들이 전혀 당연하지 않았다는 걸 알게 됨 그런 지식들은 수많은 고급 아이디어 중에서 효율적인 것들만이 살아남아서 우리가 배울 수 있게 된 거임 고전 기계학습이나 이론을 보다보면 이런 역사적인 흐름 속에서 우리가 어디에 위치해있는지 파악할 수 있어서 상당히 재밌음

[딥삣삐 2(117.111)]

석사3년동안 저것도 안들어봤으면 대체 뭘했음? 3년동안

[익명(223.38)]

들었는데 내가 설명하라면 못함. 준비하라고 하면 다시 파서 하면 되지만 바로 설명하라 하면 못함