30년 전에 CS쪽에서 딥러닝이 유사과학 취급 받을 때에도
규칙기반시스템, 전문가시스템 주류 학계(한 줌)가 주구장창 르쿤옹 조롱할 때도
르쿤옹은 MLE 하나로 우직하게 딥러닝의 가능성을 주장해왔음
그리고 지금도 르쿤옹은 MLE 하나로 LLM-AGI의 가능성을 비관하는 거임.
사실 MLE 자체가 너무빼도박도 못한 쐐기에 가까운 놈이라 르쿤옹은 계속 더 큰 담론을 주구장창 말하는 건데
솔직히 MLE를 우회한다는 건 이론적으로 진짜 큰 담론이긴 해서 결국 르쿤옹 스스로도 MLE에서 벗어나지 못하고 있는 실정인 듯
mle가 머임
maximum likelihood estimation라고 딥러닝(생성)쪽 핵심 이론이에요
최대우도추정이었나....한글로 접했을 때 대체 이게 뭔가 감도 안 잡히던데
비행기로는 달에 갈 수 없습니다..
그럼 30년 후에 빛을 보시겠네. 그곳에선 평안하시길.
해당 댓글은 삭제되었습니다.
제파 발사대 llmㄷㄷㄷㄷ
딥러닝이 어쩌고 신경망이 어쩌고 해도 결국 마지막에 Loss 계산하는건 MLE니까 어쩔 수 없긴 한데 난 이게 왜 한계인지 모르겠다
MLE 자체가 베이지안 근사에서 유도되는 건데, 이 넘 조건텀에 필수로 들어가는 게 결국 학습 데이터에요. 그래서 이론적으론 OOD에 대한 최적 가능성을 보장하진 못해요. 사실 MLE는 loss 계산이라기보단 패러다임에 가깝죠
ㅇㅇ