파라미터만 늘려도 GPT처럼 성능증가를 볼 순 있지만 벤지오는 강인공지능으로 가는 데 현행 ML 알고리즘은 한계가 있다고 지적함
차원의 저주 문제도 있고 학습데이터가 현실 상황과 차이날 경우 제성능을 발휘하지 못한다고 함
Q&A에서 어떤 여자분이 agi 어디까지 왔냐고 돌직구 날렸는데
아직 1살배기 애의 수준(비선형처리)에도 못미친다고 선그음
물론 초기단계라는 건 이미 알고 있으니 특별한 내용은 아님
그래서 향후 ML은 대상에 대한 데이터(지식)이 없어도 귀납편향을 통해 일반화하는 사람의 직관 과정을 본뜨고 있다고 함
벤지오 본인은 인간의 언어활동에서 고차원의 추상적인 개념을 조합하는 방식을 딥러닝 2.0에 적용시키려 시도하는 중이라고 말함
진짜가?
언제 말한거임? 딥마인드 저격한거?
누구 저격이라기보단 현행 ML 전반에 있어서 비선형처리에 대한 새로운 방법론(알고리즘)이 필요하다는 말 엊그제 인공지능 포럼 기조연설에서 말함
그래도 다시 해답을 통해 나아가고 있네 바람직하다
나는 둘다 중요하다고 봄. 분명 기존의 알고리즘에 한계가 있고 분명히 알고리즘을 변화시켜 그런 한계를 뚫어야함. 근데 파라미터수도 증가도 굉장히 중요하다고 봄.나는 인간과 같은 AGI를 만들려면 인간과 같은 수준의 모델크기(100조)는 필수적이라고 생각함.
파라미터수도 중요함 GPT-3만 봐도 체감하지 근데 지금 알고리즘으로는 파라미터가 증가할수록 사전학습 데이터 확보도 어렵고(특히 오픈소스화 되지 않은 전문분야쪽) 비용도 만만치않아지는 게 문제 여기서 만약 파라미터를 더 크게 늘려서 성능증가를 본다고 해도 강인공지능으로 가는 적절한 방법인지는 의문이라고 함. 얀 르쿤도 GPT-3에 대놓고 한마디 한 적도 있고