인간의 뇌는 특정 세포에 어떤 기억이 저장되는게 아니라 자극에 따른 신경 세포들의 활성화 패턴이 어떤 기억에 대응되는 개념이라
머신러닝이나 신경망으로 구현하기 어려움
이번에 노벨상 받은 볼츠만 머신이 acyclic 구조를 구현하고 학습 가능한 알고리즘을 제시했다는 데 큰 의의가 있다는걸 생각해보면,
cyclic 구조를 가지면서 학습가능한 신경망 구조가 얼마나 어려운지 이해할수 있을거임
물론 이거도 걍 어중간한 사람들이 언급하는 얘기
인간의 뇌는 특정 세포에 어떤 기억이 저장되는게 아니라 자극에 따른 신경 세포들의 활성화 패턴이 어떤 기억에 대응되는 개념이라
머신러닝이나 신경망으로 구현하기 어려움
이번에 노벨상 받은 볼츠만 머신이 acyclic 구조를 구현하고 학습 가능한 알고리즘을 제시했다는 데 큰 의의가 있다는걸 생각해보면,
cyclic 구조를 가지면서 학습가능한 신경망 구조가 얼마나 어려운지 이해할수 있을거임
물론 이거도 걍 어중간한 사람들이 언급하는 얘기
근데 그마저도 최근 oai-ms쪽에서 슬슬 소스 풀어주는거 보면 핵심 아이디어는 캐치한 것 같음. 2025년 중에 해결한다는 뉘앙스였어서
어떤거? SSM계열?
장기기억이 문제라기보다는 단기기억을 장기기억에 학습시킬때 파멸적 망각없이 가능한가의 문제인듯 지금은 파인튜닝 잘못하면 다 까먹어서 데이터셋 통째로 학습하잖어
그문제는 o1 계열 모델이 나오면서 어느정도 보완은 할 수 있다고 봄 계속해서 자가입력 시키면 되니까
생각보다 어렵지만 곧 그리 어렵지 않게될듯
ㅇㅇ 나도 그렇게 생각함...
인터넷 실시간 검색 가능한거 보면 충분히 가능할 듯 한데 ..그것과는 또 다른듯. 여하간 양자컴 완성되면 가능할 듯
ㅇㅇ 전혀 다름 결정적인 뭔가가 아직 부족해서 그게 걸림돌임
이게 왜 다르지? 자기가 했던 말들도 텍스트로 저장되어 있을텐데. 그걸 검색하는게 왜 불가능하지?? 노이해임.
그걸 검색해야 한다는게 문제임. 추론과 검색이 아예 서로 달라져버리면 딥러닝의 일반화 능력을 제대로 발휘할 수 없고 언어모델 학습시키듯이 학습할수가 업승ㅁ