그게 어떤 차이를 만들지 모른다는 게 문제지

동작에 얼마나 느려질지
학습이 얼마나 빨라질지
매개변수가 얼마나 줄어들지
아무도 모르는거야

이론상 1970년에 만들어진 인공신경망으로도 모든 문제를 해결 가능함.
하지만 안돼서 이것저것 때려넣는 중인 거 아니야?
그래서 트랜스포머도 나오고 그랬는데


근데 사장된 건 더 많음
차이점에서 임베딩벡터를 분리해서 마진 스페이스를 계산해서 어쩌구 하는 놈도 있었고(ENN)
모든 다항식을 다 때려넣어서 다항식 관계추론은 오지게 빠르게 만든 놈도 있었고
생각에 생각에 생각에 생각을 꼬리 물어서 추론하게 만드는 녀석도 있었음




KAN도 얼마나 좋을지는 두고 봐도 좋다 생각함.