[일반] 학부생 관점에서 망상 찌끄려보면

[익명(115.139)]

미분기반의 학습 방법 자체가 문제인 것 같음.

가중치 값 하나 담는 데에 32bit씩이나 차지하고, 학습 후반가서 업데이트 되는건 맨 오른쪽 비트 몇 개만 바뀌는데 이건 메모리 낭비에 더해, 학습 효율면에서도 좋지가 않음.

내 생각엔 비트연산, 암호화, 오류정정같은 논리회로 기반의 모델이 해석가능성도 더 좋아지고 하나의 데이터에 대해, 필요한 모든 정보를 모든 가중치에 충실하게 담아낼 수 있을 것 같음.

[약팔이아님(vital7966)]

arxiv.org/abs/2306.01128

[익명(124.197)]

그걸 모델 경량화에서 쓰이도 함 quantitization이라고

[딥삣삐 1(126.194)]

고등학교 수준에서도 나오는데 그게 아니면 극값을 찾을 방법이 없다 - dc App

[익명(125.251)]

그래서 요즘 미분 없이도 하는 거 나오고 있잖아