[일반] 어텐션이 low rank로 이어지고 그게 svd로 이어지네

[땔감(gcp24685)]

low rank 보고있는데 좀 신기함...

[익명(174.228)]

사실 low rank 안 거치도고 거진 대부분의 방법이 SVD나 커널트릭으로 이어질 수 있음

[땔감(gcp24685)]

와씨 님댓보고 커널트릭 다시봤는데 폼이 똑같네요

[익명(174.228)]

그 머지 neural tangent kernel 도 함 봐보셈 다 이해는 애바라도 걍 곁다리로 리뷰 읽어만봐도 개재밌음