[일반] 언어모델이 수학못하는 이유가 어텐션때문 아닐까?

[익명(125.143)]

어텐션은 입력된 문장안에서 중요한 단어에 집중하는건데

4자리수 곱셈은 입력된 모든 식에 집중해야됨..

일부에 집중해가지고는 부족하다는 말임

- dc official App

[익명(118.38)]

잘게 조각나있고 세분화되어있는 '수' 라는 특성상 분산정보의 특징을 가질 수 밖에 없기때문애 토큰간의 정보손실에서 너무 취약함

[익명(125.143)]

몽마리뜨 - dc App

[익명(118.38)]

숫자는 무작위성이 강해서 무작위에 대응하는데에 연산리소스가 많이 들어간다고

[익명(121.165)]

애초에 지금 어텐션 방식은 모든 단어 쌍 간의 가중치를 다 계산해서 느린 건데 일부에'만' 집중할 수 있는 게 아님 문장에 따라 어텐션 분포가 균일하게 퍼져 있을 수도 있음

[익명(121.165)]

그리고 현존 LLM들이 자연어 위주로 학습을 돌려서 그런 거지 트랜스포머로 수식 계산이나 특정 연산 구현은 충분히 가능함