캐리(carry)는 수학적인 덧셈이나 뺄셈 과정에서 한 자릿수의 계산 결과가 해당 자리의 최대값(대개 10)을 초과할 때 다음 자릿수로 넘겨주는 값을 의미합니다. 예를 들어, '8 + 7'의 계산에서 15가 되며, 이 경우 일의 자리인 5는 남기고, 10이 넘었으므로 1을 십의 자리로 넘겨주는데, 이를 '캐리'라고 합니다.
그러나 트랜스포머 알고리즘에서 말하는 '캐리'는 이와는 다소 다른 개념입니다. 트랜스포머 모델은 순차적인 데이터 처리를 위한 RNN이나 LSTM과 달리 '어텐션 메커니즘'을 사용하여 전체 시퀀스를 한 번에 처리합니다. 이 때문에 수학적 덧셈의 '캐리'와 같은 개념이 직접적으로 트랜스포머 모델에 적용되지는 않습니다.
트랜스포머 모델 내에서 시퀀스의 각 요소에 다른 요소들이 얼마나 중요한지를 결정하는 데 어텐션 메커니즘이 중심 역할을 하며, 이는 정보의 '가중치'를 분배하는 과정으로 볼 수 있습니다. 즉, 모델이 숫자를 거꾸로 처리하면서 높은 정확도를 보이는 것은 '캐리'가 아니라, 모델이 특정 정보(덧셈에서는 높은 자릿수의 숫자)에 더 높은 어텐션 가중치를 할당하여 이 정보를 더 잘 학습하기 때문일 수 있습니다.
따라서 이미지에서 보여지는 현상은 트랜스포머 모델이 숫자를 거꾸로 처리할 때, 어텐션 메커니즘을 통해 초기 단계에서 더 중요한 정보(예: 높은 자릿수의 숫자와 캐리)에 집중할 수 있기 때문에 더 나은 성능을 보이는 것으로 해석할 수 있습니다. 이는 트랜스포머의 어텐션 메커니즘이 전체 시퀀스에 대한 문맥을 학습하는 동안 중요한 정보를 강조하는 방식에 기인합니다.
얀르쿤이 왜 scale is all you need 에 부정적인지 이해가 될거 같기도 함...
저 방식으로 내부 수학 전문 모델에 계산시키고 결과를 뒤집어서 보여주도록 학습시키면 안되나?
몰?루 이미 하고있을지도? 나도 그쪽 전.공자가 아니라 자세히는 몰라
100%라는 게 너무 간단한 방식으로 달성이 돼서 어이가 없네 ㅋㅋ
트랜스포머는 덧셈 못함?
알고리즘 자체가 우리가 덧셈 하는거처럼 계산하는 알고리즘이 아님
이것도 흥미롭네
이건 진짜 흥미롭네
저번에 트랜스포머로 AGI 가능하냐는 설문에 아무도 없었던거 같은데
인공지능이 스스로 생각해서 계산하기 보다 도구를 사용할 줄 알면 되는데 말이야.
= advanced data analyst 이미 chatGPT가 그렇게 하고 있고 수학 및 통계나 빅데이터 작업에 개작살임 논문작업 할 일 있는 박사과정 대학원과정 등 연구직은 이거 때문에 GPT 못 버리는 사람 많음
ㄹㅇ 그래서 클로드로 못갈아탐
인간 뇌는 어떤 알고리즘으로 덧셈함?
그냥 내 생각인데 기억력에 의존해서 할거 같음 ㅋㅋ - dc App
저게 뭔 소리지 어떻게 거꾸로 계산을 해 아직 정답을 모르는데
1의 자리부터 계산한다고
트랜스포머 어텐션 매커니즘에 의해서 왼쪽에서 오른쪽으로 문장을 생성하는데 123 + 123 = 246인데 덧셈연산은 우측에서 좌측으로 자리올림순이라 거꾸로 123 + 123 = 642로 학습시키는게 효육적인게 3번째 자리(3+3=6) 연산을 먼저 하고 (2+2=4) 1+1= 2가 되니 효율적 연산이 되서 100%가 되는거임.
저글 내가 올린건데 ㅋㅋ
사람도 그래서 역산하자너 똑같네 ㅋㅋㅋ
저건 자릿수를 뒤집어서 가르치는 거지 역산이 아님
인터넷 게시판에서 질문하는법으로 문제내면 정확도 수직상승하는거구나 - 이거 정답이 뭐에요 . 하면 답 안알려주고 - 와 나 이 문제 존나쉽네 나 좀 천재인듯 ( 오답 ) . 하면 초고수가 " 내가 직접 나서겠다 " 하며 논문급으로 알려주는
아니 1의 자리부터 계산한다고
윗댓들ㅋㅋㅋㅋㅋㅋ
그니까 사백오십육을 육오십사백으로 적는다는거임?
ㅇㅇ
데이터를 뒤집어서 가르치면 되는건가
문장은 왼쪽부터 오른쪽이니 어텐션이 잘 작용하지만 덧셈 연산은 우측부터 좌측으로 자리 올림하는 거니 어텐션이 효율을 발휘하려면 답을 뒤집어서 학습시키는게 자릿수 연산에서 정확도가 오르는 거구나