1.6년마다 컴퓨팅 파워 2배 증가 추세 유지만 한다면

그리고 그 파워를 모두 입력길이 늘리는데 쓴다면

모델 구조 개선없이 O(n^2)인 트랜스포머의 입력 크기를 t년 마다 root(2^(t / 1.6)) 씩 늘릴수 있는거야


5년후 약 3배

10년후 약 9배

20년후 약 76배


오래 걸리는거 같긴한데 ㅋㅋ


지금 이미 단기추론은 엄청 잘되는것 같은데 컴퓨팅 파워 증가로 문맥길이도 늘리고 

길어진 콘텍스트로 장기추론도 정복하며 AGI 도달 하는거야 문제는 데이터네?




천재들이 달라붙어도 트랜스포머 보다 좋은거 못찾는다면 트랜스포머로 AGI 뚫고 AGI가 찾아주길 바래야할듯