n이 1MB를 넘을 수 없음(정확히는 토큰이 몇천 단위)
1MB 넘는 소스코드를 못 만들어 현재 트랜스포머 알고리즘으로는
상용 소스코드도 1MB가 넘어서
GPT에 입력 자체가 안되는데
입력해도 1MB 단위로 끊어서 입력하고 각 1MB마다 모델 자체 내부적으로 효과를 주는 모델내부적 연관성은 없음
O(nlogn) 알고리즘 나오기 전까지는 걱정 안해도 됨
1MB 넘는 소스코드를 못 만들어 현재 트랜스포머 알고리즘으로는
상용 소스코드도 1MB가 넘어서
GPT에 입력 자체가 안되는데
입력해도 1MB 단위로 끊어서 입력하고 각 1MB마다 모델 자체 내부적으로 효과를 주는 모델내부적 연관성은 없음
O(nlogn) 알고리즘 나오기 전까지는 걱정 안해도 됨
https://arxiv.org/pdf/2307.02486.pdf
헐 머냐 ㅇㅅㅇ 벌써 나왓네 ㄷㄷ