하드웨어 연산능력이 소넷에 비해서 제미니가 열등해서 그런게 아니라


토큰을 연산하는 스타일이 달라서 그럼


토큰은 쌓이면 쌓일수록 연산해야되는 경우의 가짓수가 급수적으로 늘어날 수 밖에 없는 구조를 취하고 있음


1부터 10까지의 토큰이 있다고 가정한다면 1부터 10까지 그냥 계산하면되는게 아니라 여기서 존재하는 모든 경우의수를 계산 해야지만 토큰간의 연관성을 단단하게 잡아나갈 수 있음


2만에서 3만 정도만 넘어가도 계산해야되는 토큰의 압박감은 엄청난 무게로 짓눌려지기 시작하고 하드웨어가 버티질 못함


그래서 쏘넷이나 사오에서 취한 연산방법은 바로 분산연산임


요구 하드웨어가 천문학적으로 뛰기전에 잘라버려서 하나의 큰 청크로 만듬 그리고 인풋된 모든 토큰을 각각의 큰 집합으로 묶는 청크화 과정을 반복함


그리고 그 청크화 되어 묶인 토큰 집합을 다시 재계산해서 아웃풋으로 내놓는거임


만약에 10만 토큰 가량의 대용량의 토큰연산을 필요로 하는 텍스트 를 인풋했다고 가정한다면


제미니는 처음부터 끝까지 통짜로 연산하려고 함


하지만 쏘넷은 1부터 5000 까지의 토큰을 하나의 청크로 묶고 20개의 집합을 만듬


그리고 20개의 큰 토큰집합을 재계산한 뒤 아웃풋으로 출력 함


그래서 풀 컨텍스트 까지 긴 세션을 진행해도 글이 망가지지 않았던 거임


왜 구글은 이 방식을 취하지 않는지 이해는 안됨 제미니 2.0 에선 개선된 상태로 업데이트 되길 바람