어떻게 lost in the middle 효과를 피하고 있는걸까 생각해봤는데

포지셔널 인코딩에도 손을 댔을 것 같고

제미니가 텍스트뿐만 아니라 동영상과 이미지를 바탕으로 학습된 순수 멀티모달 모델이라는 점이 중요한 역할을 한 게 아닌가 싶음

텍스트 토큰은 시간에 대해 선형적으로 등장하니까
두괄식 또는 미괄식으로 작성되게 마련이니
당연히 시작과 끝에 대해 주목할 일이 자주 있고  거기에 과적합되는 것이 당연함

근데 이미지 토큰이나 동영상 토큰에서 주목해야 할 위치는 텍스트에 비하면 중간 어딘가일 가능성이 높겠지

그리고 3만토큰짜리면서 전체가 다 필요한 텍스트 데이터는 구하기도 힘든데 이미지-텍스트 데이터는 길이 늘리기가 상대적으로 수월할듯

- dc official App