어떻게 lost in the middle 효과를 피하고 있는걸까 생각해봤는데
포지셔널 인코딩에도 손을 댔을 것 같고
제미니가 텍스트뿐만 아니라 동영상과 이미지를 바탕으로 학습된 순수 멀티모달 모델이라는 점이 중요한 역할을 한 게 아닌가 싶음
텍스트 토큰은 시간에 대해 선형적으로 등장하니까
두괄식 또는 미괄식으로 작성되게 마련이니
당연히 시작과 끝에 대해 주목할 일이 자주 있고 거기에 과적합되는 것이 당연함
근데 이미지 토큰이나 동영상 토큰에서 주목해야 할 위치는 텍스트에 비하면 중간 어딘가일 가능성이 높겠지
그리고 3만토큰짜리면서 전체가 다 필요한 텍스트 데이터는 구하기도 힘든데 이미지-텍스트 데이터는 길이 늘리기가 상대적으로 수월할듯
- dc official App
입력되어잇는 모든 정보를 완벽하게 참조하는 이상적인 방법은 없는것임?
아직은 그런 방법은 없고 아마 백프로란건 앞으로도 있기 힘들듯 - dc App
음 확실히 설득력이 있네 범용토큰으로 처리하는거니까 골고루 조회되어있겠군
클로드도 멀티모달한다는 버전에서부터 lost in middle이 극복되었다고 하는거보니까, 거기다 최근 구글에 인수?되었으니 기술방향성정도는 공유되고있겠지?
순 멀티모달이라면 같은 범용토큰으로서 정보형태에 따른 두괄 중괄 미괄 데이터가 다 존재하는거니까 골고루조회가 될수밖에 없겠다
오 - dc App