24b0d121e0ed3ebe51ff9ee346986a2d14cf8cb4d47dba25ac6b0877fcb9fb




컨텍스트 윈도우가 아직도 개선이 안되어서 검색맡기면 검색해서 문서 찾다가 자기가 처리할 수 있는 텍스트을 넘기면 찐빠가 나고 더해서 장문 텍스트 분석하다가 어텐션 희석이 일어남


그래서 아예 검색화면에서 상단 몇개만 검색하게 하는 식으로 해서 존나 수박 겉핥기만 하는것처럼 느껴짐


문제는 컨텍스트 윈도우가 개선되어도 어텐션 희석(장문 텍스트 읽다가 자기가 무슨 글 읽고 있는지 까먹는 문제)은 현재의 트랜스포머 아키텍쳐에서는 개선하기 힘들다는 거

구글에서 제안한 타이탄즈 아키텍쳐가 제대로 구현되면 획기적으로 나아질듯