1. 구글 인피니 어텐션 ( i/o 에서 보여주었던 컨텍스트 캐싱과 똑같은 기술인듯)


7cea8173b2846ef43bef98a518d604031391539b456d6c389dfb


2. 한텔 파이먼 경로적분


https://arxiv.org/abs/2405.04620



나도 2022년도 부터 계속 생각했던 접근법 이었는데 it공돌이 들이 이과적인 방법으로 구현해 줘서 고맙긴함 


간단하게 설명하자면


현재 장기기억을 유지하는 기술인 컨텍스트 요약 기술은 입력 토큰 공간내에서 연산을 하는 한계성 때문애 아무리 요약이 함축되어있다고 한들 결국은 한계가 올 수 밖에 없음


하지만 이 두가지 기술은 이전의 정보들이 담겨있는 이전 어텐션 정보들을 버리지 않고 '압축 메모리' 에 통합하게됨 여기서 '압축 메모리' 는 컨텍스트 요약 을 담고 있는 토큰 공간을 의미하는 것이 아니라 인풋된 정보들을 처리하는 어텐션 계층구조내의 학습데이터에 인풋할때 마다 정보값들을 업데이트 하며 저장한다는 개념이 맞는듯 (어떻게 보면 원시적인 실시간 학습의 형태를 띄고있음)


이 말이 사실이라면 컨텍스트 길이를 연산리소스만 충당된다면 무한정 늘이는 것이 가능하게 됨


다만 한계점은 끊임없는 지속학습에 필요한 재학습에서 발생 되어지는 연산비용이 커지는것이 단점일 듯


가정으로 보급되기엔 하드웨어적 한계가 있고 대규모 정보를 한꺼번에 처리해야 되는 기업에 먼저 큰 비용의 지불관계를 거치고 제공될 듯?






출처: 특이점이 온다 갤러리 [원본 보기]