안그러면 5시간 간의 장시간 추론을 설명할 수 가 없음 


추론 과정은 실시간 로그 형태로 기록되어지는것만 보여주는거고 


임계 토큰 마다 잘라서 MLP 계층에 넘기고 그 계층에 남겨진 맥락을 토대로 장시간동안 추론을 계속해서 이어가는 기법인 거 같음 


32000토큰 이 임계 토큰이라면 32000토큰 동안 생각하고 그 생각한 것의 맥락을 압축해서 MLP 기억 계층으로 넘기고 


그렇게 기억된것을 토대로 다시 이어가는 방식이 아닐까 함 


그리고 추가적으로 실시간으로 추론 로그를 DB 에 남겨서 본인이 추론한 과정을 RAG 로 검색증강 할수 있게끔 만든거 같음 


맞는거 같은데 ㅋㅋㅋㅋ