기존의 LLM에 막무가내로 집어넣는다는 말은 아님
아예 베이스 모델 학습 단계에서부터 그렇게 활용하도록 만들면 어떨까
'코드 세부사항 편집 반복 요청 시 토큰 최적화'에 대해 생각해보고 있었는데
반복 입력되는 긴 코드만 인식해서 '위 코드 xx라인~xxx라인까지와 동일'에 해당되는 표식으로 대체하려 애쓸 바에야
차라리 그냥 7z 같은 걸로 프롬프트 전체 내용을 클라이언트가 압축해서 보낸 걸
모델이 알아먹도록 학습시켜버리는 편이 낫지 않나 싶은 생각이 드네
https://github.com/facebookresearch/NeuralCompression
이건 '압축하는' 신경망이잖아. 7z 자리에 대신 끼워넣어서 효율이 올라갈 수는 있겠지 내 말은 1. 압축된 걸 받아먹고 (압축 해제 같은 거 없이 LLM에 바로 집어넣고) 1-1. 압축된 걸 뱉어서 클라이언트에서 해제하든 1-2. 자연어를 뱉든 한다는 말이지
베스트 탭에 내가 쓴글 ㄱㄱ
LLM에 말해봐도 모든 모델이 다 쌩뚱맞은 '압축 해제 문제가 어쩌구저쩌구...'같은 소리만 하고 있는데 이게 한방에 이해가 안되는 내용인가..