RAG 나 구글 API 로 서칭... 그걸 유사도 검색하는 방법이나.. 특히 구글 API 에서 사이트 정보 얻었을 때 글이 너무 길어서 LLM 에 막히던데 TA 할려고 해도 문서요약도 input 값에 토큰 길이가 너무 길어서 막히고


사이트 글이 너무 길 때 어떻게 처리하는지 아시는분 계신가요? 문단 잘라서 해야하기에는 시간이 너무 오랴걸려서요