나는 내 문서들을 다 벡터 임베드 해서 RAG로 해서 LLM 커스텀해서 쓸려고해도
결국 이 커스텀 문서를 읽는 비용과 리트리버하는 토큰이 말도 안되더라
결국 RAG라는게 LLM에 없는 지극히 사적인 문서와 최신화 문서를 넣는데 좋지만
이 경우 여전히 핵심은 토큰이라는 경제적 한계에 부딪히게 되더라.
결국 핵심적으로 말하자면 LLM을 만들어서 실제로 돌려보는게 맞는거 같은데 이것도 데이터가 한계가 있고
그렇다고 안쓰자니 너무나 많은 생산성 차이가 있고
RAG는 사실 몇번 만들어서 써봤지만 이건 전혀 실용적인 기술이 아닌게
결국 LLM에 생각에 외주를 주고, RAG로 벡터 임베딩한걸 AI가 백프로 다 완전히 맥락에 대한 복원을 못하더라.
한계가 있어
댓글 3