이거 프로젝트 해보려고 내용조사하는 중인데 좀 궁금한게 있음


예를들어 어떤 웹에서 ai chatbot을 사용한다고 가정할 때 해당 웹이나 앱에 관련된 내용에 대한 질의응답을 할거잖아?

그래서 보통 해당 웹을 크롤링하고 임베딩해서 db에 저장하고 어떤 질문들이 들어왔을 때 해당 질문과 임베딩 db에 저장된 데이터이 유사도를 비교해서 그거 프롬프트에 집어넣어서 LLM 모델 사용해서 문장 자연스럽게 만들어서 답변한다고 들었는데


여기서 질문, 일반적으로 크롤링한 원본 데이터도 db에 저장함? 아니면 크롤링한거 전처리하고 청크? 청킹? 이것저것하고나서 임베딩한거만 db에 저장함?

그냥 생각했을때는 임베딩한거만 db에 저장하는게 합리적일것 같은데 일반적으로 어떻게 하는지 모르겠네

파인튜닝도 한다고 생각해보면 무조건 크롤링한 원본 데이터도 따로 db에 저장해야겠지?


생각해보면 유지보수나 관리측면에서 개발자 말고 클라이언트가 사용하기 편할려면 크롤링 데이터도 저장하는게 맞을것 같긴한데...


혹시 해당 프로젝트 진행해본 사람들은 어떤식으로 했음?