[일반] RAG 플로우 개발하고 있는데 BGE-M3 요즘 쓰냐?

[익명(125.251)]

오픈소스 중에선 저게 그나마 제일 나은 것 같아서 쓰고 있는데

너무 오래됐네

GPT나 클로드 이런 애들 쓰면 돈 무진장 나가더라

[ㅇㅇ 1(211.109)]

리랭커 ㄱ

[글쓴 ㅇㅇ(125.251)]

리랭커는 할거임. 아직 리랭커 구축 전이긴 한데, 모델은 그럼 BGE-M3 그대로 쓰고 리랭커 기능 넣으면 성능 확 좋아지냐?

[ㅇㅇ 1(211.109)]

임베더는 open rag eval로 여러개 돌려보고 골라 언어 차이 크고 도메인 차이도 커서ㅋㅋ 한국어면 거의 한국어 초소형 임베더랑 외국 대형 임베더가 성능 비슷한 수준임

[글쓴 ㅇㅇ(125.251)]

아마 한국어 위주로 할 것 같긴 한데, 그럼 BGE-M3 한국어 특화된 버전 쓰는 건 어떤가? 그리고 open_rag_eval 이건 뭐하는거임? Rag 플로우에서 각 단계별로 평가하는건가?

[ㅇㅇ 1(211.109)]

리랭커는 데이터셋에 따라 다르긴 하겠지만 나는 여러개에 여러 리랭커 돌려봤을 때 제댜로 개선 된 경우엔 recall 0.2까지도 오름