[일반] 실무에선 벡터검색용 청킹어떨게 할까고민하는데

[익명(117.111)]

여기애들은 BM25 스코어링만들 생각을하네 대단한건지 바보인건지 ㅇㅇ;;

[포치포치타타(preheat0897)]

좆도 아닌걸로 고민하는구나 - dc App

[익명(117.111)]

개발에 좆도아닌게 어딨노이기야

[포치포치타타(preheat0897)]

고민 수준 보니깐 니 실력이 ㅈ도 아닌건 알겠음 - dc App

[익명(117.111)]

어디 범용모델 만드는 빅텍쯤 다니시길래 이런 디씨질기어들어와서 자존심채우시는지 궁금하군요

[포치포치타타(preheat0897)]

ㅈ밥이 좆도 아닌 RAG 깔짝 거리면서 꺼드럭 거리는게 아니꼬와서 시비 털어봤어요ㅇㅇ - dc App

[익명(117.111)]

@포치포치타타 걍 병신

[익명(121.178)]

혹시 이사람 네카라쿠배 구글코리아 맞나요?

[익명(121.178)]

걍 남들 만든거 쓰자는 마인드면 개발자 왜함 ㅋㅋ 코드몽키가 어울리겠노

[익명(121.178)]

ai한테 카프카 엘라스틱 서치 msa 딸깍 ~ 남들이 만든거 구현만 하면 되는데 bm25 스코어링 이런거 왜만드노? ㅋㅋㅋ 오픈소스 기여할 것도 아닌데~!~~

[포치포치타타(preheat0897)]

백터DB 저장도 이미 만들어진 임베딩 모델 사용하고 유사도 계산도 알아서 해주고 청킹도 랭체인 같은 프레임워크에서 제공하는 툴 사용할텐데 누가 보면 존나 대단한 개발하는 사람인줄 알겠네ㅋㅋㅋㅋ - dc App

[익명(121.178)]

@포치포치타타 애초에 글부터 시발 ㅋㅋ 취준생한테 열등감 그득그득 느껴지는게 보임 그냥 ㅋㅋㅋ 카프카 엘라스틱 서치 msa 만든 사람들은 뭐 신임? ㅋㅋ bm25 이런거 어떻게 만든거래? ㅋㅋ 개발자가 아니라 다른 무언가인가?ㅋㅋ

[익명(117.111)]

@포치포치타타 실무에서 랭체인 아무데도안씀;; 라즈베리파이같은거라 프로덕트에 안넣는데... 청킹도 의미기반으로해야해서 si성 분석개많이함

[익명(117.111)]

@포치포치타타 걍 취준중인 병신인걸로 판명 땅

[익명(121.178)]

@ㅇㅇ(117.111) 청킹 의미 기반으로 한다는 것도 결국 휴리스틱 룰 몇 개 넣는 거 아님?ㅋㅋㅋ 임베딩 모델이나 벡터DB는 똑같이 남이 만든 거 쓰잖아 ㅋㅋ BM25 직접 구현하는 건 원리 이해하려는 학습 목적인데, 그걸 바보 취급하면서 정작 본인은 뭘 직접 만들었는데? 엘라스틱 서치도 BM25 직접 구현해서 만들어진 툴인데 ES 만든 사람은 개발자가 아닌 다른 뭔 알고리즘 연구자 인가요? ㅋㅋㅋ 개발고점 존나 낮은게 보이네 그냥 ㅋㅋㅋ

[익명(117.111)]

@ㅇㅇ(121.178) 임베딩모델 직접 가중치조정하는 튜닝하는경우 많음. llm급 사이즈아니라서 싼마이 gpu로도 됨. 그리고 평가지표 조금이라도 더올리려고 그래프db까지 넣고 후처리 랭킹어떻게할지 poc하는 것도 많음. 원시인처럼 고점낮은 자료구조알고리즘으로 파느니 신경망으로 고점높이려는게 대세임

[포치포치타타(preheat0897)]

그냥 ㅈ도 모르면서 꺼드럭 거리는게 보여서 존나 꼴받음ㅇㅇ. 예시드는 것도 그냥 한숨 밖에 안나옴. 병신. - dc App

[익명(117.111)]

@포치포치타타 병신은 좀 빠지고

[익명(121.178)]

@ㅇㅇ(117.111) 흠.. BM25 같은 전통 알고리즘이 고점 낮다고? ㅋ 신경망만으로 키워드 정확 매칭 못 잡아서 BM25 앙상블하는 거 모름? ㅋㅋ

[익명(117.111)]

@ㅇㅇ(121.178) 고점이 낮다기보단 천장이 정해져있지. 거기 뚫으려고 딥러밍으로 어케해보려는거고 앙상블은 언제적얘기고 이젠 아예 랭킹도 언어모델한테 직접 시키는거모름? 앙상블은 차원축소 회귀분석 개조또별거아닌데

[익명(121.178)]

@ㅇㅇ(117.111) 오.. 그럼 LLM 리랭커 1차 후보군도 BM25나 벡터로 먼저 추리는건 알겠네?

[익명(121.178)]

@ㅇㅇ(117.111) 전체문서에 LLM 다 태우고 회사 파산시키면 되겠노 ㅋㅋㅋ Cohere , Pinecone 전부다 원시인 회사노 ㅋㅋ

[익명(121.178)]

@ㅇㅇ(117.111) 애초에 취준생 수준에 저정도까지 생각하는 것부터 존나 기특한데 취준생보다 몇년 더 일찍 태어나서 회사에서 일배운 새끼가 ㅋㅋ 자기 자신한테 투영해서 비교질 하는 것부터 니 고점은 딱 거기까지임 ㅋㅋ 위를 안보고 아래를 보고 있으니 ㅋㅋ

[익명(117.111)]

@ㅇㅇ(121.178) ㅂㅅ임? 전체문서를 llm에 왜 태워 후처리랭킹이 뭔소린 모름? 니 옛날식 리랭커 인코더랑 디코더랑 차이가 뭔진 아냐 ㅋㅋ 인제 gpt물어보고 오겠노 ㅋㅋㅋ

[익명(121.178)]

@ㅇㅇ(117.111) 논점 흐리지 마라.

[익명(121.178)]

@ㅇㅇ(117.111) 논점 쳐 흐리니까 다시 정정해줌 1. 니가 BM25 구현하는 취준생 병신 취급. 2. BM25가 니 최신 파이프라인에서도 1차 리트리버로 현역임. 3. 인코더 디코더 시험 보지 말고 답하셈 너 LLM 리랭커 파이프라인 1차 후보군 뭘로 뽑음?

[백갤러 2(180.70)]

@ㅇㅇ(117.111) bm25가 여전히 벡터검색 sota데 llm기반 리랭커나 dense retriv도 실무에서 레이턴시밀리면 다못씀 - dc App

[익명(dkypwputx7d3)]

일단 검색하고 리랭킹해야지

[백갤러 1(121.167)]

벡터 유사도랑 BM25 가지고 RRF 돌리는 게 일반적인뎅