예를들어 수리용 컴퓨터 부품 질문하면
그 부품 취급하는 중국 공장들도 모두 각자 홈페이지와 게시판 형식 웹을 보유하고 있고
그 사이트마다의 유니크한 정보들이 많잖아?
아무리 그래도 10만개 정도 게시물은 들여다 봐야 99.9%의 정보가 나올텐데
검색 결과보면 무슨 시발 32개 들여다 보고 끝?
이런식이라
마이너한 포럼이나 게시판 하나하나에 진짜 정보들이 있는건데 너무 피상적인데
이게 어려운건 아니지 않나?
기술적 문제가 아니라 그냥 트래픽이나 돈절약 그런건가?
가장 유사하거나 정확한 정보를 선별하는 알고리즘이 있을거고, 그 알고리즘으로 30개 선별한거라, 트래픽 기준 효용으로 따지면 그 이상 찾는게 크게 의미 없을껄? 차라리 선별 알고리즘을 깎는게 나을듯
결과물을 보면 너무 피상적이라 진짜 업무에는 써먹지 못할 수준이던데... reddit에 관련 포럼만 뒤져봐도 진짜 유저 경험이나 부품에 문제 있고 주의해야 하는 부분들 정보도 나오거든. 무슨 네이버에서 그냥 딸깍 검색어 친 수준 정보 밖에 안나오는데... 딥식도 그렇고 구글이나 oai 모두 검색기능 형편없음. 피상적인 정보 원하면 그냥 구글에 치는게 더 빠르니 사실상 못써먹잖아?
글긴 하지, 관련 정보 많은 사이트 특정해서 그 사이트 위주로 검색해달라고 하면 해주던디
기술적으로 따지면 검색만 전문으로 하는 ai와 llm을 분리하면 되긴할건데 그걸 유저는 못하지
n8n 크롤링 관련 유튜브에서 찾아보고 따라하면 될 듯