안녕하세요. 자바 스프링 포폴 주제에 관해서 질문 좀 드릴려고 합니다.
포폴용 프로젝트로 처음에 상품을 검색하면 여러 오픈 마켓(쿠팡, g마켓, ssg 등)에서 한번에
최저가부터 검색한 상품을 보여주는 그런 것을 만들까 생각했는데요..
제 생각에 이건 그냥 오픈마켓별로 api를 호출해서 뿌려주는게 끝인 것 같아서
db를 어느 부분에서 사용해야할지 감이 잘 안잡힙니다
그래서 너무 별로인가 싶어서 그냥 영화 예매 사이트 해야하나 생각중인데..
어느 부분에서 db를 활용할 수 있을까요? 아니면 그냥 예매 사이트나 해야할까요?
조언좀 주시면 감사하겠습니다.
웹플럭스랑 가상쓰레드 이용해서 초저지연 경매사이트 ㄱㄱ
이거 1개면 신입 포폴로 떡을 침
찜하기?
회원가입 + 찜하기 정도?
@학벌안좋은취준생 조언 감사합니다!
1. 그런 사이트들이 정직하게 가격api 제공할거같음? 에누리나 다나와 이런곳은 돈주고 하거나 불법 크롤링임. 2.그때그때 api 호출하는건 에초에 성능이 너무 구림. 상품 하나 누를때마다 5개이상의 쇼핑몰 api를 호출한다? 그럼 최초에 가격검색 상품검색은 어떻게 할거임. 3. 결론은뭐다? 상품마다 미리미리 크롤링(api호출)해서 데이터 불러와서 적재하고 처리해두는거지. 그걸 위해서 변경된 데이터만 증분 처리하는 작업이나, 스트리밍 플랫폼(카프카같이)랑 연계해서 각 크롤러들에게서 데이터 받아와서 처리하는 프로세스 분리하고 아키텍쳐 구축하면 좋을듯
감사합니다. 선생님 그런데 쿠팡 api나 g마켓 api등 이렇게 검색하니 각 플랫폼에서 상품 조회 api 같은거 제공하던데.. 이건 좀 다른걸가요?? 그리고 3번에서 조언 주셨는데요, 그러니까 사용자가 상품검색마다 각각 플랫폼에서 api호출해서 뿌려대면 답도 없고 느리니 카프카? 라는 곳에 미리 데이터 뿌려주고 저는 거기서 가져오라는 말씀이죠?? 그리고 추가 DB 사용처 같은건 없을가요..DB도 써야할 것 같은데..
@ㅇㅇ(125.242) 애초에 적제한 데이터를 검색 하거나 가져오는거에서 db를 제일 많이 쓰지 않을가 싶어요. 뭐 es까진 아니더라도 fts정도만 해도..
그거 다 크롤링이고 실시간 아님. 그래서 막상 링크타고가면 가격 다른걍우 많음