[일반] 백뉴비인데 도와주실분... ㅅㅂ

[익명(210.110)]

https://crwlnoti.shop

크롤노티 | 실시간 특가 커뮤니티

이 사이트 아키텍쳐가

쿠팡 웹사이트 -> 파이썬 크롤러 수집 -> mysql 저장 -> 아마존 ec2 서버에 스프링 부트 웹서버에 -> 마이바티스 -> 인터페이스 리액트 -> 사용자

맞나요?

프로젝트로 크롤링 사이트 만들어야 되는데 답이 없네요..

이거라도 클론 코딩하고 싶은데 어떻게 해야 될지 감 좀 알려주실 분..

[익명(223.62)]

저런 크롤러는 단순히 페이지만 긁어다 디비에 넣는 크롤러보다 훨씬 복잡한거임. 알고리즘 써야 하고 또 실시간 변경감지 기능도 있어야 하고 고려할게 많음 단순히 화면 요소 긁어다가 뿌려주는것도 크롤러라면 니가 말한 구조가 맞다

[익명(210.110)]

최대한 간단하게 스마트폰만 긁어서 가격 인하되면 화면에 뿌릴려고하는데 어케해야댈지 감이안오네요

[백갤러 1(125.180)]

안녕하세요. 위 사이트 개발자입니다. 늦은 글이지만 적어보겠습니다 크롤러 수집 -> 정보 처리 서버 보고(mongodb) -> 변경 사항 있을 시 웹 서버 전달(redis pubsub 이용) -> 웹페이지 업데이트(websocket 혹은 sse 이용) 간단한 프로젝트라면 실시간 업데이트 기능은 생략하고 크롤링 및 정보처리와 웹서버를 하나의 기기에서 담당해도 무방합니다. 현재 웹페이지는 바닐라 js를 이용하여 개발하고 있으나 기능이 많아지면서 관리가 힘들어 리액트로 개편할 예정입니다.