기존에 하려던것))
스프링 서버가 코스피 200 종목 주식가격 크롤링해서 my sql에 저장하고 (각 종목이 컬럼으로 원테이블)
이걸 R이 읽어서 데이터 분석 및 시각화
JSP로 그래프 및 UI구성
이렇게 했는데 너무 느려터져서 뭘 할 수가 없음
다시 만들려는것))
기본적으로 스프링 서버가 크롤링으로 코스피 200 종목을 10분에 한번씩 주식 가격을 긁어와서
카프카에 저장
카프카에 저장된걸 로그 스태시로 엘라스틱 서치에 저장
엘라스틱 서치에 저장된걸 스파크로 분석 및 키바나로 그래프 그림
쓸수 있는 서버가 하나 밖에 없는데
이렇게 ELK + Spark사용하면 기존보다는 조금 쓸만 해 짐??
다하면 나도 공유좀
짬짬이 하는거라서 성능 또 족가치 나올꺼 같으면 다른길 알아볼꺼임
기존에 하던 게 어디가 느렸던 건데? 카프카 쓰고 ELK 쓰면 빨라지는 거 맞어?
저 무지막지한 테이블을 R이 읽고 쓰기가 느림
그럼 R로 하던 로직을 스파크로 옮긴다는 소리인데 흠 그래
컴이 많으면 메세지 기반으로 돌아가서 db거치는거 보단 빨라지긴 할꺼 같은데 문제는 원컴이라서 저래 돌리는게 더 빡셀수도 있을꺼같아서
가용자원 상세스펫 읊어봐
해당 댓글은 삭제되었습니다.
내 컴은 i7 16GB 똥 컴인데 나중에 회사 교육비신청해서 클라우드 서버 몇개 받아 놓을 경우를 생각해서 ELK스택으로 짜 놓으려는 거임
문제는 고작 크롤링해서 주가를 받아 저장하는데 이런짓 까지 해야 되는건가 싶은거임... 하루에 200컬럼 짜리를 1분에 한번씩 저장하니까 200 X (60*6)개인데