si 2년찬데 카프카로 분산처리 하는데 어느정도 난이도임?

[익명(211.36)]

스프링부트에서 비정형데이터들 카프카로 받아서

몽고디비 다섯개에 분산처리 하라는데

굴러가게만만들고 2개월 시간 준다함

[익명(118.34)]

일주일컷

[프갤러 1(222.109)]

나도 2년차때 카프카랑 레드쉬프트랑 몽고디비 해가지고 인스타 데이터 뽑아내는거 1달 줬음 저거 설정하는건 별로 안어려운데 스케줄러 3~4개 돌아가다가 타이밍 안맞아서 좆되는 경우가 좀 있었어서 너가 어떤거 작업하는건지는 모르겠는데 오히려 로직에서 동시성 이슈가 있을거임

[프갤러 1(222.109)]

si는 아니고 좆타트업이었음

[익명(211.36)]

키프키로 받으면 동시성 이슈 사라지는거아님? 그리고 동시성이슈 생기면 뭐가 문제임?

[프갤러 1(222.109)]

서비스 로직이 뭐냐에 따라서 다르겠지? 카프카로 오프셋 조절하면서 각자 받아도 생길수있고 동시성 이슈 생기면 문제가 ㅈㄴ크지 검색 좀만 해봐

[익명(110.9)]

인스타 데이터 api 같은거로 호출해서 저장해주는거였음?

[프갤러 1(222.109)]

그치 좀 딥하게 들어가면 퍼블릭 api는 아니고 집단지성으로 외국인들이 메타애들이 쓰는 프라이빗 api 뚫어둔거 있음 그거 주로 쓰다가 막혀가지고 중간에 프록시 서버 둬가지고 패킷 오고가는거 확인해서 어떤 지랄해놨는지 분석하고 다시 뚫음

[프갤러 1(222.109)]

관심 있으면
https://github.com/subzeroid/instagrapi
이거 받아서 해봐 재밌음

[뉴진파(newjeanpa)]

이렁거 하려면 네트워크 공부해야되요? - dc App

[프갤러 1(222.109)]

그쵸? 네트워크 모르면 어떻게 접근해야할지 아이디어도 안떠올라요

[뉴진파(newjeanpa)]

네트워크 다음은 멀 알아야하나요 ㅇㅅㅇ - dc App

[프갤러 1(222.109)]

음... 문제해결력이 그 다음 제일 중요할 것 같아요 네트워크 기반지식으로 어떻게 접근해서 탈취해낼지를 설계를해야하니까여

[뉴진파(newjeanpa)]

[익명(121.129)]

걍 수습 기간 맞춰서 부려먹고 자르려는거 아님?