일단 자바기반 솔루션은 전부 버림

자바 기반 빅데이타 솔루션은 사용량 적을수록 리소스 효율 씹창남 아무것도 안하고 켜놓기만해도 카프카, es, 스파크 인스턴스당 메모리 1G씩 먹고들어감 돈먹는하마임 개인이 토이프젝하기엔 매우 부적절함





인프라는 gke씀 계정당 클러스터 하나씩 공짜임
토이프젝에 k8s쓰면 좋음 왜냐면 오토스케일링이랑 패킹알아서 해주니까 비용도 아끼고
무엇보다 무지성으로 마우스딸깍딸깍해서 helm 차트 이것저것 설치해보고 비교해볼수있음
모니터링도 프로메테우스 그라파나 loki 스택 설치하면 그냥 자동으로됨 개꿀임




러스트가 의외로 토이프젝하기 좋음 개발시간은 많이들지만 리소스는 적게듬 겜창들이 재밌고 어렵고 플레이타임 긴 게임 좋아하는거랑 비슷한 원리일꺼같음




카프카는 nats jetstream으로 대체하고

에어플로우는 argo로 대체함

es는 clickhouse로 대체하고싶은데 완전 대체가 될지는 모르겠음 fts때매 대체가 어려울꺼같기도함

스파크는 아직 어케 대체해야할지 모르겠음 작은 데이타는 polars같은걸로 대체 가능할꺼같은데 큰 데이타는 ballista랑 timely가 젤 유력한거같은데 전자는 아직 개발중이고 후자는 실제로 사용하는 경우를 못봄..

어쩌면 스파크는 그냥 그대로 써도 괜찮을꺼같음 보통 배치작업할때 쓸태니까 하루에 한번씩만 몰아서 돌리면 오토스케일링덕분에 돈 거의 안나갈꺼같음

아니면 전형적인 etl만 할 계획이면 빅쿼리 대신써도 괜찮을듯 빅쿼리 + 데이타스튜디오 싸고 쉽고 좋더라..




딥러닝쪽은 서비스 경험이 없어서 모르겠음 gpu머신 오질나게 비싸던데 저비용으로 딥러닝을 서비스할수 있을지부터가 의문임 cpu에서 돌아갈만한 모델만 쓰면 되려나? 클라이언트 단에서 돌아가도록 설계하고 tfjs같은거 쓰면 되려나? 딥러닝 서비스만 빼서 내 개인 데스크탑에 띄어놓으면 되나? 잘 모르겠음..