오늘은 크롤링할때 아이피 차단당하는걸 막기위해


클라우드에 프록시풀을 deploy하고 관리하는 라이브러리를 만들거임




마스터 프록시를 통해 요청을 보내면


알아서 프록시 풀중 하나를 적절히 선택해서 요청을 체이닝하도록 만들거임




요청에서 타겟 리모트 호스트별로 프록시풀에 있는 슬레이브들의 쓰루풋이 일정하도록 만들거임


만약 쓰루풋이 적정치를 넘으면 새로운 프록시 슬레이브를 deploy하고


적정치보다 낮으면 다시 파괴하는식으로 autoscailing하게 만들거임


그리고 슬레이브들의 수명을 정해서 수명이 다된 슬레이브는 자동으로 파괴되도록 만들거임




이게 오늘 할 일임