웹에서 소스 받고 소스 파싱해서 이미지랑 파일 긁어오는데 403이떠서 일단 헤더 조작으로 해결이 됫음


근데 헤더를 조작해도 계속 접속을 시도하니 중간중간에 다시 403이떠서 헤더를 여러개 만들어놓고 실패할때마다 순차적으로 갈아끼워보니 잘됨




질문할거는 헤더 조작전이야 그렇다쳐도 헤더 조작 이후에 간혹가다 403이 뜨는 원인, 이게 서버에서 알고서 막는건지 아니면 그냥 일시적인건지


그리고 만약 이런식의 크롤링이 들어왔을때 서버쪽에서 할 수 있는 대처가 궁금함, 거기에 맞춰서 내가 계속 바꿔야하니까...


일단 좃밥인 내 머리로 생각이 가능한건 당연히 내 파싱 키워드로 쓸만한걸 갈아치우는거랑


파일을 불러올때 시간변수를 줘서 어느정도 유효시간 지나면 요청 거부하는거 정도인데 다른게 또 있을까?