스케쥴러 돌려서 페이지 스크래핑하는데
거기서 들어오는 데이터 가공처리하는데 중복이 생기더라고
그냥 DB저장된 데이터와 일일이 대조하는게 베스트인가?
해싱도 생각했는데 그러면 데이터 저장할때 해쉬값이랑 같이 저장해서 해당 해쉬값이 있는지 확인하는게 나을까?
아님 다른 방법 있으려나
거기서 들어오는 데이터 가공처리하는데 중복이 생기더라고
그냥 DB저장된 데이터와 일일이 대조하는게 베스트인가?
해싱도 생각했는데 그러면 데이터 저장할때 해쉬값이랑 같이 저장해서 해당 해쉬값이 있는지 확인하는게 나을까?
아님 다른 방법 있으려나
유니크 걸어버리면됨
전제가 너무 부족해서 답변하기가 난해하다
스크래핑 해오는 사이트에서 매주 일정을 갱신해주는데 일정 중 일부 데이터를 저장함 지난주 마지막 데이터가 남아있는 경우가 있음 근데 그 데이터가 중복이 되면 문제가 생기는 상황
중복되는 데이터가 봐줄만한 정도면 걍 가공시에 중복 제거를 하면 되지 않을까