airflow로 매일 etl하는데

이번에 추가된 모델이 좀 양이 많은지 한건당 4000만 레코드가 업데이트 되거나 삽입되야함

일단 그냥 때려박아봤는데 메모리가 터져버림

(완전히 한번에 박은건 아니고 10만개 정도로 나눠서)


근데 4천만개가 많은건지 적은건지 경험이 없어서 어떻게 해결하는게 최선일지 감이 안잡힘

4천만이 그렇게 많은건 아니라고 하면 데이터 준비 단계부터 수정해야 할 것 같은데

그게 아니면 디스크에 덤핑하면서 해야하나 싶기도 하고

일단 문제 확인만 하고 내일의 나한테 미뤄뒀음


이 업무가 내가 오고나서 처음 하는거라 물어볼 사람도 딱히 없음


사용 db는 postgresql임