증분 차분 다른거지만
아무튼 기초적인 개념자체는 비슷하니까 증분으로만 얘기할게(차분개념 있어도 그냥 넘어가고)
내가 원하는건 저기서 빨간색 full backup 부분은 list로 정보만 저장하고(상대경로,용량,수정날짜 등)
increment할때 그거 기반으로 추가하는걸 원함.
즉, 빨간건 10GB라고 치고 파란건 1GB라고 치면,
그림대로 가면 매일매일 기본10, 10 + 11, 10+11+12, 10+11+12+13 ... 이렇게 기하급수적으로 요구되는 용량이 증가함.
그런데 fullbackup을 리스트만 저장하고, 그거 기준으로 증차분을 시행하면
매일 1, 1, 1 ... 이렇게만 필요함(차분이면 1, 1+1, 2+1 ...)
풀백업을 시뮬레이션으로만 리스트 만들어주고, 증분을 그거 보고 맞춰주는 그런 백업프로그램 없냐??
일단 하나 괜찮아 보이는게
cobian backup이라는거 있던데
이건 복원기능이 걍 없음. 무조건 백업만 순증가 하는거라 동기화 미러링은 안됨.
그건 어떻게 스크립트 맞춰볼랬더니 또 단점이 발견된게 폴더 수정날짜가 변하면
폴더 전체를 백업해버리는 병신짓까지 하더라. 그래서 이건 기본 개념상 좋지만 포기.
다른걸로는
goodsync는 내가 그냥 일반적으로 쓰는건데
이건 반드시 사본 실물이 있어야만 되더라.
보기 좋은거랑 기능 자체는 이게 제일 좋은데, ftp로 대상으로 할건데
대상파일이 수만개 되니까 씨발 대상 분석만 몇십 분 걸리기도 함 ㅠㅠ
(그리고 나중에 보니 FTP에 수정날짜 안맞추고 고스란히 남기고 로그파일 기준으로 해서 변경위험 보여서 위험함)
결국 압축기능까지 포함해서 저걸 다 해야하는데
니들은 어떤식으로 파일들 백업,동기화,미러링하냐??
돈으로 해결해!!! 그게 안전하고 빨라
차라리 나스를 이용할까...
아니, FTP로 갱신체크하는데만 몇십분이 걸려버리니 ㅋㅋㅋ AWS 라이트세일 서버 쓰는거 하나있는데 그걸로는 1분컷 치더라. 근데 거긴 백업할곳이 아니라 쓸수가 없고... 근데 솔직히 1분도 길어. 로컬에서는 몇초면 끝날일이 ㅋㅋㅋ
일단 나같은 경우는 아예 자체적으로 인트라넷으로 구축해서 데이터 입력 포인트 서버와 데이터 출력 포인트 자체를 이원화 시켰어!! 어차피 데이터 백업용 아니야? 그리고 데이터 백업용 자체 프로그램을 만들었고, 통신은 UTP (UDP 아님)로 해서 입력서버1번이 1차로 네트워크를 통해 백업 받고 -> 2차로 UTP를 통해 전송 1번 서버가 게이트웨이 역활을 하면 2번 서버는 순수 백업 서버 그리고 3번 서버 구축해서 데이터 출력서버 이렇게 이원화 시키고
입력과 출력 서버를 통해서 네트워크 어넬라이져 프로그램 만들어서 모니터링 하고 여기서 이상한 프로세스 감지를 1차를 하고 2번 서버도 같은 상황 체크 3번 서버도 체크해서 외부 출력 되는 데이터를 감시하는 방향으로 구축해서 운영 하고 있어
우와... 본격적이네. 백업용이기도 한데, 증분 부분만 온라인의 서버 어딘가에 합치면서 다른 외부 원본에 덮어씌우는 것도 목적이거든. 예를들어 회사와 집에서 자료를 동기화 한다고 할때, 둘다 켜놓고 같이 동기화하는건 아니고, 회사에서 작업한거 증분부분은 서버에 올리고 집에와서 서버와 연결해서 복원 누르면 회사작업이랑 똑같이 미러링 동기화하는거임. 걍 서버대신 USB를 중심으로 goodsync로 미러링 하면 속도도 빠르고 복잡한게 없음. 용량도 거의 문제가 안되고.
근데 USB도 들고다니기 좀 귀찮잖아. USB 대신 서버로 대신하고 싶은데, 속도가 발목을 잡더라고. 속도도 문제지만 USB랑 할때랑 다르게 수정날짜가 또 씹창나더라. ㅠㅠ goodsync가 ftp지원은 하는데 파일 날짜 관리를 제대로 못하는거 같음. 그게 고민임. ㅠㅠ 잘보면 _gsdata_에서 대신 관리는 하는거 같긴 한데, 파일 수정 날짜가 동기화 안되는게 영 신경쓰임.
NAS도 써봤는데 별로.....................내가 옛날 방식이라 그런지 NAS 자체가 시스템 구성도 자체가 복잡하고 컨트롤하기에 제약이 있어서 솔루션 결합형 NAS는........... 왜냐하면 NAS도 감염되서 G랄도 풍년이 됬었거든!!!! 데이터 손상도 발생하고
그리고 대다수 악성프로그램은 출력 이력만 추적하면 판별 할 수 있고 인터넷 환경이 갖춰지지 않으면 작동을 안해서 데이터 출력 할때 이상 프로세스 감지해서 경고 창 뛰우고 스탑 시키고 추적해서 상세 데이터나 파일은 일단 가둬두고 미안하지만 나도 보안이나 네떡은 잘 몰라서 그냥 내 경험만 참고해 줬으면 해!!! 전문 용자님을 호출하는게 낫지 않을까?
보안도 신경써야할까... ㅠㅠ NAS나 FTP 같으면 암호만 잘걸면 안되는건가? ㅠㅠ
이거 구성방안 나도 고민했던 이유가 지금 진행하는 정부 프로젝트가 있는데 하루에 동기화 시켜서 백업해야 할 데이터 건수가 1일 87000건이거든!!!! 그 데이터가 AI 분석 서버로 이동해고 원시데이터 백업도 하고 원시데이터 기준으로 분석하고 결과 데이터만 다시 축출해서 예측 분석하는 AI서버로 가고 그리고 그걸 실시간으로 AI가 판단해서 결과나 예측을 해줘야 하는데 내가 대용량 처리에 대해서 경험이 부족하다 보니 요즘 테스트도 하면서 공부 하고 있거든 그래서 일단 이거 응용해서 내부 백업 및 보안 관리쪽으로 응용한거고 지금 공부 중이라 명확한 답변을 못주겠어
그냥 내가 잘 이해를 못할 수도 있어~@@@ 데이터를 박스라 하고 박스가 뒤죽박죽 쌓은다고 생각할께!! 대신 박스에 숫자가 있고 그 숫자를 기록하는 관리 프로그램만 만들어서 로그가 나오면 꼭 정리가 안되도 필요한 박스를 로그 정보를 통해서 추적해서 갖고 올 수 있잖아? 박스를 올바르게 쌓는 이유는 그만큼 순차적으로 쌓아야 내가 원하는 박스를 빨리 찾아서 가져 올 수 있으니깐 <--- 요건 그래서 속도를 개선 할 수 있는거고 우선 포커스를 속도냐 대용량이나 차이에 따라서 접근 방법이 달라질꺼고 그리고 거기에 따라서 확장해서 두마리 토끼를 잡을 수 있지 않을까? 다음주에 네떡 전문가 만나니깐 한번 물어 볼께~ 그리고 보안도 신경 쓸꺼면 3마리 토끼네!! 재미있네 (❁´◡`❁)