엑셀 vba로 개발하고 있는데 여기 물어보는게 좋다고 해서 와봄;;


Raw 데이터는 csv파일에 개당 8~40mb쯤 되고 한번에 4~12개 정도 입력받아서

필요한 파라미터 값만 뽑아다가 자동으로 분류하고 그래프 그려주는 툴이거든.

일단 현재 초기 버전은 다 개발해서 쓰고 있는데 속도가 느리다는 얘기가 있어서 코드 최적화 or 다시 만들려고 고민중임


일단 지금 초기버전은 Raw 파일 하나씩 읽어와서 임시 시트에 필요 값만 적어넣고 꺼주는 식이고

임시 시트에 누적된 내용을 파라미터별로 재배치한 뒤 그래프 그려주는 식으로 플로우가 짜여져있음

램은 항상 200mb언더로 먹어서 테스트삼아 돌렸을땐 Raw파일 60개 넣어도 터질일은 없었음


Raw 데이터를 싹다 배열로 램에 올려서 만진다면 단순계산으로는 32~480mb정도 필요할거같은데

이게 파일 열고 값 읽어오고 하는 과정에서 순간적으로 메모리 사용량이 올라갈 수 있다고 하더라고;;

물론 메모리 용량 넘어가면 터지는거고..


이게 사용량이 순간적으로 튄다는게 얼마나 올라가는지 모르겠어서

Raw파일을 3차원 배열로 넣고 돌려도 문제없는지 확인받고 손대보려는뎅

혹시 이런식의 데이터 분석툴 개발 경험 있는 사람있음?


배열말고 뭔가 또 다른 핸들링 방법이 있다면 조언 부탁함..