250만건 nginx 접속로그를 분석해야할일이 생겼다
일단 2주치정도 가지고있는데 전체 데이터사이즈가 150기가정도 되는듯하다(10.xx*14)
파이썬으로 인메모리 분석해보려다가 도저히 사이즈가 안나와서 때려쳤다.
데이터베이스나 elk같은 분석프로그램 써야하나 싶기도 한데 로그분석하는데 저거 구축하다가 시간더걸릴거같아서 마지막 보루로 남겨둘려고한다.
별다른 툴쓰지않고 간단하고 빠르게 분석할수있는 방법이 있으면 알려줘라...
참고로 파일은 json포맷으로 되어있음
댓글 0