[%] 노가다 ON

[익명(61.80)]

크롤러 만드는중..

쉬운거부터 하고 있는데 크롤링된 데이터(csv) 용량 620GB네..

아마 저 목록 다 채우면 2테라짜리 SSD 꽉찰듯ㅋㅋ

[9rum(msh01170)]

Git LFS로 업로드하는건가?

[익명(175.223)]

ㄴㄴ; 저건 수집 모듈ㅋㅋ 저장은 AWS S3에 넣고 cloud front 박음

[9rum(msh01170)]

아하 근데 무엇을 크롤링하길래 용량이 620Gi나...?

[익명(175.223)]

케바케이긴한데 텍스트로만된건 용량 별로 안되고 보도자료랑 정부 데이터는 pdf+메타데이터라 이게 좀 크네

[휘발성(reduxx)]

관보를 모으네 ㄷㄷ 이유라도 있음?

[익명(211.194)]

다음 연구사업이라 ? Machine Readable 정부관련