[{"title": "foo", "text": "bar"}, {"title": "sex1", "text": "sex2"}, ...... ]
이런 포맷의 파일이 있음
DB덤프인데 20GB쯤 되는 단일 json파일임
너무 크니까 한 번에 메모리에 올리지 않고 파싱하고 싶은데 뭐 써서 해야하는지 도움 좀
지금 해본건 BufReader로 1kb씩 읽어서 serde_json에 있는 디시리얼라이저에다가 하나씩 처넣어봤는데
이런식으로는 안되나봄 얘는 완벽한 json 스트링만 되는것 같은데
https://www.reddit.com/r/rust/comments/83a7iv/memoryefficient_parsing_of_a_large_amount_of_json/
https://docs.serde.rs/serde_json/struct.StreamDeserializer.html
https://github.com/simd-lite/simdjson-rs
이건 스트리밍 안되는거 같은데?
오 이걸 만들어야겟네 json 라이브러리 제작중이였는데 - dc App
러스트 갓갓이네 어려워서 포가했는뎅 - dc App
ㄱㅅㄱㅅ은근빡세네이거