파일은 한번에 쓰는게 좋은거지?

[익명(27.255)]

크롤러 만들고 있는데 루프를 2천개 돌아

그런데 지금은 파일을 한번만 쓰려고

루프 2천개 다 돈 다음 csv 저장을 한번만 하거든

그런데 이렇게 하다보니까 루프 돌다가 뻑나니까

루프 1천개 이상 돌은게 다 날라갔는데

csv 저장하는 부분을 루프안에 넣으면 저렇게 되더라도 저장은 되겠지만

파일 쓰는걸 2천번 해야 되는데 이러면 안좋은거 아님?

[ㅇ(211.221)]

저장하는 기능을 분리해서 적정 개수마다 저장하게 하면 되잖아 1개 아니면 2천개는 너무 모아니면 도 아니냐

[익명(27.255)]

변수 회차 카운트 쌓다가 100회 마다 한번씩 저장 이렇게 하면 되는거지?

[ㅇ(211.221)]

단순하게는 그렇지 이번 케이스는 단순한게 갑일거같다

[익명(27.255)]

고마워 if n0==0 : 이렇게 해결했음

[익명(27.255)]

엥 퍼센트가 안적히네 여기는

[ㅇ(211.221)]

이스케이프 돼서 그렇다

[ㅁㅁ(121.143)]

예외처리를 하세요

[익명(122.45)]

왜케 애가 극단적이누 ㅋㅋ

[ㅁㅁ(121.143)]

멀티프로세싱 쓰세요

[익명(27.255)]

저 파이썬 2일차임 그런거 몰라요

[ㅁㅁ(121.143)]

파이썬 멀티프로세싱 검색하면 나와요

[익명(27.255)]

검색해봤는데 저게 제 질문이랑 무슨 상관이죠...?

[익명(27.255)]

어쨌든 이거 알려줘서 고마워요 나중에 써먹을일 있을것 같아요 근데 크롤링은 멀티프로세싱이랑 관계 없죠? cpu 더 돌린다고 접속을 4개 하는건 아니니까??

[ㅁㅁ(121.143)]

뻑나는게 프로그램이 튕기는거? 아님 화면이 그냥 멈추는거?

[익명(27.255)]

아뇨 루프가 끝까지 다 안돌고 에러나는거요

[ㅁㅁ(121.143)]

크롤링 하는 거면 html구조가 일정한 패턴이 있을 텐데 왜 에러가나요? 에러명 나온거 있지 ㅇ낳음?

[익명(27.255)]

페이지 마다 데이터가 달라서 index length 에러 나서요

[ㅁㅁ(121.143)]

그럼 인덱스로하지말고 딕셔너리써

[ㅁㅁ(121.143)]

멀티프로세싱할 때 4개 설정하면 브라우저 한 번에 4개 띄어

[익명(27.255)]

헐 진짜? 그럼 서버에서 차단 당하지 않을까요?

[ㅁㅁ(121.143)]

훨씬 빨라짐

[ㅁㅁ(121.143)]

차단하는 곳도 있고 없는 곳도 있고