이번에 프로젝트에서 비즈니스 로직 구현한 것 중 하나가 크롤링이었는데
1. 사이트 한 번 훑어서 임베딩된 링크들 수집
2. 임베딩된 링크들 전체적으로 훑어서 통계치 수집
대강 이러한 절차를 처음엔 순차적으로 처리했는데 거의 6~7분이 소요됐음
이걸 병렬 처리로 바꾸고 20초 내외로 줄였는데 성능 개선으로 치면 20배 개선임
근데 다른 프로젝트에서 장기적으로 성능 개선한 경험이 없어서 이거라도 넣고 싶은데 사기치는 느낌이라 ㅅㅂ 마이너스만 될 거 같아서;;
학교 취업지원팀에선 넣으라 하고 개발자 톡방에선 빼라 하고 누구 장단에 맞춰야 하냐
1. 사이트 한 번 훑어서 임베딩된 링크들 수집
2. 임베딩된 링크들 전체적으로 훑어서 통계치 수집
대강 이러한 절차를 처음엔 순차적으로 처리했는데 거의 6~7분이 소요됐음
이걸 병렬 처리로 바꾸고 20초 내외로 줄였는데 성능 개선으로 치면 20배 개선임
근데 다른 프로젝트에서 장기적으로 성능 개선한 경험이 없어서 이거라도 넣고 싶은데 사기치는 느낌이라 ㅅㅂ 마이너스만 될 거 같아서;;
학교 취업지원팀에선 넣으라 하고 개발자 톡방에선 빼라 하고 누구 장단에 맞춰야 하냐
성능개선 경험 좋지. 특히 네가 쓴대로 정확한 수치로 표현하는게 좋다고들 하더라 개발자 톡방에서 쓰지 말라고 하는 이유는 크롤링이나 병렬 처리 같은 기술이 그리 깊은 기술이 아니라서 쓰지 말라고 하는거 같기도 한데 포폴에 쓸거 없으면 뭐라도 써야지 뭐
하긴 딱히 쓸 게 없으면 저거라도 쓰는 게 맞지.. 뭣도 없으면서 너무 욕심부렸네 ㄱㅅㄱㅅ
신입이면 신입인거 감안해서 볼 거니까 적고 경력이면 적지말고 최초 구현을 이상하게 했으면 20배든 100배든 만들어낼 수 있을테니 배수 자체보다는 개선을 어떤 방식으로 했는지에 관심이 있을 듯. 그걸 잘 적어봐