이번에 프로젝트에서 비즈니스 로직 구현한 것 중 하나가 크롤링이었는데


1. 사이트 한 번 훑어서 임베딩된 링크들 수집
2. 임베딩된 링크들 전체적으로 훑어서 통계치 수집

대강 이러한 절차를 처음엔 순차적으로 처리했는데 거의 6~7분이 소요됐음

이걸 병렬 처리로 바꾸고 20초 내외로 줄였는데 성능 개선으로 치면 20배 개선임


근데 다른 프로젝트에서 장기적으로 성능 개선한 경험이 없어서 이거라도 넣고 싶은데 사기치는 느낌이라 ㅅㅂ 마이너스만 될 거 같아서;;


학교 취업지원팀에선 넣으라 하고 개발자 톡방에선 빼라 하고 누구 장단에 맞춰야 하냐