자바에서 병렬로 10개의 작업을 처리할때
그에 맞춰 멀티쓰레드와 쓰레드풀 갯수를 정하고 생명주기를 관리하면 됩니다.

파이썬에선 그럼 어떨까요??

GIL 때문에 동시에 하나의 쓰레드만 점유하게되는데

자세한건 잘 모릅니노.

저의 작업은 수십만개 이상의 비정형데이터를 llm에 던져
요약한 내용을 받아오는 작업인데, 10개씩 병렬처리하려고합니다

10개의 네트워크IO 작업을 병렬 실행하기 위해서

코루틴 집계함수에 여러개의 코루틴 함수를 리스트로 전달하면

*동시실행* 되는것처럼 보이지만 실질적으로 이벤트 루프의 스케쥴링에 맞춰 컨텍스트 스위칭이 재빠르게 일어날뿐리죠

worker 10개를 미리 할당한들 컨텍스트 스위칭으로 인한 비용만이 감소될 뿐이고..

온전히 동시실행을 보장하려면 어떻게 접근하면 좋을까요?

멀티프로세싱이나 메시지큐 사용은 제한됨

비전공 국비 1년차라 멍청함..

- dc official App