파이토치 모델을 서빙하는데 필요한 기술스택이 뭐가 있나요?
검색해보니까 파이토치 + onnx(아니면 torchserving?) + fastapi(같은 프레임워크) + 도커 + 쿠버네티스 + AWS + ...
이런 느낌이던데 이거 말고도 뭘 더 알아야 할까요
검색해보니까 파이토치 + onnx(아니면 torchserving?) + fastapi(같은 프레임워크) + 도커 + 쿠버네티스 + AWS + ...
이런 느낌이던데 이거 말고도 뭘 더 알아야 할까요
잘 모르지만 mlops쪽 찾아보면 될 듯?
오 감사합니다
fastapi 보다 그냥 litserve 같은거 보고하는게 10배쯤 편함. fastapi 래핑해놓은건데 dynamic batching이라던라 auto scaling 같은거 다 되어 있어서 - dc App
그리고 onnx나 tensorrt가 포맷이 통일되기도 하고 속도면에서도 좋아서 쓰는걸텐데 이거 변환 잘못하면 성능 떨어짐 만약 변환해서 쓸거면 tritorn이 제일 편할거 - dc App
옹 감사합니다