[일반] Auto regressive 모델 인퍼런스 속도 올리는법 없음?

[11(222.100)]

Onnx나 tensorrt 쓰면 빨라짐?



인풋 아웃풋 frame마다 읽고 쓰는게 시간 다 잡아 먹는거 같음

[익명(23.119)]

그게 근본적인 한계라서 ..

[1(59.16)]

ㅠㅠ chunk recurrent forwarding이 답인 거신가

[익명(203.230)]

그런건 실제 코드를 까보기전엔 모르지