[일반] FP32 to INT8 Convrot 직 양자화후 Fp16 Scale하기

[익명(61.75)]

WAN 2.2 I2v Lightx2v Distill 모델 2026년4월 모델 FP32버젼  58Gb+58GB 2개 (학습용 원본 공개됨)

고민하다가 이걸로 바로 INT8 Convrot 양자화 및 Scale 하기로 결정함

여기 나온 프로그램들은 전부 직접 만든 것들임.  검색해도 없음.

일단 INT8 Convrot 로 바꾸니깐 

어떤 블록은 INT8로 되고 어떤건 Float32로 남음.

근데 float32는 실제로 성능 향상 효과도 없고 성능에 악영향 줄 수 있어서

용량 큰 부분들은 FP16으로 된  모델과 부분 블록 교체함

WAN 2.2는 원래 원본이 FP16임. 


이렇게 해서 INT8 유지하면서도,  자기 사양에 맞게 부분적으로 조금 더 고성능인 모델을 만들 수 있음.

상황에 맞게 여러가지 단계적 버젼으로 만들면 유용할듯. 

어차피 INT8 로  근본적으로 속도 업 된 부분이 높으니 ㅋ

INT8 Convrot 품질 FP8보다 대체로 좋음

속도

GTX 1000번대 약 400%

RTX 3000번대 약 200% 이하

RTX 4/5000 +20~30%?

이건 LTX 직접 BF16 to INT Convrot변환시킨것인데

변환한다고 끝난게 아니라 , 추가로 1.5GB정도 분량의 블록을 BF16으로 다시 수동 병합시켜야 1차 완성임

아무튼 장점은. 모델  성능을 단계적으로 고성능으로  만들 수 있음. 아마 VRAM을 더 먹겠지만

1단계 2단계 3단계 등 종류도 여러가지로 매운맛을 만들수 있음

10초이하용 고퀄 모델
10~15초용 중퀄 모델
20~30초용 일반 모델

이런식으로 구성가능한데. 그것도 레이어 구성에 따라 종류가 나뉠듯.

어떤게 어떻게 좋은지는 나도 모름 바꿔서 비교 해보면서 파악해야지.

아무튼 BF16요소를 내 입맛대로 좀 더 써먹을 수 있다는거

내가 직접 만들어서 웹에 올려서 써야지 ㅋ 

 ideogram, flux, krea, anima

https://i.postimg.cc/KGzryJX3/kitty.webp

[ㅇㅇ 1(124.199)]

짤 진짜 개좇같네

[ㅇㅇ 2(14.42)]

퀄리티 처참하누