3천번대 4비트양자화안되서 딥러닝용으로 쓰레기다 ㅇㅇ

[익명(125.131)]

50번대는 이게가능해서 vram을 2배늘린효과를볼수있는데 3천번대는불가능임

[익명(61.79)]

사천번대는?

[익명(223.38)]

3천번 fp16비트 4천번 fp8 2천번 fp4

[익명(223.38)]

@ㅇㅇ(223.38) 2가 아니라 5

[익명(223.38)]

근데 fp4는 그만큼 결과물이 조잡해서 항상 쓴다는 아님

[익명(61.79)]

4070으로 파인튜닝 하는데 6시간 걸린다는거 10%쯤부터 개떡락하더니 2일 걸리는거 때문에 가볼까 하는데..