[일반] 라마3 100b가 gpt-4급이라고 해도 문제는

[익명(110.145)]

지금 라마2 70b도 2-2.5비트 양자화 해야 4090 24기가램에 겨우 들어가는데

100b면

이걸 로컬이라 부를수 있는거냐?

참고로 오픈소스 로컬(?)중 가장큰 팰콘180b 추론하는데만 320기가 vram 필요함 (a100 80기가 4개)

[익명(14.6)]

참고 : 다음5090 vram사이즈는 36gb or 48gb로 예측중

[익명(211.57)]

엔비디아는 vram 좀 팍팍 넣어주면 안되나

[익명(59.15)]

대체 얼마일까.. 500만원 넘는거 아니냐 황회장 하는 꼬라지보면

[익명(landofooo)]

VRAM 많이 안넣어도 존나잘팔리거든 ㅋㅋㅋㅋㅋㅋㅋㅋ 이래서 독점이 문제인거

[익명(14.6)]

이유 : 다음gdd7용량모듈이 개당2gb->3gb로 늘어나기때문에 일반적으로 12개박는 구성시 36gb 다만 3gb양산했다는 소식은 없어서 그대로 2gb모듈로 똑같이 구성할시 24gb동일유지할 가능성도있음 허나 ai소비자 컨텐츠확산헤게모니를 쥐고싶어하는 엔비디아라면 1gb모듈 양면으로 박은 3090처럼 2gb모듈 양면으로 박아넣으면 48gb가능