[일반] 그래픽카드 하나 있다고 쓸만한 인공지능 굴릴수 있을까 ?

[익명(adlatl)]

엔비디아 그래픽카드 한개로 어떤 인공지능이 가능한거냐

[익명(106.101)]

로컬 굴리는 애들 꽤 있음 대신 4090 두개로 돌리더라

[익명(adlatl)]

차라리 챗지피티 유료가입이 나을듯

[마늘고양이(pipe1582)]

4090 한장이면 라마3 60B 정도 굴릴 수 있고 그 이하는 8B

[익명(112.165)]

못굴림 그정도로

[마늘고양이(pipe1582)]

양자화 하면 됨

[마늘고양이(pipe1582)]

4~5 비트 정도면 성능 저하 없음

[익명(112.165)]

성능저하있는데

[마늘고양이(pipe1582)]

없는데

[익명(121.137)]

곧 5000번대나오니까 보고 판단하면될듯

[익명(death0877)]

라마 8b는 로컬 가능하지 않았나