지금 vram 32gb, ram 96gb 환경으로 로컬ai 구축해서 돌리고있음.


고등학교 애들 교육용으로 좀 써보려고 di.fy 구축해놨는데, 또 다른 좋은 아이디어 있음?


지금 gemma3 27b 4bit모델 엄청 쾌적하게 돌아가고


120b 모델은 많이 무겁게 돌아감.


이미지, 영상 생성기능은 최대한 안쓰려고. 락 걸기도 힘들고, 나 안보는사이 애들이 뭔짓을 할지 모르겠음