32gb로는 30b도 버거울텐데. 양자화해도 음..
테스트중인데 쓸만함
@글쓴 ㅇㅇ(211.106) 의외네. 30b 메모리 상당히 먹을거같은데 음
@글쓴 ㅇㅇ(211.106) 그리고 m4 쓴다고 한다면 m4하고 m4 pro하고 대역폭이 두배 차이나는데 m4 pro가 더 나을수도.
@청나라상인 맞음 대역폭땜에 이왕이면 프로쓰는게 맞는데 가격이 2배가 넘음.. 그리고 램도 진짜 맥스치 수준이긴 함 oss 20b가 안정적이긴 해서 얘 쓰고있음 30b로 돌아가는건 확인함
32까지도 그냥 이도저도 안되는 병신임 진짜 몰트북 저런거 쓸거면 걍 16 사놓고 돌려놓는게 나을듯
32는 30b 모델 돌려서 나름 괜찮
32gb로는 30b도 버거울텐데. 양자화해도 음..
테스트중인데 쓸만함
@글쓴 ㅇㅇ(211.106) 의외네. 30b 메모리 상당히 먹을거같은데 음
@글쓴 ㅇㅇ(211.106) 그리고 m4 쓴다고 한다면 m4하고 m4 pro하고 대역폭이 두배 차이나는데 m4 pro가 더 나을수도.
@청나라상인 맞음 대역폭땜에 이왕이면 프로쓰는게 맞는데 가격이 2배가 넘음.. 그리고 램도 진짜 맥스치 수준이긴 함 oss 20b가 안정적이긴 해서 얘 쓰고있음 30b로 돌아가는건 확인함
32까지도 그냥 이도저도 안되는 병신임 진짜 몰트북 저런거 쓸거면 걍 16 사놓고 돌려놓는게 나을듯
32는 30b 모델 돌려서 나름 괜찮