[일반] oss 120 올라마 터보로 쓰는데 진짜 죽이넹

[먼데이(await3622)]

이런게 오픈소스라니 진짜.. 전설이다

물론 집에선 못돌리고 올라마 클라우드로 써보는데 

엄청 빠르고 장난아님..

[ㅇㅇ 1(39.113)]

집에서도 5090 두장으로 구동가능

[먼데이(await3622)]

그럼 8백만원 아냐..?;;;

[ㅇㅇ 1(39.113)]

4비트 양자화 하면 딱 61~63기가 씀

[먼데이(await3622)]

@ㅇㅇ1(39.113) 4비트 양자화된 모델 5090두장으로 돌리는거야?

[ㅇㅇ 2(121.177)]

와.. 120b 돌아감?

[윈터홀드임상강사(kthy2451)]

올라마 클라우드가 있음? 첨알았네 - dc App

[먼데이(await3622)]

올라마에 터보버튼 잇는데 그게 클라우드로 동작하는거임

[윈터홀드임상강사(kthy2451)]

어머나시발 당장 다시깔아야지 - dc App

[먼데이(await3622)]

@윈터홀드임상강사 구독20달러인데 지금은 프리뷰라서 무료인듯