[일반] 맥으론 뭘 할수가 없네

[익명(106.101)]

양자화는 cuda아니면 지원안해줘서 LLM도 제대로 못다루고

그렇다고 디퓨전 하기엔 40번대 라인에 비해 속도 차이가 너무 심하고..

걍 ssh서버 따서 코딩하기 원툴용 노트북인거같음.. 그렇다고 도커돌리기엔 또 통합메모리라 모델 삑나고 ㅋㅋ

[윤하콘서트이번주에합니다아(mars7589)]

내_닉_네_임_봐_오_기_전_에_7_집_리_패_키_지_앨_범_꼭_듣_고_와_6_집_리_패_키_지_랑_4_집_도_듣_고_오_면_좋_아_전_부_앨_범_모_두_다_명_반_이_니_까_안_오_더_라_도_한_번_은_들_어_봐 (내 개인의 행동과 가_수의 책임 간에는 합당한 논리적 연결성이 x. 즉, '내 행동을 근거삼아 죄 없는 가_수에게 안티짓을 하겠다, 욕설과 성희롱을 히겠다'는 논리는, 논리적 오류_비형식적 오류 중 '연좌·정황 오류'에 해당함. 다시 말해, 간단한 오류이자, 악행임.)

[익명(118.235)]

얘는 시발 갤마다 다 있네

[익명(211.36)]

니 댓글보고 절대 안가기로 맘 먹었다 ㄱㅅ

[딥부이 1(14.40)]

이미 잘 만들어진 LLM 로컬에서 돌리기?

[딥부이 3(49.165)]

그정돈 할수있겠지만 그러려면 ram 뻥튀기해서 최소 64나 128로 써야된다는건데 심지어 그렇게 쓴다해도 워낙 mps 성능이 구데기라 글자하나 뱉는데도 시간이 오래걸린다는거

[딥부이 2(211.234)]

왜 꼭 로컬에서 돌려야함 - dc App

[딥부이 3(49.165)]

다른데서 32gb vram 가진거 찾으려면 당장 v100이나 5090인데 가격이 넘사고, 서버 빌려서 하는것도 결국 돈 안버리려면 중간에 에러나는 부분없이 실험하고 돌려봐야되는데 좀 한계가 빡세지 걍 이번에 엔비에서 나오는 개인용ai컴퓨터 디지트인가 그거 나오면 살라고 통합메모리 128이더만

[딥부이 3(49.165)]

걍 지금은 gpt유료 구독하는것보다 개인이 로컬에서 좋은 llm쓰는게 힘든 환경임