[일반] 로컬llm이 그렇게 좆구림?

[익명(pleasant3390)]

그 옛날에쓰던 소넷3.5정도 성능도 못뽑아줌 ??

5090에 램128기가박힌 pc로 한번 해볼라하는데 개인피씨로 아무리 업그레이드해봤자 데이터센터급에서 쓰는 상용모델은 역시 절대 못이기는건가

[귀가있는로봇의노래(function8845)]

소넷 3.5급은 안나옴 그 바로 아랫급까진 될지도

[귀가있는로봇의노래(function8845)]

물론 한국어 성능이나 감성지능 같은 부분은 거기에 한참 못미칠것

[익명(pleasant3390)]

로컬에서 소넷3.5급성능이면 ㄱㅆㅅㅌㅊ였구나.. 후

[익명(economy0682)]

젬미니 플래시나 따면 용하지

[ㅇㅇ 1(116.35)]

특별한 용도 오픈소스 아니고서야 일반 LLM은 성능대비 비용이 말도 안되게 싸져서

[익명(ounce1352)]

로컬 가능은하지 준비물이 h100 3장 이상인게 문제일뿐

[익명(pleasant3390)]

h100 3장씩 박으면 gpt나 클로드 몇정도 성능 나올라나... 1억이훌쩍넘는데