[일반] 지금 집에서 돌릴정도로 경량화된 llm 있음?

[익명(14.52)]

a200 이런거 말구 4090정도로 돌릴만한거.. 관심생겨서 갖고 놀아보고 싶은데 라마가 오픈소스로 아는데 이쪽 찾아보면 되나

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

4090이면 8b나 12b 거뜬히 돌리고도 남음 모델은 aya-expensive나 exaone추천

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

32b는 돌릴 수 있을지 모르겠다.

[익명(14.52)]

ㄱㅅㄱㅅ

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

phi4도 exaone 살짝 앞선으로 성능 괜찮다고 하던데 가중치 몇개인지 몰?라

[익명(14.52)]

[ailover(photo7512)]

근데 로컬 돌려보고 아~~~ OAI 존나게 잘하고 있는거구나 할거임 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(14.52)]

하다못해 ai칩도 아니고 글카 단 하나로 돌리는건데 처참하긴 하겟지 ㅋㅋㅋ

[ailover(photo7512)]

그래도 재밌긴 하니까 해보셈 ㅎㅎ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(14.52)]