[일반] 중견규모이상 회사에서는 라마3.1 많이 사용하겠네

[익명(125.131)]

api 쓰면  서버에서 들려다볼수있으니 찜찜한데

로컬데이터 센터에 설치하면 되니까..

[익명(125.131)]

기존 기업들 수익 계속 하락하겠구먼

[익명(183.108)]

라마는 원래 꽤 많이 썼지

[익명(1.247)]

개인도 프로슈머나 얼리어답터면 70b정도는 갖고 놀기 가능하니까 엄청 좋지

[익명(117.110)]

개인이 70b정도 돌릴려면 어느정도 사양되야 돼?? 한 300~400 컴터 정돈 되야하나?

[TS망상(jbo8797)]

3090 두장이면 4비트 양자화 해서 쓸 수 있는데 양자화 하면 안 그래도 구린 한국어 성능 더 떨어져서 애매