라마3도 405b는 3.1까지만 업데이트 하다가 유기되고
70b는 3.3까지 업글해서 405b 성능에 근접하게 만들던데
라마4는 가장큰거 어느정도까지 만드는걸까
사실 70b 이상 되면 로컬로 돌리기 힘들어서 오픈소스 의미도 없기는 해
70b 8비트 양자화된거면 뭐 중소랩에서 어찌어찌 돌려는 볼수 있는데 말야
라마3도 405b는 3.1까지만 업데이트 하다가 유기되고
70b는 3.3까지 업글해서 405b 성능에 근접하게 만들던데
라마4는 가장큰거 어느정도까지 만드는걸까
사실 70b 이상 되면 로컬로 돌리기 힘들어서 오픈소스 의미도 없기는 해
70b 8비트 양자화된거면 뭐 중소랩에서 어찌어찌 돌려는 볼수 있는데 말야
해당 댓글은 삭제되었습니다.
딥씩이 630b라 8비트라도 h100 8개 필요해 추론자체는 moe라 빠를지라도 램에는 다 올라가야 해서
1000B 정도는 만들어줘야 딥식이랑 비비기라도 할것같긴한데 ..모루게따