[일반] 엔비디아 오늘 발표한 로컬 언어모델 미친듯 빠르네?

[호르륵(hoolooh1)]

로컬 모델로 mixtral 8x7 써봤었는데 그거 보다 압도저으로 빠르면서도 gpu 사용량이적음

cuda가 아니라 rt코어 위주로 쓰는 그런건가 혹시?

내꺼 gpu는 3090임

[isui(everyday4623)]

예도 한국어는 안 되나

[호르륵(hoolooh1)]

ㅇㅇ 안됌

[디시콘발사대(fcbjsjmu1t9f)]

[이런내가특특(andud96)]

ai연산은 텐서코어지 rt코어는 레이트레이싱 연산용

[익명(180.230)]

빠른건 둘째치고 성능이 중요하지 빨리 대답하는데 다 틀린 대답이면 의미가 없잖아

[디시콘발사대(fcbjsjmu1t9f)]

[익명(222.238)]

원래 mixtral이 속도는 빠른데 장기 기억이 좀 떨어지지 않나?

[익명(125.136)]

언어모델이야? 아님모델구동기야?