3060 12gb vs 3090 24gb
각종 언어모델의 규모를 점진적으로 증가시켜서 벤치마킹한 지표
T/s = 성능지표. 수치가 높아야 좋음.
3060 12GB의 경우 7B, 14B 규모까지는 3090과 같이 선형적인 차이를 유지하고있음.
하지만 32B 부터 실사용이 불가능한 수준으로 성능수치가 급락함.
즉, 3060의 12GB Vram이 감당 가능한 임계점을 넘어선 시점. 여기서부턴 그냥 ai 사용 자체가 불가한수준임
3090 24GB의 경우 32B까지도 선형적으로 유지하는모습.
하지만 70B에서 똑같이 무너지는걸 볼수있음.
-결론
vram 용량에 따라 사용할수있는 모델의 규모또한 한정되어있음.
그 임계점을 넘어서는순간 그냥 사용불가 수준으로 터지는 대참사가 발생하기때문에
ai분야에선 vram은 본인 사용환경에있어서 "절대" 부족하면안됨
그래서 딥러닝은 vram에 목매는거임. vram이 절대적
- dc official App
낮으면 메모리부족 뜨면서 그냥 안돌아감