DeepSeek-V3-0526: 로컬에서 실행하는 방법

Dynamic 2.0 양자화를 사용하여 로컬에서 DeepSeek-V3-0526을 실행하는 방법입니다.

DeepSeek-V3-0526은 GPT-4.5 및 Claude 4 Opus와 동등한 성능을 발휘하며 현재 세계 최고의 오픈 소스 모델입니다. 이것은 DeepSeek의 V3 모델에 대한 두 번째 업데이트입니다.

로컬에서 실행하기 위한 1.78비트 GGUF는 다음과 같습니다: DeepSeek-V3-0526-GGUF >

이 업로드는 5-shot MMLU 및 KL 발산 벤치마크에서 최고의 성능을 제공하는 Unsloth Dynamic 2.0 방법론을 사용합니다. 즉, 최소한의 정확도 손실로 양자화된 DeepSeek LLM을 실행할 수 있습니다!