๊ฒฐ๊ณผ ๋ฐ์ดํฐ ํฌ๊ฒ ๋ณด๊ธฐ
์์ํ๋ฉฐ
์ต๊ทผ ๋ฉ๋ชจ๋ฆฌ ๊ฐ๊ฒฉ์ด ํฌ๊ฒ ์ค๋ฅด๋ฉด์, ์ ํ๋ ์์ฐ ์์์ ์์คํ ์ ๊ตฌ์ฑํ ๋ ๋จ์ผ ๋ชจ๋๋ก ์ฉ๋์ ํ๋ณดํ ์ง, 2๊ฐ ๋ชจ๋๋ก ๋์ผ์ฑ๋ ๊ตฌ์ฑ์ ๋ง์ถ์ง ๊ณ ๋ฏผํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์์ก์ต๋๋ค. ์ด๋ฒ ํ ์คํธ๋ "16GB x1 ๊ตฌ์ฑ๊ณผ 8GB x2 ๊ตฌ์ฑ ์ค ์ด๋ ์ชฝ์ด ๋์๊น?"๋ผ๋ ์ง๋ฌธ๊ณผ, ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ์ฐจ์ด๊ฐ ์ค์ ์์ ์์ ์ด๋ ์ ๋๋ก ๋๋ฌ๋๋์ง์ ๋ํ ํธ๊ธฐ์ฌ์์ ์์ํ์ต๋๋ค.
์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์ ๋์ผ์ฑ๋๋ณด๋ค ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ๋ฎ๋ค๋ ์ด์ผ๊ธฐ๋ ์ต์ํ์ง๋ง, ์ค์ ์์ ์์ ์ด๋ ์ ๋ ์ฐจ์ด๋ก ์ด์ด์ง๋์ง๋ ์ง์ ํ ์คํธํด๋ณด๊ธฐ ์ ๊น์ง ์ ์๋ฟ์ง ์์์ต๋๋ค.
์ด๋ฒ ๊ธ์์๋ Ryzen 5 9600X, Ryzen 7 9850X3D, Ryzen 9 9950X3D ์์คํ ์์ ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋ ๊ตฌ์ฑ์ ๋น๊ตํ๊ณ , AIDA64, 7-Zip, Cinebench R23, Cyberpunk 2077, LM Studio ํ ์คํธ๋ฅผ ํตํด ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ์ค์ ์ฑ๋ฅ์ ์ด๋ค ์์ผ๋ก ๋ฐ์๋๋์ง ์ดํด๋ณด๊ฒ ์ต๋๋ค.
์์คํ ๊ตฌ์ฑ
* ์ค๋ด ์จ๋ 26 - 27 โ (์์ด์ปจ ๊ฐ๋)
ํ ์คํธ ์กฐ๊ฑด
๋ฐ์ด์ค์ค ์ค์
- CPU: PBO Enabled (PPT 1000 W, EDC 1000 A, TDC 1000 A)
- RAM: EXPO I (1:1 DDR5-6000 CL26-36-36-96)
- iGPU: Disabled
์ฑ ์ ๋ณด ๋ฐ ์ค์
- AIDA64 Extreme (v7.70.7503)
- Cinebench R23 (R23.200)
Minimum Test Duration: Off
- 7-ZIP (v19.0, BenchMate 14.1.0)
Priority: Normal
Thread Count: All Threads
Timer Resolution: Leave Unchanged
- Cyberpunk 2077
๋น๋์ค: ๊ฒฝ๊ณ์๋ ์ฐฝ๋ชจ๋, FHD, NVIDIA Reflex Low Latency - On
๊ทธ๋ํฝ: ํต ํ๋ฆฌ์ - ์ธํธ๋ผ, ํ๋ ์ ์์ฑ - ๋๊ธฐ
- LM Studio (v0.4.13)
Runtime: GGUF, CUDA 12 llama.cpp (v2.16.0)
| Model | Quantization | Parameter Size | Context Length | Flash Attention | Direct I/O |
| qwen/qwen3.6-35b-a3b | Q4_K_M | 35B (Active 3B) | 4096 | ON | OFF |
| qwen/qwen3.6-27b | Q4_K_M | 27B | 4096 | ON | OFF |
| google/gemma-4-26b-a4b | Q4_K_M | 26B (Active 4B) | 4096 | ON | OFF |
| google/gemma-4-e4b | Q4_K_M | 7.9B (Effective 4B) | 4096 | ON | OFF |
| CPU | Load CPU Threads |
| Ryzen 5 9600X | 4 |
| Ryzen 7 9850X3D | 6 |
| Ryzen 9 9950X3D | 12 |
| GPU | Model | GPU offload ratio |
RTX 5060 Ti 16GB | Qwen3.6 35B A3B | 0.525 |
| Qwen3.6 27B | 0.672 | |
| Gemma 4 26B A4B | 0.633 | |
| Gemma 4 E4B | 1.000 | |
RTX 5090 32GB | Qwen3.6 35B A3B | 1.000 |
| Qwen3.6 27B | 1.000 | |
| Gemma 4 26B A4B | 1.000 | |
| Gemma 4 E4B | 1.000 |
* GPU offload: ๋ชจ๋ธ ๋ ์ด์ด/๊ฐ์ค์น๋ฅผ GPU๋ก ๋ณด๋ด์ GPU์์ ์ฒ๋ฆฌ, VRAM์ด ๋ถ์กฑํ ๊ฒฝ์ฐ GPU offload ๋น์จ์ด ์ค์ด๋ค๊ณ , GPU์ ์ฌ๋ผ๊ฐ์ง ๋ชปํ ๋๋จธ์ง ๋ ์ด์ด/๊ฐ์ค์น๊ฐ CPU/system RAM ๊ฒฝ๋ก์ ๋จ์
๋ฒค์น๋งํฌ ๊ฒฐ๊ณผ
* LM Studio Chat ํ ์คํธ๋ 2ํ, ๋๋จธ์ง ๋ฒค์น๋งํฌ ํ ์คํธ๋ 3ํ ๋ฐ๋ณต ์ํ ํ ๊ธฐํํ๊ท ์ฒ๋ฆฌ
1. AIDA64 Memory Benchmark
๊ฒฐ๊ณผ ํด์์ ์์, Ryzen 9000 ์๋ฆฌ์ฆ์ CCD์ IOD ๊ตฌ์กฐ๋ฅผ ๋จผ์ ๋ณผ ํ์๊ฐ ์์ต๋๋ค. CCD๋ ์ง์ DRAM ์ปจํธ๋กค๋ฌ๋ฅผ ๊ฐ๋ ๊ตฌ์กฐ๊ฐ ์๋๋ผ, IOD๋ฅผ ๊ฑฐ์ณ ๋ฉ๋ชจ๋ฆฌ ์ปจํธ๋กค๋ฌ์ ์ ๊ทผํฉ๋๋ค. ๋ฐ๋ผ์ AIDA64 Memory Read/Copy ๊ฒฐ๊ณผ๋ ๋จ์ํ DDR5 ๋ชจ๋์ ๋ฌผ๋ฆฌ ๋์ญํญ๋ง ๋ณด์ฌ์ฃผ๋ ๊ฒ์ด ์๋๋ผ, ์ฝ์ด โ CCD ๋ด๋ถ ๊ฒฝ๋ก โ CCDโIOD ๋งํฌ โ ๋ฉ๋ชจ๋ฆฌ ์ปจํธ๋กค๋ฌ โ DRAM์ผ๋ก ์ด์ด์ง๋ ์ ์ฒด ๊ฒฝ๋ก์ ์ํฅ์ ํจ๊ป ๋ฐ์ํฉ๋๋ค.
์ด๋ฏธ์ง ์ถ์ฒ:ย https://chipsandcheese.com/p/amds-ryzen-9950x-zen-5-on-desktop
์ฑ๊ธ์ฑ๋ ์ ํ ์ Ryzen 5 9600X์ Ryzen 7 9850X3D๋ Read๊ฐ ์ฝ 72%, Copy๊ฐ ์ฝ 70~71%, Write๊ฐ ์ฝ 55% ์์ค์ผ๋ก ๋ฎ์์ก์ต๋๋ค. ๋ฐ๋ฉด Ryzen 9 9950X3D๋ Read์ Copy๊ฐ ๊ฐ๊ฐ ์ฝ 57% ์์ค๊น์ง ๋ด๋ ค๊ฐ๊ณ , Write ์ญ์ ์ฝ 56% ์์ค์ ๋จธ๋ฌผ๋ ์ต๋๋ค. ์ฆ 9950X3D๋ ๋์ผ์ฑ๋์์ ํ๋ณดํ๋ Read/Copy ๋์ญํญ ์ด์ ์ด ์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์์ ๋ ํฌ๊ฒ ์ค์ด๋ ์ ์ ๋๋ค.
์ด ์ฐจ์ด๋ CCD ๊ฐ์์ ์ฐ๊ฒฐํด์ ๋ณผ ์ ์์ต๋๋ค. 9600X์ 9850X3D๋ 1CCD ๊ตฌ์ฑ์ผ๋ก ๋์ผ์ฑ๋์์๋ Read/Copy ๋์ญํญ์ด ๋น์ทํ ์์ค์ ๋ฌถ์์ง๋ง, 9950X3D๋ 2CCD ๊ตฌ์ฑ์ผ๋ก ๋์ผ์ฑ๋์์ ๋ ๋์ Read/Copy ๋์ญํญ์ ๋ณด์์ต๋๋ค. ๊ทธ๋ฌ๋ ์ฑ๊ธ์ฑ๋์์๋ DRAM ์ฑ๋ ์์ฒด๊ฐ ๋จผ์ ๋ณ,๋ชฉ์ผ๋ก ์์ฉํ๋ฉด์ ์ธ CPU ๋ชจ๋ Read ์ฝ 46GB/s, Copy ์ฝ 42GB/s ๊ทผ์ฒ๋ก ์๋ ดํ์ต๋๋ค. ๋ฐ๋ผ์ AIDA64 ๊ฒฐ๊ณผ์์๋ ์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์ ๋์ญํญ ์์ค๋ฟ ์๋๋ผ, 2CCD CPU๊ฐ ๋์ผ์ฑ๋์์ ๊ฐ๋ Read/Copy ์ด์ ์ด ์ฑ๊ธ์ฑ๋์์ ์ฌ๋ผ์ง๋ ํ์๋ ํจ๊ป ํ์ธํ ์ ์์์ต๋๋ค.
2. 7-Zip Benchmark
7-Zip ๋ฒค์น๋งํฌ๋ LZMA ์์ถ/ํด์ ํ ์คํธ๋ฅผ ์ํํ๊ณ ๊ฒฐ๊ณผ๋ฅผ MIPS๋ก ํ์ํฉ๋๋ค. (์ ๋ณด ์ถ์ฒ)
7-Zip ๋ฒค์น๋งํฌ์์๋ AIDA64์ฒ๋ผ ๋์ญํญ ์์ค์ด ๊ทธ๋๋ก ์ ์ ํ๋ฝ์ผ๋ก ์ด์ด์ง์ง๋ ์์์ต๋๋ค. Ryzen 5 9600X์ Ryzen 7 9850X3D๋ ์ฑ๊ธ์ฑ๋ ์ ํ ์ ๊ฐ๊ฐ ์ฝ 1.7%, 1.6% ์์ค์ ์์ค์ ๊ทธ์ณค์ต๋๋ค. ์ด ์ ๋ ์ฐจ์ด๋ AIDA64์์ ํ์ธ๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ ์์ค์ ๋นํ๋ฉด ์๋นํ ์ ํ์ ์ธ ์์ค์ ๋๋ค.
๋ค๋ง Ryzen 9 9950X3D์์๋ ์ฑ๊ธ์ฑ๋ ์ ์๊ฐ ๋์ผ์ฑ๋ ๋๋น ์ฝ 92.7% ์์ค์ผ๋ก ๋ฎ์์ก๊ณ , ์์ค๋ฅ ์ ์ฝ 7.3%๊น์ง ์ปค์ก์ต๋๋ค. 7-Zip์ ์์ถ/ํด์ ๊ณผ์ ์์ CPU ์ฐ์ฐ ์ฑ๋ฅ๊ณผ ๋ฉ๋ชจ๋ฆฌ ์ ๊ทผ์ด ํจ๊ป ๋ฐ์๋๋ ํ ์คํธ์ ๋๋ค. ๋ฐ๋ผ์ 9600X์ 9850X3D์์๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ์ฃผ๋ ์ ํ ์์๋ก ์์ฉํ์ง ์์์ง๋ง, ๋ ๋ง์ ์ฝ์ด์ 2CCD ๊ตฌ์ฑ์ ๊ฐ์ง 9950X3D์์๋ ์ฑ๊ธ์ฑ๋ ์ ํ์ ๋ฐ๋ฅธ ๋ฉ๋ชจ๋ฆฌ ๋ณ,๋ชฉ์ด ์ค์ ์ ์์๋ ์ผ๋ถ ๋ฐ์๋ ๊ฒ์ผ๋ก ๋ณผ ์ ์์ต๋๋ค.
3. Cinebench R23 Benchmark (Multi-core)
Maxon์ Cinebench๊ฐ Cinema 4D/Redshift ๊ธฐ๋ฐ ๋ ๋๋ง ์์ง์ ํ์ฉํด CPU/GPU ์ฑ๋ฅ์ ํ๊ฐํ๋ ๋ฒค์น๋งํฌ๋ผ๊ณ ์ค๋ช ํฉ๋๋ค. (์ ๋ณด ์ถ์ฒ)
Cinebench R23 ๋ฉํฐ์ฝ์ด ํ ์คํธ์์๋ ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ์ฐจ์ด๊ฐ ๊ฑฐ์ ๋ํ๋์ง ์์์ต๋๋ค. Ryzen 5 9600X๋ ์ฑ๊ธ์ฑ๋์์ ๋์ผ์ฑ๋ ๋๋น 99.88%, Ryzen 7 9850X3D์ Ryzen 9 9950X3D๋ ๊ฐ๊ฐ 99.69% ์์ค์ ๊ธฐ๋กํ์ต๋๋ค. ์์ค๋ฅ ๋ก ๋ณด๋ฉด ์ธ CPU ๋ชจ๋ 0.3% ์ํ์ ๋๋ค.
์ด ๊ฒฐ๊ณผ๋ Cinebench R23 ๊ฐ์ ๋ ๋๋ง ์์ ์์๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ๋ณด๋ค CPU ์ฝ์ด ์, ํด๋ญ, ์ ๋ ฅ ์ ํ, ์จ๋ ์ ์ง๋ ฅ์ด ๋ ์ค์ํ ์ ํ ์์๋ก ์์ฉํ๋ค๋ ์๋ฏธ๋ก ๋ณผ ์ ์์ต๋๋ค. AIDA64์์๋ ์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์ ๋์ญํญ ์์ค์ด ํฌ๊ฒ ํ์ธ๋์ง๋ง, ํด๋น ๋์ญํญ ์์ค์ด Cinebench R23 ์ ์์๋ ๊ฑฐ์ ๋ฐ์๋์ง ์์์ต๋๋ค. ์ฆ ์ด ํ ์คํธ์์๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ๋ณ,๋ชฉ์ด ์๋์๋ ๊ฒ์ผ๋ก ํด์ํ ์ ์์ต๋๋ค.
4. Cyberpunk 2077 Benchmark
Cyberpunk 2077 FHD ๋ฒค์น๋งํฌ์์๋ ํ๊ท FPS ์์ค์ ํฌ์ง ์์์ต๋๋ค. Ryzen 5 9600X๋ ์ฑ๊ธ์ฑ๋์์ ํ๊ท FPS๊ฐ ๋์ผ์ฑ๋ ๋๋น 98.74%, Ryzen 7 9850X3D๋ 100.05%, Ryzen 9 9950X3D๋ 99.50% ์์ค์ด์์ต๋๋ค. ํ๊ท FPS๋ง ๋ณด๋ฉด ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ์ฐจ์ด๋ ์ ํ์ ์ ๋๋ค.
ํ์ง๋ง ํ์ ํ๋ ์์์๋ ์ฐจ์ด๊ฐ ๋ ์ ๋๋ฌ๋ฌ์ต๋๋ค. Ryzen 5 9600X๋ 1% Low์ 0.1% Low๊ฐ ๊ฐ๊ฐ 98.10%, 97.86% ์์ค์ด์๊ณ , Ryzen 7 9850X3D๋ 98.47%, 96.20% ์์ค์ด์์ต๋๋ค. Ryzen 9 9950X3D๋ 1% Low๊ฐ 95.64%, 0.1% Low๊ฐ 92.51%๊น์ง ๋ฎ์์ก์ต๋๋ค. ์์ค๋ฅ ๋ก ๋ณด๋ฉด 9950X3D์ 0.1% Low๋ ์ฝ 7.5% ํ๋ฝํ ์ ์ ๋๋ค.
๋ฐ๋ผ์ ์ด๋ฒ Cyberpunk 2077 ํ ์คํธ์์๋ ํ๊ท FPS๋ณด๋ค 1% Low์ 0.1% Low์์ ๋ฉ๋ชจ๋ฆฌ ์ฑ๋ ์ฐจ์ด๊ฐ ๋ ์ ๋๋ฌ๋ฌ์ต๋๋ค. ํนํ 9950X3D๋ ๋์ผ์ฑ๋์์ ๋์ Read/Copy ๋์ญํญ์ ํ๋ณดํ์ง๋ง, ์ฑ๊ธ์ฑ๋์์๋ ์ด ์ด์ ์ด ํฌ๊ฒ ์ค์ด๋ ๋งํผ ํ์ ํ๋ ์ ์์ค๋ ๋ ํฌ๊ฒ ๋ํ๋ ๊ฒ์ผ๋ก ๋ณผ ์ ์์ต๋๋ค. ๋ค๋ง ์ด๋ Cyberpunk 2077 FHD ์กฐ๊ฑด์์์ ๊ฒฐ๊ณผ์ด๋ฉฐ, ๊ฒ์ ์์ง, API, ํด์๋, ๊ทธ๋ํฝ ์ต์ , GPU ์ฌ์ฉ๋ฅ ์ ๋ฐ๋ผ ์์์ ๋ฌ๋ผ์ง ์ ์์ต๋๋ค.
5. LM Studio Chats
๊ฒฐ๊ณผ ํด์์ ์์ GPU offload๋ CPU/RAM ์ชฝ์ ๋ ์ ์๋ ๋ ์ด์ด/๊ฐ์ค์น๋ฅผ GPU/VRAM์ผ๋ก ์ฌ๋ ค์ ์คํํ๋ค๋ ์๋ฏธ๋ก, ๊ทธ๋ํฝ์นด๋์ VRAM์ ์ฉ๋์ด ๋ถ์กฑํ ๊ฒฝ์ฐ ๋ชจ๋ธ ๋ ์ด์ด/๊ฐ์ค์น๊ฐ GPU/VRAM์ผ๋ก ๋ชจ๋ ์ฌ๋ผ๊ฐ์ง ๋ชปํ๊ณ ๋๋จธ์ง๋ฅผ CPU/system RAM ๊ฒฝ๋ก์ ๋จ๊ฒจ GPU์ ๋ชจ๋ offload ๋์์ ๋ ๋ณด๋ค ๋ชจ๋ธ ์ถ๋ก (ํ ํฐ ์์ฑ)์ ์๋๊ฐ ์ ํ๋ฉ๋๋ค.
LM Studio ํ ์คํธ์์๋ ๋ชจ๋ธ์ด GPU์ ์ผ๋ง๋ ์ฌ๋ผ๊ฐ๋์ง๊ฐ ํต์ฌ ๋ณ์์์ต๋๋ค. RTX 5060 Ti 16GB ํ๊ฒฝ์์ Qwen 35B A3B๋ GPU offload ratio 0.525, Qwen 27B๋ 0.672, Gemma 26B A4B๋ 0.633, Gemma E4B๋ 1.000์ผ๋ก ๋ก๋๋์ต๋๋ค. ์ฆ Qwen 35B A3B, Qwen 27B, Gemma 26B A4B๋ ๋ชจ๋ธ ์ ์ฒด๊ฐ GPU๋ก ์ฌ๋ผ๊ฐ์ง ๋ชปํ๊ณ ์ผ๋ถ ๋ ์ด์ด์ ๊ฐ์ค์น๊ฐ CPU/system RAM ๊ฒฝ๋ก์ ๋จ๋ ์กฐ๊ฑด์ด์์ต๋๋ค.
์ด ์ํ์์๋ ์ฑ๊ธ์ฑ๋ ์ ํ์ ๋ฐ๋ฅธ ์์ค์ด ํฌ๊ฒ ๋ํ๋ฌ์ต๋๋ค. Qwen 35B A3B๋ 9600X์์ 40.02 โ 31.43 tokens/s, 9850X3D์์ 43.73 โ 33.43 tokens/s, 9950X3D์์ 44.45 โ 30.32 tokens/s๋ก ๋ฎ์์ก์ต๋๋ค. ์์ค๋ฅ ๋ก ๋ณด๋ฉด ๊ฐ๊ฐ ์ฝ 21.5%, 23.6%, 31.8%์ ๋๋ค.
Gemma 26B A4B๋ ๋น์ทํ ๊ฒฝํฅ์ ๋ณด์์ต๋๋ค. 9600X๋ 42.86 โ 33.62 tokens/s, 9850X3D๋ 44.79 โ 35.04 tokens/s, 9950X3D๋ 50.50 โ 34.75 tokens/s๋ก ๋ฎ์์ก๊ณ , ์์ค๋ฅ ์ ๊ฐ๊ฐ ์ฝ 21.6%, 21.8%, 31.2%์์ต๋๋ค. Qwen 27B ์ญ์ 9950X3D์์ 9.20 โ 5.66 tokens/s๋ก ๋ฎ์์ ธ ์ฝ 38.5% ์์ค์ ๋ณด์์ต๋๋ค.
๋ฐ๋๋ก Gemma E4B์ฒ๋ผ RTX 5060 Ti 16GB์์๋ GPU offload ratio 1.000์ผ๋ก ๋ก๋๋ ๋ชจ๋ธ์ ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ์ฐจ์ด๊ฐ ๊ฑฐ์ ์์์ต๋๋ค. 9600X๋ 91.28 โ 90.92 tokens/s, 9850X3D๋ 91.49 โ 90.46 tokens/s, 9950X3D๋ 91.18 โ 91.73 tokens/s๋ก, ์ค์ง์ ์ธ ์ฐจ์ด๋ ์ค์ฐจ ๋ฒ์์ ๊ฐ๊น์ ์ต๋๋ค.
RTX 5090 32GB ํ๊ฒฝ์์๋ ๊ฐ์ ํ๋ฆ์ด ํ์ธ๋ฉ๋๋ค. ์ด ํ๊ฒฝ์์๋ Qwen 35B A3B, Qwen 27B, Gemma 26B A4B, Gemma E4B ๋ชจ๋ GPU offload ratio 1.000์ผ๋ก ๋ก๋๋๊ณ , ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ํ ํฐ ์์ฑ ์๋ ์ฐจ์ด๋ ๊ฑฐ์ ์ฌ๋ผ์ก์ต๋๋ค. ํนํ Gemma 26B A4B๋ ๋์ผ์ฑ๋ 209.79 tokens/s, ์ฑ๊ธ์ฑ๋ 209.92 tokens/s๋ก ์ฌ์ค์ ๋์ผํ๊ณ , Qwen 35B A3B ์ญ์ ๋์ผ์ฑ๋ ๋๋น ์ฑ๊ธ์ฑ๋์ด 99.95% ์์ค์ ๋จธ๋ฌผ๋ ์ต๋๋ค.
๋ฐ๋ผ์ LM Studio ๊ฒฐ๊ณผ๋ ๋ฉ๋ชจ๋ฆฌ ์ฑ๋ ์ฐจ์ด๊ฐ ํญ์ ๋์ผํ๊ฒ ์์ฉํ๋ ๊ฒ์ด ์๋๋ผ, GPU offload ๊ฐ๋ฅ ์ฌ๋ถ์ ๋ฐ๋ผ ๋ณ,๋ชฉ ์์น๊ฐ ๋ฌ๋ผ์ง๋ค๋ ์ ์ ๋ณด์ฌ์ค๋๋ค. ๋ชจ๋ธ ์ ์ฒด๊ฐ GPU๋ก ์ฌ๋ผ๊ฐ๋ ์กฐ๊ฑด์์๋ ์์คํ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ์ํฅ์ด ํฌ๊ฒ ์ค์ด๋ค์ง๋ง, VRAM์ด ๋ถ์กฑํด ์ผ๋ถ ๋ ์ด์ด์ ๊ฐ์ค์น๊ฐ CPU/system RAM ๊ฒฝ๋ก์ ๋จ๋ ์กฐ๊ฑด์์๋ ์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์ ๋ฎ์ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ํ ํฐ ์๋ ํ๋ฝ์ผ๋ก ํฌ๊ฒ ๋ฐ์๋์ต๋๋ค.
๋ง์น๋ฉฐ
์ด๋ฒ ํ ์คํธ์์ ๊ฐ์ฅ ๋จผ์ ํ์ธ๋ ๊ฒ์ ์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ ์์ค์ ๋๋ค. AIDA64 ๊ธฐ์ค์ผ๋ก 9600X์ 9850X3D๋ ์ฑ๊ธ์ฑ๋ ์ ํ ์ Read/Copy ๋์ญํญ์ด ์ฝ 28~30% ์ค์๊ณ , 9950X3D๋ Read/Copy ์์ค์ด ์ฝ 43%๊น์ง ์ปค์ก์ต๋๋ค. ํนํ 9950X3D๋ ๋์ผ์ฑ๋ ๊ตฌ์ฑ์์ 2CCD ๊ธฐ๋ฐ Read/Copy ๋์ญํญ ์ด์ ์ ๋ณด์์ง๋ง, ์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์์๋ ์ด ์ด์ ์ด ํฌ๊ฒ ์ค์ด๋ค๋ฉฐ 1CCD CPU์ ๋น์ทํ ์์ค์ผ๋ก ์๋ ดํ์ต๋๋ค.
๋ค๋ง ์ด ๋์ญํญ ์์ค์ด ๋ชจ๋ ๋ฒค์น๋งํฌ์์ ๊ฐ์ ๋น์จ์ ์ฑ๋ฅ ํ๋ฝ์ผ๋ก ์ด์ด์ง์ง๋ ์์์ต๋๋ค. Cinebench R23 ๋ฉํฐ์ฝ์ด ํ ์คํธ์์๋ ์ธ CPU ๋ชจ๋ ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋ ์ฐจ์ด๊ฐ 0.3% ์ํ์ ๊ทธ์ณค์ต๋๋ค. ์ด ํ ์คํธ์์๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ๋ณด๋ค CPU ์ฝ์ด ์, ํด๋ญ, ์ ๋ ฅ ๋ฐ ์จ๋ ์ ์ง๋ ฅ์ด ๋ ํฐ ์ ํ ์์๋ก ์์ฉํ ๊ฒ์ผ๋ก ๋ณผ ์ ์์ต๋๋ค.
7-Zip์์๋ CPU์ ๋ฐ๋ผ ์ฐจ์ด๊ฐ ๊ฐ๋ ธ์ต๋๋ค. 9600X์ 9850X3D๋ ์ฑ๊ธ์ฑ๋ ์์ค์ด ์ฝ 1.6~1.7% ์์ค์ ๋จธ๋ฌผ๋ ์ง๋ง, 9950X3D๋ ์ฝ 7.3% ์์ค์ ๋ณด์์ต๋๋ค. ์ฆ ์์ถ/ํด์ ์์ ์ ์์ ๋ฉ๋ชจ๋ฆฌ ๋ฒค์น๋งํฌ์ฒ๋ผ ๋์ญํญ ์์ค์ ๊ทธ๋๋ก ๋ฐ์ํ์ง๋ ์์์ง๋ง, 2CCD ๊ตฌ์ฑ์์๋ ์ฑ๊ธ์ฑ๋ ๋ณ,๋ชฉ์ด ์ค์ ์ ์์๋ ์ผ๋ถ ๋ฐ์๋์ต๋๋ค.
๊ฒ์ ํ ์คํธ์์๋ ํ๊ท FPS๋ณด๋ค ํ์ ํ๋ ์ ์งํ์์ ์ฐจ์ด๊ฐ ๋ ์ ๋๋ฌ๋ฌ์ต๋๋ค. Cyberpunk 2077 FHD ๊ธฐ์ค ํ๊ท FPS ์์ค์ ํฌ์ง ์์์ง๋ง, 9950X3D์ 1% Low์ 0.1% Low๋ ๊ฐ๊ฐ ์ฝ 4.4%, 7.5% ํ๋ฝํ์ต๋๋ค. ์ด๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ ์์ค์ด ํ๊ท ํ๋ ์๋ณด๋ค ์๊ฐ์ ์ธ ํ๋ ์ ๋ฐฉ์ด๋ ฅ์ด๋ ํ๋ ์ํ์ ์์ ์ฑ์ ๋ ๋ฏผ๊ฐํ๊ฒ ์์ฉํ ์ ์์์ ๋ณด์ฌ์ค๋๋ค.
LM Studio ํ ์คํธ์์๋ VRAM ์ฉ๋๊ณผ GPU offload ๊ฐ๋ฅ ์ฌ๋ถ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ํฌ๊ฒ ๊ฐ๋์ต๋๋ค. RTX 5060 Ti 16GB์์ Qwen 35B A3B์ Gemma 26B A4B์ฒ๋ผ ์ผ๋ถ ๋ ์ด์ด์ ๊ฐ์ค์น๊ฐ CPU/system RAM ๊ฒฝ๋ก์ ๋จ๋ ๋ชจ๋ธ์ ์ฑ๊ธ์ฑ๋ ์ ํ ์ ์ฝ 21~32% ์์ค์ ์์ค์ ๋ณด์๊ณ , Qwen 27B๋ 9950X3D์์ ์ฝ 38.5%๊น์ง ์์ค์ด ์ปค์ก์ต๋๋ค. ๋ฐ๋ฉด RTX 5090 32GB์ฒ๋ผ ๋ชจ๋ ๋ชจ๋ธ์ด GPU offload ratio 1.000์ผ๋ก ๋ก๋๋๋ ํ๊ฒฝ์์๋ ๋ฉ๋ชจ๋ฆฌ ์ฑ๋ ์ฐจ์ด๊ฐ ๊ฑฐ์ ๋ํ๋์ง ์์์ต๋๋ค.
๊ฒฐ๋ก ์ ์ผ๋ก ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ์ฐจ์ด๋ "ํญ์ ํฌ๋ค"๊ฑฐ๋ "๊ฑฐ์ ์๋ฏธ ์๋ค"๋ก ๋จ์ ํ๊ธฐ ์ด๋ ต์ต๋๋ค. ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ๋ณ,๋ชฉ์ด ์๋ ์์ ์์๋ ์ฐจ์ด๊ฐ ์๊ฒ ๋ํ๋ ์ ์์ต๋๋ค. ๋ฐ๋๋ก ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ง์์ ์ผ๋ก ์ฝ๊ณ ์ฐ๋ memory-bound ๋๋ data-movement-bound ์์ , CPU/system RAM ๊ฒฝ๋ก๊ฐ ๊ฐ์ ๋๋ ๋ก์ปฌ LLM ์ถ๋ก , ๊ทธ๋ฆฌ๊ณ ๋์ ํ๋ ์ ์ ์ง๊ฐ ์ค์ํ ๊ฒ์ ํ๊ฒฝ์์๋ ์ฑ๊ธ์ฑ๋ ๊ตฌ์ฑ์ ์์ค์ด ์ค์ ์ฑ๋ฅ ์ฐจ์ด๋ก ์ด์ด์ง ์ ์์ต๋๋ค.
๋ฐ๋ผ์ ๊ฐ์ 32GB ์ฉ๋์ด๋ผ๋ 32GB x1๊ณผ 16GB x2๋ ์์ ํ ๊ฐ์ ๊ตฌ์ฑ์ด ์๋๋๋ค. ๋จ์ ์ฉ๋ ํ๋ณด๊ฐ ๋ชฉ์ ์ด๋ผ๋ฉด ์ฑ๊ธ์ฑ๋๋ ์ ํ์ง๊ฐ ๋ ์ ์์ง๋ง, ๊ฒ์์ ํ์ ํ๋ ์ ์์ ์ฑ, ๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ์์ถ/ํด์ , ์ผ๋ถ ๋ก์ปฌ LLM ์ถ๋ก ์ฒ๋ผ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ ์์กด๋๊ฐ ์ปค์ง ์ ์๋ ์์ ๊น์ง ๊ณ ๋ คํ๋ค๋ฉด ๋์ผ์ฑ๋ ๊ตฌ์ฑ์ด ๋ ์์ ์ ์ธ ์ ํ์ ๋๋ค.
๋์ถฉ ๋ฐ๋ถ์ด๋ฉด ๋์ผ ์ฑ๋ ํ๋ผ๋ ์ด์ผ๊ธฐ
๊ทธ๋ฅ ์๋ฌป๋ฐ ๋์ผ๋ก ๊ฐ๋๊ฑฐ์ง? ์๋ฒฝํ ์ดํดํ์ด
๋จ 1๊ฐ ๋ฐ์ผ๋ ํ๋ ์์ ๋ชจ๋ฅด๊ฒ ๊ณ ์ฉ๋ ๋ถ์กฑํ๊ฑด ์ฒด๊ฐ๋๋๋ผ ์ฑํ ํ๋์ ํฌ๋กฌ๋ง ํ๋ ๋์๋ ๋จ์ด ๊ฝ ์ฐธ...
๋ผ์ด๋ธ๋ก ๋ณด๋ฉด์ ํ ์ธ๋ค๋ฒ ์กธ์๋๋ฐ ์ ๋ณด1์ถ
๋์ผ๋์ผ์ฑ๋์ด๋ผ๋ฉด 4๋ฐฐ ์ข๊ฒ ์ง??
ํด๋ญ๋ฐ์ด๋ฐ์ด๋ฐ์ด
์ ์ฑ๊ธ ๊ฐ์ถ - dc App
์ฐ์ผ ์ด๋ ค์์ ์ดํด ๋ชปํ์ฐ...
๋์ถฉ ์๋ ์๋ ๋ ์๋ ์์ผ๋ ๊ทธ๋ฅ ์ํธํ๊ฒ ๋์ผ๋ก ๋ง์ถฐ๋๋ผ ๋ง๋์ฌ
์ ๋ณด๊ธ์ ์๋ณด๊ณ ๊ฐ์ถ
๋๋ถ์ ์๋ฒฝํ๊ฒ ์ดํดํ์ด ํ๋ฑ ๊ฐ๋ค
์์ฝ : ๊ฑ ๋์ผ ์จ๋ผ
๊ธ ์กด๋๋ต๋ตํ๋ค ๊ฒฐ๊ณผ ์ ์๋ ๊ฒฐ๊ณผ ์์ฝ๋ ๋ชปํ๊ณ ์ฃผ์ ์ฃผ์ ์ธ๋ฐ์๋ ์๋ฆฌ๋ง ๊ฐ๋์ฑ์๋จ๋ ธ
"๋ฉ๋ชจ๋ฆฌ ๋์ญํญ ์์ค์ด ๋ชจ๋ ์์ ์ ๋์ผํ๊ฒ ๋ฐ์๋์ง๋ ์๋๋ค๋ ์ ์ ๋๋ค." ์ด ๋ฌธ์ฅ์ ๋ฌด์จ ์ ๋ณด๊ฐ ์์ผ๋ฉฐ ์ด๊ฑธ ๋ชจ๋ฅด๋ ์๊ธฐ๊ฐ ์ด๋จ์
"๋ฌด์จ ์์ ์์ ๋ชํ๋ก, ๋ฌด์จ ์์ ์์ ๋ชํ๋ก ์ฐจ์ด๊ฐ ๋ฌ๋ค" ์ด๋ ๊ฒ ๊ฒฐ๋ก ์ ๋ด์ผ์ง "์์ ๋ง๋ค ๋ฌ๋๋ค" ์ด๋ฌ๋ฉด ์ด๋กํ๋ ธ
๊ต์ํํ ๋ณด๊ณ ์๋ผ๊ณ ์ด๋ ๊ฒ ๋ด๋ฉด ์ธ๋ฅ์ ๋ถํฐ ๋ ์์ค๊ฒ ๋๋ฐ
์๋ง AIํํ ๋ฌผ์ด๋ด์ ๋์จ ๊ธ ๋๊ฐ ์ด ๊ฑฐ ๊ฐ์๋ฐ AI๊ฐ ํ๋ฆฌ๊ฑฐ๋ ์๋จน๊ธฐ ์ซ์ด์ ์กด๋ ๋ฐฉ์ด์ ์ผ๋ก ์จ์ ์๋ฌด ๋ด์ฉ๋ ์๋ ๊ธ์ ๊ทธ๋ฅ ๊ทธ๋๋ก ๋ถ์ฌ๋ฃ์ด์ ์ด๋ฐ ๋์ฐธ์ฌ๊ฐ ๋๋ฏ
AIDA64์์๋ ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ์ฐจ์ด๊ฐ ์ฝ๊ธฐ, ์ฐ๊ธฐ, ๋ณต์ฌ ๋์ญํญ์ผ๋ก ์ง์ ๋๋ฌ๋ฌ์ง๋ง, Cinebench R23์ฒ๋ผ ์ฐ์ฐ ์ฑ๋ฅ ์ค์ฌ์ ๋ ๋๋ง ์์ ์์๋ ์ฑ๋ฅ ์ฐจ์ด๊ฐ ๊ฑฐ์ ๋ํ๋์ง ์์์ต๋๋ค. (X) -> ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ์ฌ๋ AIDA64 ๊ฒฐ๊ณผ์์๋ ์ฝ๊ธฐ x%, ์ฐ๊ธฐ y%, ๋ณต์ฌ z% ์ฐจ์ด๋ฅผ ๋ณผ ์ ์์๋ค
7zip์ด cinebench๊ฐ ์ด์ฉ๊ณ ์ฃผ์ ์ฃผ์ ๊ธ ์ ์ฒด -> 7zip, cinebench, ์ฌํ ์ฐ์ฐ์๋๋ ๋์ผ์ฑ๋์์ ์ฐจ์ด๊ฐ 1% ์ ๋๋ผ์, ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ์๋ ์ฐ์ฐ ์๋๊ฐ rate limiting step์ด๊ณ ํจ๊ณผ๊ฐ ์์๋ค.
LM studio ์ด์ฉ๊ณ ์ ์ฉ๊ณ -> ๋ก์ปฌ LLM ์ฐ์ฐ๊ฐ์ ์์ ์์๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ์ฑ๋ฅ๊ณผ ๊ด๋ จ ์์. gpu offload ๋ฐ์์์๋ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด rate limiting step
"์ ๋ฆฌํ๋ฉด, ์ฑ๊ธ์ฑ๋๊ณผ ๋์ผ์ฑ๋์ ์ฐจ์ด๋ "ํญ์ ์ฒด๊ฐ๋๋ค"๊ฑฐ๋ "๊ฑฐ์ ์๋ฏธ ์๋ค"๋ก ๋จ์ ํ๊ธฐ ์ด๋ ต์ต๋๋ค. ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ ์์กด๋๊ฐ ๋ฎ์ ์์ ์์๋ ์ฐจ์ด๊ฐ ์ ํ์ ์ผ ์ ์์ง๋ง, ๋ฐ์ดํฐ ์ด๋๋์ด ๋ง์ ์์ ์์๋ ๋์ผ์ฑ๋ ๊ตฌ์ฑ์ ์ด์ ์ด ๋ถ๋ช ํด์ง๋๋ค." -> ๋์ผ์ฑ๋ ๊ตฌ์ฑ์ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ (๋น์ฐํ) x,y,z% ์ฆ๊ฐํ์ง๋ง, ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ด ์ฑ๋ฅ์ ์ ํ์์ธ์ธ ๊ฒฝ์ฐ๋ ๊ฑฐ์ ์์ด์ ๊ฒฐ๊ณผ์ ์ฑ๋ฅ์ฐจ์ด 1% ๋ฏธ๋ง์ด๋ค.
@๋ผ์ด์ ๋ง์คํฐ ํฅ๋ถํด์ ๋ฏธ์
@ใ ใ ๊ธ์์ 65535์ ์ด๊ณผํด์ ์์น ์ ๋ฆฌํ ํ ์ด๋ธ ๋ค ๋บ
@ใ ใ ํผ๋๋ฐฑ ๋ฐ์ ์
๊ธ ๋๋ฌด ๋ชป์ฐ๊ธด ํ๋ค..
์ด๊ฑฐ๋ณด๊ณ ํน๋ฑ ํฌ ์ ๋ ดํ์๋ ๋ชป์ฐ๊ฑฐ ๋ ํํํ๊ณ ๊ฐ๋ค
์ฑ๊ธ์ฑ๋์ด ์์ข๋ค๋๊ฑด ์๊ณ ์์์ง๋ง 30~40% ์ฑ๋ฅ ํ๋ฝ์ด๋ฉด ๊ฐ ํฌ๋ค์ expo๊ฐ jedec๋๋ฒ๋ฆฌ๋ ์ฐจ์ด๋ค
๋ฉ๋ชจ๋ฆฌ ์ง์ฝ์ ์์ ์ธ ๊ฒฝ์ฐ ์ฐจ์ด๊ฐ ํฌ๊ณ , ๊ทธ ์ธ ์์ ์ด๋ ์ผ๋ฐ์ ์ธ ๊ฒ์์์๋ ํฐ ์ฐจ์ด๋ ์๋๋๊ฒ ํต์ฌ
๊ฒ์์์ 1ํ๋ก ๋ก์ฐ ์ต๋ 4ํผ ์ฐจ์ด, 0.1๋ก์ฐ ์ต๋ 7ํผ ์ฐจ์ด๋ฉด ์๊ฐ๋ณด๋ค ๋์ผ์ฑ๋์ด๋ ์ฑ๊ธ์ฑ๋ ์ฐจ์ด๊ฐ ๊ทธ๋ ๊ฒ ํฌ์ง ์์๋ฐ? ๋ญ์ง ๋ค๋ฅธ ๊ฒ์์์ ๋ฌผ๋ก ๋ ๋ ์๋ ์๊ฒ ์ง๋ง ์์ธ๋ค
๋ด์ฅ๊ทธ๋ํฝ์ด๋ฉด ์ํฅ ํด ๊ฒ์ผ๋ก ์์ํจ
์ต๊ทผ์ ์ ํ๋ฒ ใ ใ ใ ์ด ๋จ 2์ฅ ๊ฝ์๋ฐ์ ๊ทธ๋ฅ ์ํผ์ ๋ฅผ ์ ๊ธํ๋ผ๊ณ ํ๋๋ฐ ์ด๊ธ ๋ณด๋ ์ง์ง ๋ง๋ ๊ฑฐ ๊ฐ๋ค ์๊ฐ๋ณด๋ค ์ฐจ์ด๊ฐ.. ์๋ค ๋ฌผ๋ก ๋ฐฐ๊ทธ ๊ฐ์ ๊ฒ์์ ๋ ๋ ์๋ ์์ด์ ์ฌํ ํ๋๋ง ๊ฐ์ง๊ณ ๊ฒฐ๋ก ์ ๋ด๋ฆฌ๊ธฐ ์ข ์ ๋งคํ์ง๋ง
@ใ ใ ๋ณดํต ๋จ 1๊ฐ 2๊ฐ ๊ณ ๋ฏผํ๋ ์ฌ๋์ ์์ฐ๋๋ฌธ์ ์ ๋ฑ๊ธ CPU ๋ณผ ์ด์ ๊ฐ ์์๊ฑธ
@๋ผ์ด์ ๋ง์คํฐ ใ ใ ใ ๋ณธ์ธ์ 7500x3d์ ๋จ 2์ฅ ๊ฝ์๊ฑฐ๋ฉด ๊ทธ๋ฅ 98์ผ๋๋ก ์ ๊ธํ๊ณ ๋จ 1์ฅ ๊ฝ๋๊ฒ ๋ซ๋ค๊ณ ํ๋๋ผ๊ณ .. ๊ทธ๋ฐ์์ผ๋ก ์ถ์ฒํด์ ๊ฒฌ์ ์ง๋ ๊ฑฐ ๊ฐ์ ์๋๋คํํ
@ใ ใ ๊ทธ๋์ ๊ฐค ๊ท์ ์ ํ๋งค์ ํ๋ ์ธํ๋ฃจ์ธ์ ์ธ๊ธ ๊ธ์ง๊ฐ ๋ค์ด์์