๊ฒฐ๊ณผ ๋ฐ์ดํ„ฐ ํฌ๊ฒŒ ๋ณด๊ธฐ




์‹œ์ž‘ํ•˜๋ฉฐ


์ตœ๊ทผ ๋ฉ”๋ชจ๋ฆฌ ๊ฐ€๊ฒฉ์ด ํฌ๊ฒŒ ์˜ค๋ฅด๋ฉด์„œ, ์ œํ•œ๋œ ์˜ˆ์‚ฐ ์•ˆ์—์„œ ์‹œ์Šคํ…œ์„ ๊ตฌ์„ฑํ•  ๋•Œ ๋‹จ์ผ ๋ชจ๋“ˆ๋กœ ์šฉ๋Ÿ‰์„ ํ™•๋ณดํ• ์ง€, 2๊ฐœ ๋ชจ๋“ˆ๋กœ ๋“€์–ผ์ฑ„๋„ ๊ตฌ์„ฑ์„ ๋งž์ถœ์ง€ ๊ณ ๋ฏผํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•„์กŒ์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ํ…Œ์ŠคํŠธ๋„ "16GB x1 ๊ตฌ์„ฑ๊ณผ 8GB x2 ๊ตฌ์„ฑ ์ค‘ ์–ด๋А ์ชฝ์ด ๋‚˜์„๊นŒ?"๋ผ๋Š” ์งˆ๋ฌธ๊ณผ, ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„์˜ ์ฐจ์ด๊ฐ€ ์‹ค์ œ ์ž‘์—…์—์„œ ์–ด๋А ์ •๋„๋กœ ๋“œ๋Ÿฌ๋‚˜๋Š”์ง€์— ๋Œ€ํ•œ ํ˜ธ๊ธฐ์‹ฌ์—์„œ ์‹œ์ž‘ํ–ˆ์Šต๋‹ˆ๋‹ค.


์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์€ ๋“€์–ผ์ฑ„๋„๋ณด๋‹ค ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์ด ๋‚ฎ๋‹ค๋Š” ์ด์•ผ๊ธฐ๋Š” ์ต์ˆ™ํ•˜์ง€๋งŒ, ์‹ค์ œ ์ž‘์—…์—์„œ ์–ด๋А ์ •๋„ ์ฐจ์ด๋กœ ์ด์–ด์ง€๋Š”์ง€๋Š” ์ง์ ‘ ํ…Œ์ŠคํŠธํ•ด๋ณด๊ธฐ ์ „๊นŒ์ง€ ์ž˜ ์™€๋‹ฟ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.


์ด๋ฒˆ ๊ธ€์—์„œ๋Š” Ryzen 5 9600X, Ryzen 7 9850X3D, Ryzen 9 9950X3D ์‹œ์Šคํ…œ์—์„œ ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„ ๊ตฌ์„ฑ์„ ๋น„๊ตํ•˜๊ณ , AIDA64, 7-Zip, Cinebench R23, Cyberpunk 2077, LM Studio ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•ด ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์ด ์‹ค์ œ ์„ฑ๋Šฅ์— ์–ด๋–ค ์‹์œผ๋กœ ๋ฐ˜์˜๋˜๋Š”์ง€ ์‚ดํŽด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.




์‹œ์Šคํ…œ ๊ตฌ์„ฑ


* ์‹ค๋‚ด ์˜จ๋„ 26 - 27 โ„ƒ (์—์–ด์ปจ ๊ฐ€๋™)






ํ…Œ์ŠคํŠธ ์กฐ๊ฑด


๋ฐ”์ด์˜ค์Šค ์„ค์ •


- CPU: PBO Enabled (PPT 1000 W, EDC 1000 A, TDC 1000 A)


- RAM: EXPO I (1:1 DDR5-6000 CL26-36-36-96)


- iGPU: Disabled




์•ฑ ์ •๋ณด ๋ฐ ์„ค์ •


- AIDA64 Extreme (v7.70.7503)


- Cinebench R23 (R23.200)

Minimum Test Duration: Off


- 7-ZIP (v19.0, BenchMate 14.1.0)

Priority: Normal

Thread Count: All Threads

Timer Resolution: Leave Unchanged


- Cyberpunk 2077

๋น„๋””์˜ค: ๊ฒฝ๊ณ„์—†๋Š” ์ฐฝ๋ชจ๋“œ, FHD, NVIDIA Reflex Low Latency - On

๊ทธ๋ž˜ํ”ฝ: ํ€ต ํ”„๋ฆฌ์…‹ - ์šธํŠธ๋ผ, ํ”„๋ ˆ์ž„ ์ƒ์„ฑ - ๋„๊ธฐ


- LM Studio (v0.4.13)

Runtime: GGUF, CUDA 12 llama.cpp (v2.16.0)


ModelQuantizationParameter SizeContext LengthFlash AttentionDirect I/O
qwen/qwen3.6-35b-a3bQ4_K_M35B (Active 3B)4096ONOFF
qwen/qwen3.6-27bQ4_K_M27B4096ONOFF
google/gemma-4-26b-a4bQ4_K_M26B (Active 4B)4096ONOFF
google/gemma-4-e4bQ4_K_M7.9B (Effective 4B)4096ONOFF


CPULoad CPU Threads
Ryzen 5 9600X4
Ryzen 7 9850X3D6
Ryzen 9 9950X3D12


GPUModelGPU offload ratio

RTX 5060 Ti 16GB

Qwen3.6 35B A3B0.525
Qwen3.6 27B0.672
Gemma 4 26B A4B0.633
Gemma 4 E4B1.000

RTX 5090 32GB

Qwen3.6 35B A3B1.000
Qwen3.6 27B1.000
Gemma 4 26B A4B1.000
Gemma 4 E4B1.000


* GPU offload: ๋ชจ๋ธ ๋ ˆ์ด์–ด/๊ฐ€์ค‘์น˜๋ฅผ GPU๋กœ ๋ณด๋‚ด์„œ GPU์—์„œ ์ฒ˜๋ฆฌ, VRAM์ด ๋ถ€์กฑํ•  ๊ฒฝ์šฐ GPU offload ๋น„์œจ์ด ์ค„์–ด๋“ค๊ณ , GPU์— ์˜ฌ๋ผ๊ฐ€์ง€ ๋ชปํ•œ ๋‚˜๋จธ์ง€ ๋ ˆ์ด์–ด/๊ฐ€์ค‘์น˜๊ฐ€ CPU/system RAM ๊ฒฝ๋กœ์— ๋‚จ์Œ




๋ฒค์น˜๋งˆํฌ ๊ฒฐ๊ณผ


* LM Studio Chat ํ…Œ์ŠคํŠธ๋Š” 2ํšŒ, ๋‚˜๋จธ์ง€ ๋ฒค์น˜๋งˆํฌ ํ…Œ์ŠคํŠธ๋Š” 3ํšŒ ๋ฐ˜๋ณต ์ˆ˜ํ–‰ ํ›„ ๊ธฐํ•˜ํ‰๊ท  ์ฒ˜๋ฆฌ


1. AIDA64 Memory Benchmark





๊ฒฐ๊ณผ ํ•ด์„์— ์•ž์„œ, Ryzen 9000 ์‹œ๋ฆฌ์ฆˆ์˜ CCD์™€ IOD ๊ตฌ์กฐ๋ฅผ ๋จผ์ € ๋ณผ ํ•„์š”๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. CCD๋Š” ์ง์ ‘ DRAM ์ปจํŠธ๋กค๋Ÿฌ๋ฅผ ๊ฐ–๋Š” ๊ตฌ์กฐ๊ฐ€ ์•„๋‹ˆ๋ผ, IOD๋ฅผ ๊ฑฐ์ณ ๋ฉ”๋ชจ๋ฆฌ ์ปจํŠธ๋กค๋Ÿฌ์— ์ ‘๊ทผํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ AIDA64 Memory Read/Copy ๊ฒฐ๊ณผ๋Š” ๋‹จ์ˆœํžˆ DDR5 ๋ชจ๋“ˆ์˜ ๋ฌผ๋ฆฌ ๋Œ€์—ญํญ๋งŒ ๋ณด์—ฌ์ฃผ๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์ฝ”์–ด โ†’ CCD ๋‚ด๋ถ€ ๊ฒฝ๋กœ โ†’ CCDโ†”IOD ๋งํฌ โ†’ ๋ฉ”๋ชจ๋ฆฌ ์ปจํŠธ๋กค๋Ÿฌ โ†’ DRAM์œผ๋กœ ์ด์–ด์ง€๋Š” ์ „์ฒด ๊ฒฝ๋กœ์˜ ์˜ํ–ฅ์„ ํ•จ๊ป˜ ๋ฐ˜์˜ํ•ฉ๋‹ˆ๋‹ค.



์ด๋ฏธ์ง€ ์ถœ์ฒ˜:ย https://chipsandcheese.com/p/amds-ryzen-9950x-zen-5-on-desktop


์‹ฑ๊ธ€์ฑ„๋„ ์ „ํ™˜ ์‹œ Ryzen 5 9600X์™€ Ryzen 7 9850X3D๋Š” Read๊ฐ€ ์•ฝ 72%, Copy๊ฐ€ ์•ฝ 70~71%, Write๊ฐ€ ์•ฝ 55% ์ˆ˜์ค€์œผ๋กœ ๋‚ฎ์•„์กŒ์Šต๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด Ryzen 9 9950X3D๋Š” Read์™€ Copy๊ฐ€ ๊ฐ๊ฐ ์•ฝ 57% ์ˆ˜์ค€๊นŒ์ง€ ๋‚ด๋ ค๊ฐ”๊ณ , Write ์—ญ์‹œ ์•ฝ 56% ์ˆ˜์ค€์— ๋จธ๋ฌผ๋ €์Šต๋‹ˆ๋‹ค. ์ฆ‰ 9950X3D๋Š” ๋“€์–ผ์ฑ„๋„์—์„œ ํ™•๋ณดํ•˜๋˜ Read/Copy ๋Œ€์—ญํญ ์ด์ ์ด ์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์—์„œ ๋” ํฌ๊ฒŒ ์ค„์–ด๋“  ์…ˆ์ž…๋‹ˆ๋‹ค.


์ด ์ฐจ์ด๋Š” CCD ๊ฐœ์ˆ˜์™€ ์—ฐ๊ฒฐํ•ด์„œ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 9600X์™€ 9850X3D๋Š” 1CCD ๊ตฌ์„ฑ์œผ๋กœ ๋“€์–ผ์ฑ„๋„์—์„œ๋„ Read/Copy ๋Œ€์—ญํญ์ด ๋น„์Šทํ•œ ์ˆ˜์ค€์— ๋ฌถ์˜€์ง€๋งŒ, 9950X3D๋Š” 2CCD ๊ตฌ์„ฑ์œผ๋กœ ๋“€์–ผ์ฑ„๋„์—์„œ ๋” ๋†’์€ Read/Copy ๋Œ€์—ญํญ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์‹ฑ๊ธ€์ฑ„๋„์—์„œ๋Š” DRAM ์ฑ„๋„ ์ž์ฒด๊ฐ€ ๋จผ์ € ๋ณ‘,๋ชฉ์œผ๋กœ ์ž‘์šฉํ•˜๋ฉด์„œ ์„ธ CPU ๋ชจ๋‘ Read ์•ฝ 46GB/s, Copy ์•ฝ 42GB/s ๊ทผ์ฒ˜๋กœ ์ˆ˜๋ ดํ–ˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ AIDA64 ๊ฒฐ๊ณผ์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์˜ ๋Œ€์—ญํญ ์†์‹ค๋ฟ ์•„๋‹ˆ๋ผ, 2CCD CPU๊ฐ€ ๋“€์–ผ์ฑ„๋„์—์„œ ๊ฐ–๋Š” Read/Copy ์ด์ ์ด ์‹ฑ๊ธ€์ฑ„๋„์—์„œ ์‚ฌ๋ผ์ง€๋Š” ํ˜„์ƒ๋„ ํ•จ๊ป˜ ํ™•์ธํ•  ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.



2. 7-Zip Benchmark




7-Zip ๋ฒค์น˜๋งˆํฌ๋Š” LZMA ์••์ถ•/ํ•ด์ œ ํ…Œ์ŠคํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ  ๊ฒฐ๊ณผ๋ฅผ MIPS๋กœ ํ‘œ์‹œํ•ฉ๋‹ˆ๋‹ค. (์ •๋ณด ์ถœ์ฒ˜)


7-Zip ๋ฒค์น˜๋งˆํฌ์—์„œ๋Š” AIDA64์ฒ˜๋Ÿผ ๋Œ€์—ญํญ ์†์‹ค์ด ๊ทธ๋Œ€๋กœ ์ ์ˆ˜ ํ•˜๋ฝ์œผ๋กœ ์ด์–ด์ง€์ง€๋Š” ์•Š์•˜์Šต๋‹ˆ๋‹ค. Ryzen 5 9600X์™€ Ryzen 7 9850X3D๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ์ „ํ™˜ ์‹œ ๊ฐ๊ฐ ์•ฝ 1.7%, 1.6% ์ˆ˜์ค€์˜ ์†์‹ค์— ๊ทธ์ณค์Šต๋‹ˆ๋‹ค. ์ด ์ •๋„ ์ฐจ์ด๋Š” AIDA64์—์„œ ํ™•์ธ๋œ ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ ์†์‹ค์— ๋น„ํ•˜๋ฉด ์ƒ๋‹นํžˆ ์ œํ•œ์ ์ธ ์ˆ˜์ค€์ž…๋‹ˆ๋‹ค.


๋‹ค๋งŒ Ryzen 9 9950X3D์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ์ ์ˆ˜๊ฐ€ ๋“€์–ผ์ฑ„๋„ ๋Œ€๋น„ ์•ฝ 92.7% ์ˆ˜์ค€์œผ๋กœ ๋‚ฎ์•„์กŒ๊ณ , ์†์‹ค๋ฅ ์€ ์•ฝ 7.3%๊นŒ์ง€ ์ปค์กŒ์Šต๋‹ˆ๋‹ค. 7-Zip์€ ์••์ถ•/ํ•ด์ œ ๊ณผ์ •์—์„œ CPU ์—ฐ์‚ฐ ์„ฑ๋Šฅ๊ณผ ๋ฉ”๋ชจ๋ฆฌ ์ ‘๊ทผ์ด ํ•จ๊ป˜ ๋ฐ˜์˜๋˜๋Š” ํ…Œ์ŠคํŠธ์ž…๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ 9600X์™€ 9850X3D์—์„œ๋Š” ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์ด ์ฃผ๋œ ์ œํ•œ ์š”์†Œ๋กœ ์ž‘์šฉํ•˜์ง€ ์•Š์•˜์ง€๋งŒ, ๋” ๋งŽ์€ ์ฝ”์–ด์™€ 2CCD ๊ตฌ์„ฑ์„ ๊ฐ€์ง„ 9950X3D์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ์ „ํ™˜์— ๋”ฐ๋ฅธ ๋ฉ”๋ชจ๋ฆฌ ๋ณ‘,๋ชฉ์ด ์‹ค์ œ ์ ์ˆ˜์—๋„ ์ผ๋ถ€ ๋ฐ˜์˜๋œ ๊ฒƒ์œผ๋กœ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.



3. Cinebench R23 Benchmark (Multi-core)




Maxon์€ Cinebench๊ฐ€ Cinema 4D/Redshift ๊ธฐ๋ฐ˜ ๋ Œ๋”๋ง ์—”์ง„์„ ํ™œ์šฉํ•ด CPU/GPU ์„ฑ๋Šฅ์„ ํ‰๊ฐ€ํ•˜๋Š” ๋ฒค์น˜๋งˆํฌ๋ผ๊ณ  ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค. (์ •๋ณด ์ถœ์ฒ˜)


Cinebench R23 ๋ฉ€ํ‹ฐ์ฝ”์–ด ํ…Œ์ŠคํŠธ์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„์˜ ์ฐจ์ด๊ฐ€ ๊ฑฐ์˜ ๋‚˜ํƒ€๋‚˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. Ryzen 5 9600X๋Š” ์‹ฑ๊ธ€์ฑ„๋„์—์„œ ๋“€์–ผ์ฑ„๋„ ๋Œ€๋น„ 99.88%, Ryzen 7 9850X3D์™€ Ryzen 9 9950X3D๋Š” ๊ฐ๊ฐ 99.69% ์ˆ˜์ค€์„ ๊ธฐ๋กํ–ˆ์Šต๋‹ˆ๋‹ค. ์†์‹ค๋ฅ ๋กœ ๋ณด๋ฉด ์„ธ CPU ๋ชจ๋‘ 0.3% ์•ˆํŒŽ์ž…๋‹ˆ๋‹ค.


์ด ๊ฒฐ๊ณผ๋Š” Cinebench R23 ๊ฐ™์€ ๋ Œ๋”๋ง ์ž‘์—…์—์„œ๋Š” ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ๋ณด๋‹ค CPU ์ฝ”์–ด ์ˆ˜, ํด๋Ÿญ, ์ „๋ ฅ ์ œํ•œ, ์˜จ๋„ ์œ ์ง€๋ ฅ์ด ๋” ์ค‘์š”ํ•œ ์ œํ•œ ์š”์†Œ๋กœ ์ž‘์šฉํ–ˆ๋‹ค๋Š” ์˜๋ฏธ๋กœ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. AIDA64์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์˜ ๋Œ€์—ญํญ ์†์‹ค์ด ํฌ๊ฒŒ ํ™•์ธ๋์ง€๋งŒ, ํ•ด๋‹น ๋Œ€์—ญํญ ์†์‹ค์ด Cinebench R23 ์ ์ˆ˜์—๋Š” ๊ฑฐ์˜ ๋ฐ˜์˜๋˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ์ฆ‰ ์ด ํ…Œ์ŠคํŠธ์—์„œ๋Š” ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์ด ๋ณ‘,๋ชฉ์ด ์•„๋‹ˆ์—ˆ๋˜ ๊ฒƒ์œผ๋กœ ํ•ด์„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.



4. Cyberpunk 2077 Benchmark




Cyberpunk 2077 FHD ๋ฒค์น˜๋งˆํฌ์—์„œ๋Š” ํ‰๊ท  FPS ์†์‹ค์€ ํฌ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. Ryzen 5 9600X๋Š” ์‹ฑ๊ธ€์ฑ„๋„์—์„œ ํ‰๊ท  FPS๊ฐ€ ๋“€์–ผ์ฑ„๋„ ๋Œ€๋น„ 98.74%, Ryzen 7 9850X3D๋Š” 100.05%, Ryzen 9 9950X3D๋Š” 99.50% ์ˆ˜์ค€์ด์—ˆ์Šต๋‹ˆ๋‹ค. ํ‰๊ท  FPS๋งŒ ๋ณด๋ฉด ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„์˜ ์ฐจ์ด๋Š” ์ œํ•œ์ ์ž…๋‹ˆ๋‹ค.


ํ•˜์ง€๋งŒ ํ•˜์œ„ ํ”„๋ ˆ์ž„์—์„œ๋Š” ์ฐจ์ด๊ฐ€ ๋” ์ž˜ ๋“œ๋Ÿฌ๋‚ฌ์Šต๋‹ˆ๋‹ค. Ryzen 5 9600X๋Š” 1% Low์™€ 0.1% Low๊ฐ€ ๊ฐ๊ฐ 98.10%, 97.86% ์ˆ˜์ค€์ด์—ˆ๊ณ , Ryzen 7 9850X3D๋Š” 98.47%, 96.20% ์ˆ˜์ค€์ด์—ˆ์Šต๋‹ˆ๋‹ค. Ryzen 9 9950X3D๋Š” 1% Low๊ฐ€ 95.64%, 0.1% Low๊ฐ€ 92.51%๊นŒ์ง€ ๋‚ฎ์•„์กŒ์Šต๋‹ˆ๋‹ค. ์†์‹ค๋ฅ ๋กœ ๋ณด๋ฉด 9950X3D์˜ 0.1% Low๋Š” ์•ฝ 7.5% ํ•˜๋ฝํ•œ ์…ˆ์ž…๋‹ˆ๋‹ค.


๋”ฐ๋ผ์„œ ์ด๋ฒˆ Cyberpunk 2077 ํ…Œ์ŠคํŠธ์—์„œ๋Š” ํ‰๊ท  FPS๋ณด๋‹ค 1% Low์™€ 0.1% Low์—์„œ ๋ฉ”๋ชจ๋ฆฌ ์ฑ„๋„ ์ฐจ์ด๊ฐ€ ๋” ์ž˜ ๋“œ๋Ÿฌ๋‚ฌ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ 9950X3D๋Š” ๋“€์–ผ์ฑ„๋„์—์„œ ๋†’์€ Read/Copy ๋Œ€์—ญํญ์„ ํ™•๋ณดํ–ˆ์ง€๋งŒ, ์‹ฑ๊ธ€์ฑ„๋„์—์„œ๋Š” ์ด ์ด์ ์ด ํฌ๊ฒŒ ์ค„์–ด๋“  ๋งŒํผ ํ•˜์œ„ ํ”„๋ ˆ์ž„ ์†์‹ค๋„ ๋” ํฌ๊ฒŒ ๋‚˜ํƒ€๋‚œ ๊ฒƒ์œผ๋กœ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ ์ด๋Š” Cyberpunk 2077 FHD ์กฐ๊ฑด์—์„œ์˜ ๊ฒฐ๊ณผ์ด๋ฉฐ, ๊ฒŒ์ž„ ์—”์ง„, API, ํ•ด์ƒ๋„, ๊ทธ๋ž˜ํ”ฝ ์˜ต์…˜, GPU ์‚ฌ์šฉ๋ฅ ์— ๋”ฐ๋ผ ์–‘์ƒ์€ ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.



5. LM Studio Chats




๊ฒฐ๊ณผ ํ•ด์„์— ์•ž์„œ GPU offload๋Š” CPU/RAM ์ชฝ์— ๋‘˜ ์ˆ˜ ์žˆ๋Š” ๋ ˆ์ด์–ด/๊ฐ€์ค‘์น˜๋ฅผ GPU/VRAM์œผ๋กœ ์˜ฌ๋ ค์„œ ์‹คํ–‰ํ•œ๋‹ค๋Š” ์˜๋ฏธ๋กœ, ๊ทธ๋ž˜ํ”ฝ์นด๋“œ์˜ VRAM์˜ ์šฉ๋Ÿ‰์ด ๋ถ€์กฑํ•  ๊ฒฝ์šฐ ๋ชจ๋ธ ๋ ˆ์ด์–ด/๊ฐ€์ค‘์น˜๊ฐ€ GPU/VRAM์œผ๋กœ ๋ชจ๋‘ ์˜ฌ๋ผ๊ฐ€์ง€ ๋ชปํ•˜๊ณ  ๋‚˜๋จธ์ง€๋ฅผ CPU/system RAM ๊ฒฝ๋กœ์— ๋‚จ๊ฒจ GPU์— ๋ชจ๋‘ offload ๋˜์—ˆ์„ ๋•Œ ๋ณด๋‹ค ๋ชจ๋ธ ์ถ”๋ก  (ํ† ํฐ ์ƒ์„ฑ)์˜ ์†๋„๊ฐ€ ์ €ํ•˜๋ฉ๋‹ˆ๋‹ค.


LM Studio ํ…Œ์ŠคํŠธ์—์„œ๋Š” ๋ชจ๋ธ์ด GPU์— ์–ผ๋งˆ๋‚˜ ์˜ฌ๋ผ๊ฐ€๋Š”์ง€๊ฐ€ ํ•ต์‹ฌ ๋ณ€์ˆ˜์˜€์Šต๋‹ˆ๋‹ค. RTX 5060 Ti 16GB ํ™˜๊ฒฝ์—์„œ Qwen 35B A3B๋Š” GPU offload ratio 0.525, Qwen 27B๋Š” 0.672, Gemma 26B A4B๋Š” 0.633, Gemma E4B๋Š” 1.000์œผ๋กœ ๋กœ๋“œ๋์Šต๋‹ˆ๋‹ค. ์ฆ‰ Qwen 35B A3B, Qwen 27B, Gemma 26B A4B๋Š” ๋ชจ๋ธ ์ „์ฒด๊ฐ€ GPU๋กœ ์˜ฌ๋ผ๊ฐ€์ง€ ๋ชปํ•˜๊ณ  ์ผ๋ถ€ ๋ ˆ์ด์–ด์™€ ๊ฐ€์ค‘์น˜๊ฐ€ CPU/system RAM ๊ฒฝ๋กœ์— ๋‚จ๋Š” ์กฐ๊ฑด์ด์—ˆ์Šต๋‹ˆ๋‹ค.


์ด ์ƒํƒœ์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ์ „ํ™˜์— ๋”ฐ๋ฅธ ์†์‹ค์ด ํฌ๊ฒŒ ๋‚˜ํƒ€๋‚ฌ์Šต๋‹ˆ๋‹ค. Qwen 35B A3B๋Š” 9600X์—์„œ 40.02 โ†’ 31.43 tokens/s, 9850X3D์—์„œ 43.73 โ†’ 33.43 tokens/s, 9950X3D์—์„œ 44.45 โ†’ 30.32 tokens/s๋กœ ๋‚ฎ์•„์กŒ์Šต๋‹ˆ๋‹ค. ์†์‹ค๋ฅ ๋กœ ๋ณด๋ฉด ๊ฐ๊ฐ ์•ฝ 21.5%, 23.6%, 31.8%์ž…๋‹ˆ๋‹ค.


Gemma 26B A4B๋„ ๋น„์Šทํ•œ ๊ฒฝํ–ฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. 9600X๋Š” 42.86 โ†’ 33.62 tokens/s, 9850X3D๋Š” 44.79 โ†’ 35.04 tokens/s, 9950X3D๋Š” 50.50 โ†’ 34.75 tokens/s๋กœ ๋‚ฎ์•„์กŒ๊ณ , ์†์‹ค๋ฅ ์€ ๊ฐ๊ฐ ์•ฝ 21.6%, 21.8%, 31.2%์˜€์Šต๋‹ˆ๋‹ค. Qwen 27B ์—ญ์‹œ 9950X3D์—์„œ 9.20 โ†’ 5.66 tokens/s๋กœ ๋‚ฎ์•„์ ธ ์•ฝ 38.5% ์†์‹ค์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค.


๋ฐ˜๋Œ€๋กœ Gemma E4B์ฒ˜๋Ÿผ RTX 5060 Ti 16GB์—์„œ๋„ GPU offload ratio 1.000์œผ๋กœ ๋กœ๋“œ๋œ ๋ชจ๋ธ์€ ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„์˜ ์ฐจ์ด๊ฐ€ ๊ฑฐ์˜ ์—†์—ˆ์Šต๋‹ˆ๋‹ค. 9600X๋Š” 91.28 โ†’ 90.92 tokens/s, 9850X3D๋Š” 91.49 โ†’ 90.46 tokens/s, 9950X3D๋Š” 91.18 โ†’ 91.73 tokens/s๋กœ, ์‹ค์งˆ์ ์ธ ์ฐจ์ด๋Š” ์˜ค์ฐจ ๋ฒ”์œ„์— ๊ฐ€๊นŒ์› ์Šต๋‹ˆ๋‹ค.





RTX 5090 32GB ํ™˜๊ฒฝ์—์„œ๋„ ๊ฐ™์€ ํ๋ฆ„์ด ํ™•์ธ๋ฉ๋‹ˆ๋‹ค. ์ด ํ™˜๊ฒฝ์—์„œ๋Š” Qwen 35B A3B, Qwen 27B, Gemma 26B A4B, Gemma E4B ๋ชจ๋‘ GPU offload ratio 1.000์œผ๋กœ ๋กœ๋“œ๋๊ณ , ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„์˜ ํ† ํฐ ์ƒ์„ฑ ์†๋„ ์ฐจ์ด๋Š” ๊ฑฐ์˜ ์‚ฌ๋ผ์กŒ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ Gemma 26B A4B๋Š” ๋“€์–ผ์ฑ„๋„ 209.79 tokens/s, ์‹ฑ๊ธ€์ฑ„๋„ 209.92 tokens/s๋กœ ์‚ฌ์‹ค์ƒ ๋™์ผํ–ˆ๊ณ , Qwen 35B A3B ์—ญ์‹œ ๋“€์–ผ์ฑ„๋„ ๋Œ€๋น„ ์‹ฑ๊ธ€์ฑ„๋„์ด 99.95% ์ˆ˜์ค€์— ๋จธ๋ฌผ๋ €์Šต๋‹ˆ๋‹ค.


๋”ฐ๋ผ์„œ LM Studio ๊ฒฐ๊ณผ๋Š” ๋ฉ”๋ชจ๋ฆฌ ์ฑ„๋„ ์ฐจ์ด๊ฐ€ ํ•ญ์ƒ ๋™์ผํ•˜๊ฒŒ ์ž‘์šฉํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, GPU offload ๊ฐ€๋Šฅ ์—ฌ๋ถ€์— ๋”ฐ๋ผ ๋ณ‘,๋ชฉ ์œ„์น˜๊ฐ€ ๋‹ฌ๋ผ์ง„๋‹ค๋Š” ์ ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. ๋ชจ๋ธ ์ „์ฒด๊ฐ€ GPU๋กœ ์˜ฌ๋ผ๊ฐ€๋Š” ์กฐ๊ฑด์—์„œ๋Š” ์‹œ์Šคํ…œ ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์˜ ์˜ํ–ฅ์ด ํฌ๊ฒŒ ์ค„์–ด๋“ค์ง€๋งŒ, VRAM์ด ๋ถ€์กฑํ•ด ์ผ๋ถ€ ๋ ˆ์ด์–ด์™€ ๊ฐ€์ค‘์น˜๊ฐ€ CPU/system RAM ๊ฒฝ๋กœ์— ๋‚จ๋Š” ์กฐ๊ฑด์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์˜ ๋‚ฎ์€ ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์ด ํ† ํฐ ์†๋„ ํ•˜๋ฝ์œผ๋กœ ํฌ๊ฒŒ ๋ฐ˜์˜๋์Šต๋‹ˆ๋‹ค.




๋งˆ์น˜๋ฉฐ


์ด๋ฒˆ ํ…Œ์ŠคํŠธ์—์„œ ๊ฐ€์žฅ ๋จผ์ € ํ™•์ธ๋œ ๊ฒƒ์€ ์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์˜ ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ ์†์‹ค์ž…๋‹ˆ๋‹ค. AIDA64 ๊ธฐ์ค€์œผ๋กœ 9600X์™€ 9850X3D๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ์ „ํ™˜ ์‹œ Read/Copy ๋Œ€์—ญํญ์ด ์•ฝ 28~30% ์ค„์—ˆ๊ณ , 9950X3D๋Š” Read/Copy ์†์‹ค์ด ์•ฝ 43%๊นŒ์ง€ ์ปค์กŒ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ 9950X3D๋Š” ๋“€์–ผ์ฑ„๋„ ๊ตฌ์„ฑ์—์„œ 2CCD ๊ธฐ๋ฐ˜ Read/Copy ๋Œ€์—ญํญ ์ด์ ์„ ๋ณด์˜€์ง€๋งŒ, ์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์—์„œ๋Š” ์ด ์ด์ ์ด ํฌ๊ฒŒ ์ค„์–ด๋“ค๋ฉฐ 1CCD CPU์™€ ๋น„์Šทํ•œ ์ˆ˜์ค€์œผ๋กœ ์ˆ˜๋ ดํ–ˆ์Šต๋‹ˆ๋‹ค.



๋‹ค๋งŒ ์ด ๋Œ€์—ญํญ ์†์‹ค์ด ๋ชจ๋“  ๋ฒค์น˜๋งˆํฌ์—์„œ ๊ฐ™์€ ๋น„์œจ์˜ ์„ฑ๋Šฅ ํ•˜๋ฝ์œผ๋กœ ์ด์–ด์ง€์ง€๋Š” ์•Š์•˜์Šต๋‹ˆ๋‹ค. Cinebench R23 ๋ฉ€ํ‹ฐ์ฝ”์–ด ํ…Œ์ŠคํŠธ์—์„œ๋Š” ์„ธ CPU ๋ชจ๋‘ ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„ ์ฐจ์ด๊ฐ€ 0.3% ์•ˆํŒŽ์— ๊ทธ์ณค์Šต๋‹ˆ๋‹ค. ์ด ํ…Œ์ŠคํŠธ์—์„œ๋Š” ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ๋ณด๋‹ค CPU ์ฝ”์–ด ์ˆ˜, ํด๋Ÿญ, ์ „๋ ฅ ๋ฐ ์˜จ๋„ ์œ ์ง€๋ ฅ์ด ๋” ํฐ ์ œํ•œ ์š”์†Œ๋กœ ์ž‘์šฉํ•œ ๊ฒƒ์œผ๋กœ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.



7-Zip์—์„œ๋Š” CPU์— ๋”ฐ๋ผ ์ฐจ์ด๊ฐ€ ๊ฐˆ๋ ธ์Šต๋‹ˆ๋‹ค. 9600X์™€ 9850X3D๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ์†์‹ค์ด ์•ฝ 1.6~1.7% ์ˆ˜์ค€์— ๋จธ๋ฌผ๋ €์ง€๋งŒ, 9950X3D๋Š” ์•ฝ 7.3% ์†์‹ค์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. ์ฆ‰ ์••์ถ•/ํ•ด์ œ ์ž‘์—…์€ ์ˆœ์ˆ˜ ๋ฉ”๋ชจ๋ฆฌ ๋ฒค์น˜๋งˆํฌ์ฒ˜๋Ÿผ ๋Œ€์—ญํญ ์†์‹ค์„ ๊ทธ๋Œ€๋กœ ๋ฐ˜์˜ํ•˜์ง€๋Š” ์•Š์•˜์ง€๋งŒ, 2CCD ๊ตฌ์„ฑ์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ๋ณ‘,๋ชฉ์ด ์‹ค์ œ ์ ์ˆ˜์—๋„ ์ผ๋ถ€ ๋ฐ˜์˜๋์Šต๋‹ˆ๋‹ค.



๊ฒŒ์ž„ ํ…Œ์ŠคํŠธ์—์„œ๋Š” ํ‰๊ท  FPS๋ณด๋‹ค ํ•˜์œ„ ํ”„๋ ˆ์ž„ ์ง€ํ‘œ์—์„œ ์ฐจ์ด๊ฐ€ ๋” ์ž˜ ๋“œ๋Ÿฌ๋‚ฌ์Šต๋‹ˆ๋‹ค. Cyberpunk 2077 FHD ๊ธฐ์ค€ ํ‰๊ท  FPS ์†์‹ค์€ ํฌ์ง€ ์•Š์•˜์ง€๋งŒ, 9950X3D์˜ 1% Low์™€ 0.1% Low๋Š” ๊ฐ๊ฐ ์•ฝ 4.4%, 7.5% ํ•˜๋ฝํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ ์†์‹ค์ด ํ‰๊ท  ํ”„๋ ˆ์ž„๋ณด๋‹ค ์ˆœ๊ฐ„์ ์ธ ํ”„๋ ˆ์ž„ ๋ฐฉ์–ด๋ ฅ์ด๋‚˜ ํ”„๋ ˆ์ž„ํƒ€์ž„ ์•ˆ์ •์„ฑ์— ๋” ๋ฏผ๊ฐํ•˜๊ฒŒ ์ž‘์šฉํ•  ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.



LM Studio ํ…Œ์ŠคํŠธ์—์„œ๋Š” VRAM ์šฉ๋Ÿ‰๊ณผ GPU offload ๊ฐ€๋Šฅ ์—ฌ๋ถ€๊ฐ€ ๊ฒฐ๊ณผ๋ฅผ ํฌ๊ฒŒ ๊ฐˆ๋ž์Šต๋‹ˆ๋‹ค. RTX 5060 Ti 16GB์—์„œ Qwen 35B A3B์™€ Gemma 26B A4B์ฒ˜๋Ÿผ ์ผ๋ถ€ ๋ ˆ์ด์–ด์™€ ๊ฐ€์ค‘์น˜๊ฐ€ CPU/system RAM ๊ฒฝ๋กœ์— ๋‚จ๋Š” ๋ชจ๋ธ์€ ์‹ฑ๊ธ€์ฑ„๋„ ์ „ํ™˜ ์‹œ ์•ฝ 21~32% ์ˆ˜์ค€์˜ ์†์‹ค์„ ๋ณด์˜€๊ณ , Qwen 27B๋Š” 9950X3D์—์„œ ์•ฝ 38.5%๊นŒ์ง€ ์†์‹ค์ด ์ปค์กŒ์Šต๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด RTX 5090 32GB์ฒ˜๋Ÿผ ๋ชจ๋“  ๋ชจ๋ธ์ด GPU offload ratio 1.000์œผ๋กœ ๋กœ๋“œ๋˜๋Š” ํ™˜๊ฒฝ์—์„œ๋Š” ๋ฉ”๋ชจ๋ฆฌ ์ฑ„๋„ ์ฐจ์ด๊ฐ€ ๊ฑฐ์˜ ๋‚˜ํƒ€๋‚˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.



๊ฒฐ๋ก ์ ์œผ๋กœ ์‹ฑ๊ธ€์ฑ„๋„๊ณผ ๋“€์–ผ์ฑ„๋„์˜ ์ฐจ์ด๋Š” "ํ•ญ์ƒ ํฌ๋‹ค"๊ฑฐ๋‚˜ "๊ฑฐ์˜ ์˜๋ฏธ ์—†๋‹ค"๋กœ ๋‹จ์ •ํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์ด ๋ณ‘,๋ชฉ์ด ์•„๋‹Œ ์ž‘์—…์—์„œ๋Š” ์ฐจ์ด๊ฐ€ ์ž‘๊ฒŒ ๋‚˜ํƒ€๋‚  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ˜๋Œ€๋กœ ๋Œ€๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ง€์†์ ์œผ๋กœ ์ฝ๊ณ  ์“ฐ๋Š” memory-bound ๋˜๋Š” data-movement-bound ์ž‘์—…, CPU/system RAM ๊ฒฝ๋กœ๊ฐ€ ๊ฐœ์ž…๋˜๋Š” ๋กœ์ปฌ LLM ์ถ”๋ก , ๊ทธ๋ฆฌ๊ณ  ๋†’์€ ํ”„๋ ˆ์ž„ ์œ ์ง€๊ฐ€ ์ค‘์š”ํ•œ ๊ฒŒ์ž„ ํ™˜๊ฒฝ์—์„œ๋Š” ์‹ฑ๊ธ€์ฑ„๋„ ๊ตฌ์„ฑ์˜ ์†์‹ค์ด ์‹ค์ œ ์„ฑ๋Šฅ ์ฐจ์ด๋กœ ์ด์–ด์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.



๋”ฐ๋ผ์„œ ๊ฐ™์€ 32GB ์šฉ๋Ÿ‰์ด๋ผ๋„ 32GB x1๊ณผ 16GB x2๋Š” ์™„์ „ํžˆ ๊ฐ™์€ ๊ตฌ์„ฑ์ด ์•„๋‹™๋‹ˆ๋‹ค. ๋‹จ์ˆœ ์šฉ๋Ÿ‰ ํ™•๋ณด๊ฐ€ ๋ชฉ์ ์ด๋ผ๋ฉด ์‹ฑ๊ธ€์ฑ„๋„๋„ ์„ ํƒ์ง€๊ฐ€ ๋  ์ˆ˜ ์žˆ์ง€๋งŒ, ๊ฒŒ์ž„์˜ ํ•˜์œ„ ํ”„๋ ˆ์ž„ ์•ˆ์ •์„ฑ, ๋Œ€์šฉ๋Ÿ‰ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ, ์••์ถ•/ํ•ด์ œ, ์ผ๋ถ€ ๋กœ์ปฌ LLM ์ถ”๋ก ์ฒ˜๋Ÿผ ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ ์˜์กด๋„๊ฐ€ ์ปค์งˆ ์ˆ˜ ์žˆ๋Š” ์ž‘์—…๊นŒ์ง€ ๊ณ ๋ คํ•œ๋‹ค๋ฉด ๋“€์–ผ์ฑ„๋„ ๊ตฌ์„ฑ์ด ๋” ์•ˆ์ •์ ์ธ ์„ ํƒ์ž…๋‹ˆ๋‹ค.