7fea8175b5876af03bef83e046887373423c5d75e61ce36a3f9c1b040b4f

1. ์ง€๊ธˆ ๋งฅ๋ฏธ๋‹ˆ ๋Œ€๋ž€ ์™œ ์ผ์–ด๋‚จ?

์š”์ฆ˜ ํ•ซํ•˜๋‹ค๋Š” openclaw(๊ตฌ moltbot) ์“ฐ๊ธฐ์— ์ข‹๋‹ค๋Š” ์ด์•ผ๊ธฐ๊ฐ€ ํผ์กŒ์Œ.

๋ชฐํŠธ๋ด‡ ๊ฐœ๋ฐœ์ž๊ฐ€ ์• ์ดˆ์— ๋งฅ์œผ๋กœ ์“ฐ๊ณ ์žˆ๋Š”๊ฑฐ๊ฐ™๊ธฐ๋„ ํ•˜๊ณ  ๋งฅ๋ฏธ๋‹ˆ ์ž์ฒด๊ฐ€ ๊ฐ€์„ฑ๋น„์ข‹๊ธฐ๋„ ํ•˜๊ณ 







2. ๊ทผ๋ฐ ์™œ ์‚ฌ์ง€๋ง๋ผํ•จ?

"๋ชฐํŠธ๋ด‡์„ ๋Œ๋ฆฌ๊ธฐ ์œ„ํ•ด์„œ ๋งฅ๋ฏธ๋‹ˆ๋ฅผ ์‚ฌ๊ฒ ๋‹ค" ๋ผ๋Š” ์‚ฌ๋ก€๊ฐ€ ๋งŽ์ด ๋ณด์ด๊ธฐ ๋•Œ๋ฌธ

๋ชฐํŠธ๋ด‡๊ฐ™์€ ์ž‘์€ ์•ฑ์€ ๋งฅ๋ฏธ๋‹ˆ์ˆ˜์ค€์˜ ์ˆ˜-ํผ ํŒŒ์›Œ๊ฐ€ ์ „ํ˜€ ํ•„์š”๊ฐ€ ์—†์Œ. ์ดˆ์Šคํ”ผ๋“œ ๋™์˜์ƒ ๋ Œ๋”๋ง ๊ธฐ๋Šฅ์„ ์–˜๋„ค๊ฐ€ ์“ธ์ผ์ด ์žˆ๊ฒ ์Œ?

๋งฅ๋ฏธ๋‹ˆ๊ฐ€ ํ•„์š”ํ•œ ์‚ฌ๋žŒ๋“ค์€ ์• ์ดˆ์— ๊ฐ€์„ฑ๋น„์ œํ’ˆ์ด์—ˆ๊ธฐ ๋•Œ๋ฌธ์— ์ง„์ฆ‰ ๊ฐ€์ง€๊ณ ์žˆ์—ˆ์„ ํ…Œ๊ณ  ๋งฅ๋ฏธ๋‹ˆ๊ฐ€ ํ•„์š”๊ฐ€ ์—†๋Š”๋ฐ ์ž˜์€ ๋ชจ๋ฅด๊ฒ ์ง€๋งŒ ์ข‹์•„๋ณด์—ฌ์„œ ์‚ฐ๋‹ค? ๋Œ€ํ•™ ์ž…ํ•™ํ•˜๋Š” ์—ฌ๋Œ€์ƒ์ด ๋งฅ๋ถ์‚ฐ๋‹ค๊ทธ๋Ÿฌ๋ฉด ๊ทธ๋žจ์ด๋‚˜ ์ฅ์–ด์ฃผ๋Š”๊ฒŒ ๋‹น์—ฐํ•œ๊ฑฐ์ž„








3. ๋กœ์ปฌ LLM ๋Œ๋ฆด ์ˆ˜ ์žˆ๋Š”๊ฑฐ ์•„๋‹˜?


๋งฅ = ๋กœ์ปฌ LLM ๋Œ๋ฆฌ๊ธฐ ์ข‹๋‹ค๋Š” ์†Œ๋ฆฌ๊ฐ€ ์™œ ๋‚˜์™”๋Š”์ง€๋ถ€ํ„ฐ ๋ด์•ผ๋จ


๋กœ์ปฌ LLM์„ ๋Œ๋ฆด๊ฒฝ์šฐ ํŒŒ๋ผ๋ฏธํ„ฐ ์ˆ˜๋งŒํผ์˜ ๋ฉ”๋ชจ๋ฆฌ(VRAM)์ด ํ•„์š”ํ•จ. ๋ถ€์กฑํ•ด๋„ ์–ต์ง€๋กœ ์„ค์ •ํ•ด์„œ ๋Œ๋ฆด์ˆ˜์•ผ ์žˆ์ง€๋งŒ ๋ณ‘๋ชฉ์œผ๋กœ ์†๋„๊ฐ€ ์‹ฌ๊ฐํ•˜๊ฒŒ ๋А๋ ค์ง


์ œ์ผ ์„ฑ๋Šฅ์ข‹๊ณ  ๋งŽ์ด์“ฐ๋Š” ์—”๋น„๋””์•„ GPU๋ฅผ ์“ธ๊ฒฝ์šฐ ์†Œ๋น„์ž ์ œํ’ˆ์—์„œ VRAM์„ ํ™•๋ณดํ•˜๊ธฐ๊ฐ€ ๋งค์šฐ ์–ด๋ ค์›€. ์• ์‹œ๋‹น์ดˆ VRAM ์ž์ฒด๋ฅผ ์งœ๊ฒŒ ์ฃผ๊ธฐ๋„ ํ•˜๊ณ  ์—ฌ๋Ÿฌ๋Œ€ ์—ฐ๊ฒฐํ•˜๋Š”๊ฑด ํ•œ๊ณ„๋„ ์žˆ๊ณ  ๊ฐ€๊ฒฉ๋„ ๋งŽ์ด๋‚˜๊ฐ€๊ณ ...


๊ทผ๋ฐ ๋งฅ์€ ํ†ตํ•ฉ ๋ฉ”๋ชจ๋ฆฌ๋ผ๋Š” ๊ธฐ์ˆ ์„ ์‚ฌ์šฉํ•จ. CPU์™€ GPU๊ฐ€ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ๊ณต์œ ํ•˜๊ธฐ ๋•Œ๋ฌธ์— CPU์šฉ ๋žจ์„ ๋Š˜๋ฆฌ๋ฉด ๊ทธ๊ฑธ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ VRAM์œผ๋กœ๋„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ณ , ์†Œ๋น„์ž๋„ 128GB์งœ๋ฆฌ ๋ฉ”๋ชจ๋ฆฌ ์ œํ’ˆ์„ ์‚ด ์ˆ˜ ์žˆ๊ธฐ๋•Œ๋ฌธ์— ํ˜„์žฌ ์‹œ์žฅ์—์„œ ๊ตฌํ•  ์ˆ˜ ์žˆ๋Š” ์ œํ’ˆ ์ค‘ ๊ฐ€์žฅ VRAM์ด ํฐ ์ œํ’ˆ ์ค‘ ํ•˜๋‚˜์ธ๊ฑฐ์ž„


๊ทธ๋Ÿฌ๋‹ˆ๊นŒ ๋งฅ์˜ ๋ฉ”๋ชจ๋ฆฌ ์ด์ ์„ ์“ฐ๋ ค๋ฉด ์‚ฌ์‹ค์ƒ 128GB ๋ชจ๋ธ์„ ์‚ฌ์•ผํ•จ. 500๋งŒ์› ํƒœ์šธ ์ž์‹  ์žˆ์œผ๋ฉด ์‚ฌ์…ˆ








๊ทธ๋ ‡๊ฒŒ ์‚ฌ๋ฉด ๋˜ ๋ˆ๊ฐ’์„ ํ•˜๋А๋ƒ? ์•„๋‹˜. ์ผ๋‹จ ์ € ์†Œ๋ฆฌ๊ฐ€ ๋‚˜์˜จ๊ฒŒ ์‹œ์žฅ์— ์—”๋น„๋””์•„ ์ง€ํฌ์Šค, ๋งฅ ๋‘๊ฐœ๋ฐ–์— ์—†์„ ๋•Œ์ธ๋ฐ ๊ธฐ์—…๋“ค๋„ ๋ฐ”๋ณด๊ฐ€ ์•„๋‹ˆ๋ผ์„œ 128GB์งœ๋ฆฌ ์ œํ’ˆ์„ ๊ฝค ๋งŒ๋“ค์—ˆ์Œ. ์—”๋น„๋””์•„ DGX Spark๋‚˜ AMD AI MAX+ 395๊ฐ™์€๊ฒƒ๋“ค


๊ตฌ์ฒด์ ์ธ ์„ฑ๋Šฅ์€ ๋น„๊ตํ•ด๋ด์•ผ๊ฒ ์ง€๋งŒ ๋งฅ๋ฏธ๋‹ˆ M4์—๋Š” ๋‰ด๋Ÿด ๊ฐ€์†๊ธฐ๊ฐ€ ์—†์Œ. ๋ฉ”๋ชจ๋ฆฌ ๋ณ‘๋ชฉ์„ ํ•ด๊ฒฐํ•˜๊ธฐ๋Š” ์ข‹์ง€๋งŒ ์ ˆ๋Œ€์ ์ธ ์„ฑ๋Šฅ์œผ๋กœ๋Š” ๋”ฑํžˆ ์ด์ ์ด ์—†๋‹ค๋Š”๊ฒƒ์ž„.








๊ทธ๋ž˜๋„ ์‚ฌ๋‘๋ฉด ๋Œ๋ฆด์ˆ˜๋Š” ์žˆ์ง€์•Š๋А๋ƒ? ์š”์ฆ˜ ์˜คํ”ˆ์†Œ์Šค SOTA ๋ชจ๋ธ๋“ค์€ 300B ~ 600B์ •๋„ ํฌ๊ธฐ๊ฐ€ ๋˜๊ณ , ์ด์ •๋„ ๋ชจ๋ธ์„ ์†์‹ค ์—†์ด ๋Œ๋ฆฌ๋ ค๋ฉด 128GB๋กœ๋Š” ๋ถ€์กฑํ•จ. 256GB ~ 512GB๋ฅผ ๋งŒ๋“ค๊ธฐ ์œ„ํ•ด ์—ฌ๋Ÿฌ ๋Œ€๋ฅผ ์‚ฌ์„œ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“ค๋˜๊ฐ€ ํ•ด์•ผํ•จ



์•„ ๊ทธ๋Ÿฌ๋ฉด ์ž‘์€ ๋ชจ๋ธ์„ ์“ฐ๋ฉด ๋˜์ง€ ์•Š๋А๋ƒ? ๋งŽ์ด ๋‚˜์˜ค๋Š”๋ง์ด 32GB์งœ๋ฆฌ๋ฅผ ์‚ฌ์„œ GPT-OSS 20B๋ฅผ ๋Œ๋ฆฌ๊ฒ ๋‹ค์ธ๋ฐ... ํฌ๊ธฐ๊ฐ€ ์ด์ •๋„๋กœ ์ค„์–ด๋“ค๋ฉด ์„ฑ๋Šฅ์ด ์ƒ์ƒ ์ด์ƒ์œผ๋กœ ๋ฌธ์ œ๊ฐ€ ๋งŽ์Œ. 20B์ •๋„๋Š” ๊ธฐ์—…์ž…์žฅ์—์„  ๊ผฌ๋งˆ์ˆ˜์ค€์ด๋ผ ๋ฌด๋ฃŒ๋กœ ์จ๋ณผ์ˆ˜์žˆ๊ฒŒ ํ•ด๋†“๊ณ ์žˆ์œผ๋‹ˆ ๊ฑ ํ•œ๋ฒˆ ์จ๋ณด์…ˆ

์จ๋ณด๊ธฐ: https://gpt-oss.com/




์„ค๋ น GPT-OSS 20B๋ฅผ ๋Œ๋ ค๋ณด๊ณ  ์‹ถ๋‹ค๊ณ  ํ•ด๋„ ์ด๊ฑด ์›Œ๋‚™ ์‹ธ๊ธฐ๋•Œ๋ฌธ์— API๋กœ๋„ ๊ฑฐ์˜ ๋ฌด๋ฃŒ, ๋ชฐํŠธ๋ด‡์„ ๋Œ๋ ค๋„ ํ‘ผ๋ˆ์œผ๋กœ ๋๋‚ผ ์ˆ˜ ์žˆ์Œ

Cerebras ๋“ฑ NPU์—…์ฒด์—์„œ๋Š” ๋ฌด๋ ค ์ดˆ๋‹น 2000ํ† ํฐ์งœ๋ฆฌ ์„œ๋น„์Šค๋ฅผ ์ง€์›ํ•จ (GPT์ถœ๋ ฅ ์†๋„์˜ 20๋ฐฐ ์ •๋„)









4. ๊ทธ๋ž˜๋„ ๋งฅ๋ฏธ๋‹ˆ ๊ฐ€์„ฑ๋น„์•„๋‹˜?



์ˆ˜-ํผ ๊ฐ€์„ฑ๋น„์ง€

์›๋ž˜๋„ M1~ ์‹œ๋ฆฌ์ฆˆ๊ฐ€ ์—„์ฒญ ๊ฐ€์„ฑ๋น„์˜€๋Š”๋ฐ ์ตœ๊ทผ ๋žจ๊ฐ’ ํญ๋“ฑ์œผ๋กœ ๋ ˆ์ „๋“œ ๊ฐ€์„ฑ๋น„๊ฐ€ ๋จ. ์œˆ๋„์šฐ๋Š” ๋‘๋ฐฐ ์˜ฌ๋ž๋Š”๋ฐ ์–œ ๊ทธ๋Œ€๋กœ์•ผ

๊ทผ๋ฐ ๊ฐ€์„ฑ๋น„๋ผ๊ณ  50 ~ 100 ํ•˜๋Š”๊ฑธ ๋œ์ปฅ ์‚ฌ์•ผ๋  ์ด์œ ๋„ ๋”ฑํžˆ ์—†๋Š”๊ฑฐ์ž„. ์ž์ „๊ฑฐํƒ€๊ณ ๋‹ค๋‹ˆ๋Š”์‚ฌ๋žŒ์ด ๊ฐ€์„ฑ๋น„ ์†Œํ˜•์ฐจ ์‚ฌ์ง€ ์•Š๋Š”๊ฒƒ์ฒ˜๋Ÿผ

์†Œ๋น„์— ๊ฐ€์„ฑ๋น„๋ณด๋‹ค ์•ž์„œ๋Š”๊ฑด ๋ชฉ์ ์ด๋ž‘ ๋ถ€ํ•ฉํ•˜๋ƒ๋Š”๊ฑฐ์ž„



๊ฐ ์ ์œผ๋กœ๋Š” ๋งฅ๋ฏธ๋‹ˆM5๊ฐ€ ๋‚˜์˜ค๋ฉด ๊ตฌ๋งคํ•  ๊ณ„ํš์ด ์žˆ์Œ. K-EXAONE์„ ๋Œ๋ ค๋ณด๊ณ  ์‹ถ์€๋ฐ ์ด๊ฑด ๋ผ์ด์„ผ์Šค๋•Œ๋ฌธ์— API์—์„œ ์ œ๋Œ€๋กœ ์„œ๋น„์Šค๋ฅผ ์•ˆํ•˜๊ฑฐ๋“ ? M5๋Š” ๋‰ด๋Ÿด ๊ฐ€์†๊ธฐ๋„ ๋ถ™์–ด์„œ ์„ฑ๋Šฅ๋„์ข‹๊ณ  ์—‘์‚ฌ์›๊นŒ์ง„ ๋Œ๋ฆด์ˆ˜์žˆ๋‹ค๋Š”๊ฑฐ์ž„


๋˜๋Š” RAG๋•Œ๋ฌธ์— ์ž„๋ฒ ๋”ฉ๋ชจ๋ธ ์ •๋„ ์“ฐ๊ฒ ๋‹คํ•˜๋ฉด ์ข‹์€ ์„ ํƒ์ž„. ์–˜๋„ค๋Š” API์“ฐ๋ฉด ์ถ”๋ก ์‹œ๊ฐ„๋ณด๋‹ค ๋”œ๋ ˆ์ด๊ฐ€ ๋” ๋‚˜์˜ค๊ธฐ๋•Œ๋ฌธ์—










5. ๊ทธ๋Ÿผ ์–‘๋†ˆ๋“ค์€ ์™œ์‚ผ?


๊ตณ์ด๊ตณ์ด ํ•‘๊ณ„๋ฅผ ๋Œ€์ž๋ฉด ๋งฅ์„ ์“ธ๊ฒฝ์šฐ iMessage ์—ฐ๋™๊ณผ ์Œ์„ฑ UX๊ฐ€ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•จ

๊ทผ๋ฐ ๋ณดํ†ต ๋ชฐํŠธ๋ด‡์€ UX ํŽธํ•œ ์—์ด์ „ํŠธ / ๋ชฐํŠธ๋ถ ์žฅ๋‚œ๊ฐ์šฉ์ด์ž–์•„ ๊ทธ๊ฑฐํ•˜๋‚˜๋•Œ๋ฌธ์— ๊ตณ์ด ๋งฅ๋ฏธ๋‹ˆ๋ฅผ?

๋งฅ๋ฏธ๋‹ˆ ๊ฐ€์„ฑ๋น„๋•Œ๋ฌธ์— ๋ˆˆ๋„์žฅ์ฐ์–ด๋†จ๋‹ค๊ฐ€ ํ•‘๊ณ„์ƒ๊ธฐ๋‹ˆ๊นŒ ์ƒ€๋‹ค๋Š”๊ฒŒ ํ•™๊ณ„์˜ ์ •์„ค













6. ๊ทธ๋ž˜์„œ ๋ญ ์‚ฌ๋ฉด ๋จ?


"๋ชฐํŠธ๋ด‡์„ ๋Œ๋ฆฌ๊ธฐ ์œ„ํ•ด์„œ"๋ผ๋Š” ๋ชฉ์ ์ด๋ผ๋ฉด...

1) ํด๋ผ์šฐ๋“œ์— ์ต์ˆ™ํ•˜๋‹ค๋ฉด ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค๋ฅผ ์“ฐ์…ˆ. AWS๊ฐ™์€๊ฑฐ

2) ๋ผ์ฆˆ๋ฒ ๋ฆฌ ํŒŒ์ด๋‚˜ N100์„ ์‚ฌ์„œ ๋ฆฌ๋ˆ…์Šค๋ฅผ ๊นŒ์…ˆ



๋ผ์ฆˆ๋ฒ ๋ฆฌ ํŒŒ์ด๋Š” ์‚ด์ง ๋”ธ๋ฆด์ˆ˜๋„ ์žˆ์ง€๋งŒ N100์˜ ๊ฒฝ์šฐ ๋žจ 16๊ธฐ๊ฐ€๊นŒ์ง€ ์“ธ์ˆ˜ ์žˆ๊ธฐ๋•Œ๋ฌธ์— ์…€ํ”„ํ˜ธ์ŠคํŒ… ์•ฑ ์ •๋„์•ผ ์—ฌ๋Ÿฌ๊ฐœ ๋„์›Œ๋†“๊ณ  24์‹œ๊ฐ„ ๋Œ๋ ค๋„ ์•„๋ฌด๋Ÿฐ ๋ฌธ์ œ๊ฐ€ ์—†์Œ

ํ•˜๋Š”๊น€์— OpenWebUI๊ฐ™์€๊ฒƒ๋“ค๋„ ์จ๋ณด์…ˆ


์ €๋Š” ๋ฆฌ๋ˆ…์Šค๋ฅผ ๋ชจ๋ฅด๋Š”๋ฐ์š” <- ๊ทธ๋Ÿผ ๋ชฐํŠธ๋ด‡ ์›๋ž˜ ๋ชป์จ GPT ์ฐพ์•„๋ด