[IT๋์ ๋จ์ํ ๊ธฐ์] ์บ๋๋ค์ AI ๊ฐ์๊ธฐ ํ๋์จ์ด ์คํํธ์
, ํ
์คํ ๋ ํธ๊ฐ ์ง๋ 18์ผ, ์ถ์ ๋ช
๋ น์ด ์งํฉ ์ปดํจํฐ(RISC-V) ๊ธฐ๋ฐ์ AI ๊ฐ์๊ธฐ โ์ํ(Wormhole)โ์ ์ฌ์ ์ฃผ๋ฌธ์ ์์ํ๋ค. ํ
์คํ ๋ ํธ๋ ์ง๋ 2016๋
๋ฅ๋น์ฌ ๋ฐ์ด์น๊ฐ ์ฐฝ์
ํ ์ปดํจํฐ ํ๋์จ์ด ์คํํธ์
์ผ๋ก, 2021๋
์ ํ๋ ๋ฐ๋์ฒด์ ์๋ฒ์ง๋ผ ๋ถ๋ฆฌ๋ ์ง ์บ๋ฌ๊ฐ ๊ธฐ์ ์ต๊ณ ์ฑ
์์๋ก ๋ถ์ํ๋ฉฐ ํ์ ๋ฅผ ๋ชจ์๋ค. ์ง ์บ๋ฌ๋ 2023๋
์ต๊ณ ๊ฒฝ์์๋ก ์ฌ๋ผ์๋ฉฐ ํ์ฌ ํ
์คํ ๋ ํธ๋ฅผ ์ด๋๊ณ ์๋ค.
ํ
์คํ ๋ ํธ์ ์ํ์ 2021๋
๊ณต๊ฐ๋ โ๊ทธ๋ ์ด์ค์ปฌโ์ ๋ ๋ฒ์งธ ๋ผ์ธ์
์ ํ์ผ๋ก, RISC-V๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ค. RISC-V๋ ๋ฆฌ์คํฌํ์ด๋ธ๋ผ๊ณ ๋ ์ฝ์ผ๋ฉฐ, ๋๊ตฌ๋ ์นฉ๊ณผ ์ํํธ์จ์ด๋ฅผ ์ค๊ณ ๋ฐ ์ ์กฐ, ํ๋งคํ ์ ์๋ ์คํ์์ค ๋ฐ๋์ฒด๋ค. ๋ฌด๋ฃ๋ก ์ธ ์ ์๋ ๋งํผ Arm, MIPS ํ
ํฌ๋๋ก์ง์ค ๋ฑ ์์
์ฉ ๋ฐ๋์ฒด๋ฅผ ๋์ฒดํ ์ ์๊ณ , ์ฐ์ํ ์ํธ๋น ์ฑ๋ฅ๊ณผ ๋ฎ์ ๋ฐ์ด ๋๋ถ์ ์ ๋ง๋ ๋ค๋ฉด ์์ฅ ๊ฐ๋ฅ์ฑ์ ๋๋ค.
ํ
์คํ ๋ ํธ๊ฐ ์ถ์ํ ์ํ RISC-V ๊ธฐ๋ฐ AI ๊ฐ์๊ธฐ / ์ถ์ฒ=ํ
์คํ ๋ ํธ
ํ
์คํ ๋ ํธ๊ฐ ์ถ์ํ ์ํ RISC-V ๊ธฐ๋ฐ AI ๊ฐ์๊ธฐ / ์ถ์ฒ=ํ
์คํ ๋ ํธ
์ด๋ฌํ ์ฐ์ํจ์๋ ๋ถ๊ตฌํ๊ณ RISC-V๋ ์์ฅ์์ ํฌ๊ฒ ์ฃผ๋ชฉ์ ๋ฐ์ง ๋ชปํ๋๋ฐ, ํ๋ก์ธ์ ์ค๊ณ ๋ฐ ๊ฐ๋ฐ์ ์ด๋ ค์๊ณผ ๊ฐ๋ฐ ๋น์ฉ์ ํ๊ณ ๋๋ฌธ์ด๋ค. ๋ํ Arm ๋ฑ์ ๋ฐ๋์ฒด๋ ์์ฐ ๊ธฐ์
์ ์ค์ฌ์ผ๋ก ํ์คํ๊ฐ ๋์ด์๋ ๋ฐ๋ฉด, ๊ฐ๋ฐ์ ํ์ํ ํํธํ๊ฐ ์ฌํ๊ณ , ๊ธฐ์กด ์นฉ์ ๋์ฒดํ ๋งํผ ์ฑ๋ฅ์ ๋์ด๊ธฐ๋ ์ฝ์ง ์๋ค. ํ์ง๋ง ํ
์คํ ๋ ํธ์ ์ ํ์ ์ง ์ผ๋ฌ๋ผ๋ ์ ์ค์ ์ธ ๋ฐ๋์ฒด ์ค๊ณ์๊ฐ ์ฃผ๋ํ๊ณ ์์ด์ ์์ฅ์ ๊ธฐ๋๋ฅผ ๋ชจ์ผ๊ณ ์๋ค.
ํ
์คํ ๋ ํธ โ์ํโ์ ์ด๋ค ๋ฐ๋์ฒด?
์ด๋ฒ์ ๊ณต๊ฐ๋ ์ํ์ ๊ธฐ๋ณธ์ ์ผ๋ก 72๊ฐ์ ํ
์์ค ์ฝ์ด๋ฅผ ๊ฐ์ถ ์ํ n150, 128๊ฐ์ ์ฝ์ด๋ฅผ ๊ฐ์ถ ์ํ n300 AI ๊ฐ์๊ธฐ ์นด๋๊ฐ ๊ธฐ๋ณธ์ด๋ฉฐ, ์ฌ๊ธฐ์ ๋ค ๊ฐ์ n300์ด ํ์ฌ๋ TT-๋ผ์ฐ๋๋ฐ์ค(LoudBox), TT-์ฝฐ์ด์ดํธ๋ฐ์ค(QuietBox)๊ฐ ๊ฐ๋ฐ์ ํํ๋ก ์ ๊ณต๋๋ค. n150, n300์ ๊ธฐ๊ณํ์ต(๋จธ์ ๋ฌ๋)์ฉ GPU์ ๋์์ผ๋ก ์ค๊ณ๋ ๋ฐ๋์ฒด๋ก, TT-๋ถ๋ค(Buda) ๋ฐ TT-๋ฉํ๋ฅจ(Metallium)์ ํตํด ๊ฐ๋จํ AI ํ๋ก์ ํธ๋ฅผ ๊ตฌํํ๋ค.
์ํ n150s์ ๊ตฌ๋งค ํ์ด์ง, ์๋น๋์ GPU์ ๋นํด ์๋์ ์ผ๋ก ์ ๋ ดํ ๊ฐ๊ฒฉ๊ณผ 2์ฃผ ๋ฐ์ ๊ฑธ๋ฆฌ์ง ์๋ ๋ฐฐ์ก ๊ธฐํ์ด ์ธ์์ ์ด๋ค / ์ถ์ฒ=ํ
์คํ ๋ ํธ
์ํ n150s์ ๊ตฌ๋งค ํ์ด์ง, ์๋น๋์ GPU์ ๋นํด ์๋์ ์ผ๋ก ์ ๋ ดํ ๊ฐ๊ฒฉ๊ณผ 2์ฃผ ๋ฐ์ ๊ฑธ๋ฆฌ์ง ์๋ ๋ฐฐ์ก ๊ธฐํ์ด ์ธ์์ ์ด๋ค / ์ถ์ฒ=ํ
์คํ ๋ ํธ
ํ๋์จ์ด๋ x86 ์ํคํ
์ฒ ๊ธฐ๋ฐ ์์คํ
์์ ๋์ํ๋ฉฐ, PCIe 4.0x16 ์ฌ๋กฏ์ผ๋ก ์ฅ์ฐฉํ๋ค. ๋ฉ๋ชจ๋ฆฌ๋ n150์ด 12GB GDDR6, n300์ด 24GB GDDR6 ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ์ฌํ๋ฉฐ, ์ฒ๋ฆฌ ์ฑ๋ฅ์ FP8 ๊ธฐ์ค 262 ํ
๋ผํ๋กญ์ค, 466 ํ
๋ผํ๋กญ์ค๋ค. ์๋น์ ๋ ฅ์ 160์ํธ ๋ฐ 300์ํธ๋ค. ๋ผ์ฐ๋๋ฐ์ค๋ 4๊ฐ์ ์ํ n300 ์นด๋๊ฐ ํ์ฌ๋๋ฉฐ, ์ฝฐ์ด์ดํธ๋ฐ์ค๋ ์ก์ฒด ๋๊ฐ์ ํตํด ์์์ ๋ ์ค์๋ค.
์ผ์ชฝ๋ถํฐ ์์๋๋ก ์ํ n150 ๋ฐ n300, TT-๋ผ์ฐ๋๋ฐ์ค ๋ฐ TT-์ฝฐ์ด์ดํธ๋ฐ์ค ์ฃผ์ ์ ๋ณด / ์ถ์ฒ=ํ
์คํ ๋ ํธ
์ผ์ชฝ๋ถํฐ ์์๋๋ก ์ํ n150 ๋ฐ n300, TT-๋ผ์ฐ๋๋ฐ์ค ๋ฐ TT-์ฝฐ์ด์ดํธ๋ฐ์ค ์ฃผ์ ์ ๋ณด / ์ถ์ฒ=ํ
์คํ ๋ ํธ
๊ฐ๊ฒฉ์ ์ํ n150์ด 999๋ฌ๋ฌ(์ฝ 138๋ง ์), n300์ด 1399๋ฌ๋ฌ(์ฝ 194๋ง ์)๋ค. ๋ผ์ฐ๋๋ฐ์ค๋ 12000๋ฌ๋ฌ(์ฝ 1667๋ง ์๋), ์ฝฐ์ด์ดํธ๋ฐ์ค๋ 15000๋ฌ๋ฌ(์ฝ 2083๋ง ์๋)๋ก ์ฑ
์ ๋๋ค. ํ
์คํ ๋ ํธ๋ ๊ด๋ จ ์ํํธ์จ์ด ์๋ฃ๋ฅผ ๊นํ๋ธ ๊ณต์ ํ์ด์ง์ ๊ณต๊ฐํ์ผ๋ฉฐ, ์ ํ์ ๋ฐ๋ผ 2์ฃผ์์ ์ต๋ 10์ฃผ ๋ด๋ก ๋ฐฐ์ก ์์ ์ด๋ค.
์ฑ๋ฅ์ผ๋ก ์ดํด๋ณด๋ ์ํ์ ์์ฅ ๊ฐ๋ฅ์ฑ
๋จ์ ์ฑ๋ฅ์ผ๋ก ๋ณผ ๋ ์ํ n150 ๋ฐ n300์ ์ฑ๋ฅ์ ๋์ง ์๋ค. n300์ ์ฒ๋ฆฌ ์ฑ๋ฅ์ 300W ์๋น์ ๋ ฅ ๊ธฐ์ค FP8๋ก 466 ํ
๋ผํ๋กญ์ค๋ค. ์๋น๋์ H100๊ฐ 300W๋ก FP8์์ 1670 ํ
๋ผํ๋กญ์ค๋ ์ธ ๋ฐฐ ์ ๋ ์ฐจ์ด ๋๋ค. ํ์ง๋ง ๊ฐ๊ฒฉ์ n300์ด 1399๋ฌ๋ฌ, H100์ ๋น๊ณต์ ์๋งค๊ฐ๋ 3๋ง~4๋ง 5000๋ฌ๋ฌ(์ฝ 4000๋ง ์~6000๋ง ์๋)๋ก ์ต๋ 30๋ฐฐ๋ ์ฐจ์ด ๋๋ค. H100์ ํธํ์ฑ ๋ฐ ํ์ฅ์ฑ ๋ฑ์ด ์๋์ ์ผ๋ก ์ฐ์ํ์ง๋ง, ๋ถํธํจ์ ๊ฐ์ํ๋๋ผ๋ ์ํ์ ์ฐ๋ ๊ธฐ์
๋ค์ด ์์ ๊ฒ์ด๋ค.
ํ
์คํ ๋ ํธ ์ํ n300๊ณผ FP8์ ์ง์ํ๋ ์๋น๋์ H100๊ณผ์ ๊ฐ๊ฒฉ ๋น๊ต / ์ถ์ฒ=IT๋์
ํ
์คํ ๋ ํธ ์ํ n300๊ณผ FP8์ ์ง์ํ๋ ์๋น๋์ H100๊ณผ์ ๊ฐ๊ฒฉ ๋น๊ต / ์ถ์ฒ=IT๋์
AI ๊ฐ์๊ธฐ๊ฐ ๋
ธ๋ฆฌ๋ ์์ฅ์ด ๋ฐ๋ก ์ด ์์ฅ์ด๋ค. ๋๋ค์ AI ๊ฐ์๊ธฐ ๊ธฐ์
๋ค์ด ์๋น๋์์ ๋์ฒด์ ๋ฅผ ๊ฟ๊พธ์ง๋ง, ํ์ฌ ์์ฅ ์ํฉ์์ ์๋น๋์์ ๋์ฒด์ ๊ฐ ๋์ค๋ ๊ฑด ์ด๋ ต๋ค. ์๋น๋์๋ ์ง๊ธ์ ์์ฅ ์ ์ ์จ์ ์ํด 2006๋
๋ถํฐ ์ฟ ๋ค ์ธ์ด๋ฅผ ๊ฐ๋ฐํด ๋ฐฐํฌํ๊ณ , GPU๋ฅผ GPGPU๋ก ํ์ฉํ๋ ๊ฐ๋
์ ๋์
ํ๋ ๋ฑ 20์ฌ ๋
์ ๊ฑธ์ณ ์ํ๊ณ๋ฅผ ์์์๋ค. ๊ฒ๋ค๊ฐ ์๋น๋์๊ฐ ์ํ ์ถ๋ก ์นฉ์ผ๋ก ์ด ์์ฅ๊น์ง ๋๋ณผ ๊ฐ๋ฅ์ฑ๋ ์ถฉ๋ถํ๋ค. ์ง์ ๊ฒฝ์์ด ์ด๋ ค์ฐ๋ ์์๋ฅผ ์์์ ์ฐพ์ ๋ง๋ค์ด์ผ ํ๋ค.
์์ฅ์กฐ์ฌ๊ธฐ์
์คํํฐ์คํ๋ ์ฌํด GPU ์์ฅ ๊ท๋ชจ๋ฅผ 653์ต ๋ฌ๋ฌ(์ฝ 90์กฐ 5000์ต ์)๋ก ์์ธกํ๋ฉฐ, ์ฐํ๊ท 33.2%์ฉ ์ฑ์ฅํด 2029๋
์ 2742์ต ๋ฌ๋ฌ(์ฝ 380์กฐ ์)๊น์ง ํ๋๋ ๊ฒ์ผ๋ก ๋ดค๋ค. ์ด ์์ฅ ๋๋ค์๋ ํ์ฌ 70~95% ์ ์ ์จ์ ๊ฐ์ถ ์๋น๋์๊ฐ ๋ชฐ์๊ฐ ์์ ์ด์ง๋ง, 0.2%๋ง ํ๋ณดํด๋ 1800์ต ์๋ ๊ท๋ชจ์ ์์ฅ์ ๊ฐ์ ธ์ฌ ์ ์๋ค.
์ ์จํฉ ์น๋ค ๊ตฌ์์์ผ.
vram GDDR6 24GB์ธ๋ฐ ๊ฐ๊ฒฉ์ด 4090๊ธ์.. 12๋๋ ธ ๊ณต์ ์ ์ถ๋ก ๋ฐ์ ๋ชป ํจ...
๋ช์ธ๋ ๋ ๋์์ผํ ๋ฏ ๊ทธ๋๋ ์ง์ผ๋ฌ ์์ผ๋