https://www.aitimes.com/news/articleView.html?idxno=158692

์ธํ…”, ์ฐจ์„ธ๋Œ€ AI ์นฉ โ€˜๊ฐ€์šฐ๋””3โ€™์œผ๋กœ ์—”๋น„๋””์•„์— ๋„์ „์ธํ…”์ด ์ž์ฒด ๊ฐœ๋ฐœํ•œ ์ตœ์‹  ์ธ๊ณต์ง€๋Šฅ(AI) ์นฉ์„ ๊ณต๊ฐœํ•˜๊ณ  ์—”๋น„๋””์•„์— ๋ณธ๊ฒฉ์ ์ธ ๋„์ „์žฅ์„ ๋‚ด๋ฐ€์—ˆ๋‹ค.๋ฒค์ฒ˜๋น„ํŠธ๋Š” 9์ผ(ํ˜„์ง€์‹œ๊ฐ„) ์ธํ…”์ด ๋ฏธ๊ตญ ์•„๋ฆฌ์กฐ๋‚˜์ฃผ ํ”ผ๋‹‰์Šค์—์„œ ์—ด๋ฆฐ โ€˜์ธํ…” ๋น„์ „ 2024โ€™ ์ปจํผ๋Ÿฐ์Šค์—์„œ ์ตœ์‹  AI ์นฉ โ€˜๊ฐ€์šฐ๋”” 3(Gaudi 3)โ€ฒ๋ฅผ ๊ณต๊ฐœํ–ˆ๋‹ค๊ณ  ์ „ํ–ˆ๋‹ค. ์ง€๋‚œํ•ด 12์›” ๊ฐ€์šฐ๋”” 3 ์ถœ์‹œ๋ฅผ ์˜ˆ๊ณ ํ•œ ์ง€ 5๊ฐœ์›” ๋งŒ์ด๋‹ค. ์ด์— ๋”ฐ๋ฅด๋ฉด ๊ฐ€์šฐ๋”” 3๋Š” ์—”๋น„๋””์•„ 'H100'์— ๋น„ํ•ด '๋ผ๋งˆ 2 7B' '๋ผ๋งˆ 2 13B' 'GPT-3 175B' ๋ชจ๋ธ์—์„œ 1.7๋ฐฐ ๋” ๋น ๋ฅธ ํ›ˆ๋ จ ์‹œ๊ฐ„์„ ์ œ๊ณตํ•œ๋‹ค. ์ถ”๋ก  ์ฒ˜๋ฆฌ๋Ÿ‰์€ '๋ผ๋งˆ 7B' '๋ผ๋งˆ 70B' 'ํŒฐ์ปจwww.aitimes.com



7ce88870bc8007f739ef81e042ee7564e19802b52bc6e8e5cb80e4cf6c0eea880360



์ธํ…”์ด ์ž์ฒด ๊ฐœ๋ฐœํ•œ ์ตœ์‹  ์ธ๊ณต์ง€๋Šฅ(AI) ์นฉ์„ ๊ณต๊ฐœํ•˜๊ณ  ์—”๋น„๋””์•„์— ๋ณธ๊ฒฉ์ ์ธ ๋„์ „์žฅ์„ ๋‚ด๋ฐ€์—ˆ๋‹ค.


๋ฒค์ฒ˜๋น„ํŠธ๋Š” 9์ผ(ํ˜„์ง€์‹œ๊ฐ„) ์ธํ…”์ด ๋ฏธ๊ตญ ์•„๋ฆฌ์กฐ๋‚˜์ฃผ ํ”ผ๋‹‰์Šค์—์„œ ์—ด๋ฆฐ โ€˜์ธํ…” ๋น„์ „ 2024โ€™ ์ปจํผ๋Ÿฐ์Šค์—์„œ ์ตœ์‹  AI ์นฉ โ€˜๊ฐ€์šฐ๋”” 3(Gaudi 3)โ€ฒ๋ฅผ ๊ณต๊ฐœํ–ˆ๋‹ค๊ณ  ์ „ํ–ˆ๋‹ค. ์ง€๋‚œํ•ด 12์›” ๊ฐ€์šฐ๋”” 3 ์ถœ์‹œ๋ฅผ ์˜ˆ๊ณ ํ•œ ์ง€ 5๊ฐœ์›” ๋งŒ์ด๋‹ค.

์ด์— ๋”ฐ๋ฅด๋ฉด ๊ฐ€์šฐ๋”” 3๋Š” ์—”๋น„๋””์•„ 'H100'์— ๋น„ํ•ด '๋ผ๋งˆ 2 7B' '๋ผ๋งˆ 2 13B' 'GPT-3 175B' ๋ชจ๋ธ์—์„œ 1.7๋ฐฐ ๋” ๋น ๋ฅธ ํ›ˆ๋ จ ์‹œ๊ฐ„์„ ์ œ๊ณตํ•œ๋‹ค. ์ถ”๋ก  ์ฒ˜๋ฆฌ๋Ÿ‰์€ '๋ผ๋งˆ 7B' '๋ผ๋งˆ 70B' 'ํŒฐ์ปจ 180B' ๋ชจ๋ธ์—์„œ H100๋ณด๋‹ค 1.5๋ฐฐ, ์—”๋น„๋””์•„์˜ ์ตœ์‹  'H200'๋ณด๋‹ค 1.3๋ฐฐ ๋” ๋น ๋ฅด๋‹ค. ๋˜ ์ถ”๋ก  ์ „๋ ฅ ํšจ์œจ์€ H100๋ณด๋‹ค ํ‰๊ท  2.3๋ฐฐ ๋” ๋†’๋‹ค.

์ด์ „ ๋ฒ„์ „๋ณด๋‹ค 4๋ฐฐ ๋” ๋งŽ์€ BF16์šฉ AI ์ปดํ“จํŒ… ์„ฑ๋Šฅ๊ณผ 1.5๋ฐฐ ํ–ฅ์ƒ๋œ HBM ๋ฉ”๋ชจ๋ฆฌ ๋Œ€์—ญํญ์„ ์ œ๊ณตํ•œ๋‹ค.

2๊ฐœ์˜ ๋‹ค์ด ๋ชจ๋“ˆ์— ๋ถ„์‚ฐ๋œ 64๊ฐœ์˜ TPC ์ฝ”์–ด์™€ 8๊ฐœ์˜ MME ์ฝ”์–ด๋กœ ๊ตฌ์„ฑ๋˜๋ฉฐ, AI ๋ชจ๋ธ์ด ๊ณ„์‚ฐ์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ์— ๋น ๋ฅด๊ฒŒ ์•ก์„ธ์Šคํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ด์ฃผ๋Š” 128GB์˜ ์˜จ๋ณด๋“œ HBM2e ๋ฉ”๋ชจ๋ฆฌ๊ฐ€ ์ง€์›๋œ๋‹ค.

TPC๋Š” AI ๋ชจ๋ธ์ด ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๋™์•ˆ ์ˆ˜ํ–‰ํ•˜๋Š” ์—ฌ๋Ÿฌ ์œ ํ˜•์˜ ๊ณ„์‚ฐ ์†๋„๋ฅผ ๋†’์ด๋„๋ก ์ตœ์ ํ™”๋˜์—ˆ์œผ๋ฉฐ, MME๋Š” ์ด๋ฏธ์ง€ ์ธ์‹ ๋ชจ๋ธ์˜ ๊ธฐ๋ฐ˜์ด ๋˜๋Š” ์ปจ๋ณผ๋ฃจ์…”๋„ ๋ ˆ์ด์–ด๋ฅผ ์‹คํ–‰์— ์ค‘์ ์„ ๋‘”๋‹ค.

์ธํ…”์— ๋”ฐ๋ฅด๋ฉด ๋‹จ์ผ ์„œ๋ฒ„์— 8๊ฐœ์˜ ๊ฐ€์šฐ๋”” 3 ์นฉ์„ ์„ค์น˜ํ•  ์ˆ˜ ์žˆ๋‹ค. ๊ฐ ์นฉ์—๋Š” ์ธ์ ‘ํ•œ ๊ฐ€์šฐ๋”” 3์™€ ๋ฐ์ดํ„ฐ๋ฅผ ๊ตํ™˜ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋˜๋Š” 21๊ฐœ์˜ ์ด๋”๋„ท ๋งํฌ๊ฐ€ ํฌํ•จ๋ผ ์žˆ๋‹ค. ๋˜ ์„œ๋ฒ„ ์™ธ๋ถ€์˜ ์นฉ๊ณผ ์ƒํ˜ธ ์ž‘์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์ด๋”๋„ท ๋งํฌ๊ฐ€ 3๊ฐœ ๋” ์ œ๊ณต๋œ๋‹ค. ์ธํ”ผ๋‹ˆ๋ฐด๋“œ ์ค‘์‹ฌ์ธ ์—”๋น„๋””์•„์™€ ๋‹ฌ๋ฆฌ ๊ฐœ๋ฐฉ์ ์ธ ์ด๋”๋„ท์„ ์‚ฌ์šฉํ•œ๋‹ค๋Š” ์„ค๋ช…์ด๋‹ค.

์ธํ…”์€ ๊ฐ€์šฐ๋”” 3์˜ ๊ฐœ๋ฐฉ์ ์ธ ์ƒํƒœ๊ณ„๊ฐ€ ์—”๋น„๋””์•„์˜ ํ์‡„์ ์ธ ์ฟ ๋‹ค(CUDA) ์ƒํƒœ๊ณ„์™€ ๋‹ค๋ฅด๋‹ค๊ณ  ๊ฐ•์กฐํ–ˆ๋‹ค. ์ธํ…”์€ ํ€„์ปด, ๊ตฌ๊ธ€ ๋“ฑ๊ณผ '๋ฐ˜ ์—”๋น„๋””์•„ ์ „์„ '์„ ํ˜•์„ฑํ•˜๋ฉฐ AI ์•ฑ ๊ฐœ๋ฐœ์„ ์œ„ํ•œ ์˜คํ”ˆ ์†Œํ”„ํŠธ์›จ์–ด ๊ตฌ์ถ•์—๋„ ๋‚˜์„œ๊ณ  ์žˆ๋‹ค.

3๋ถ„๊ธฐ์— ์ถœ์‹œ ์˜ˆ์ •์ด๋ฉฐ, ์„œ๋ฒ„์—…์ฒด ๋ธ๊ณผ HP, ์Šˆํผ๋งˆ์ดํฌ๋กœ ๋“ฑ์ด ๊ฐ€์šฐ๋””3 ์‹œ์Šคํ…œ์„ ๊ตฌ์ถ•ํ•  ๊ฒƒ์œผ๋กœ ์•Œ๋ ค์กŒ๋‹ค. ๊ฐ€๊ฒฉ์€ ๊ณต๊ฐœ๋˜์ง€ ์•Š์•˜๋‹ค.

๊ทธ๋Ÿฌ๋‚˜ ๋‹ค์Šค ์บ„ํ•˜์šฐํŠธ ์ธํ…” ์†Œํ”„ํŠธ์›จ์–ด ๋ถ€์‚ฌ์žฅ์€ โ€œ์šฐ๋ฆฌ๋Š” ๊ฐ€์šฐ๋”” 3๊ฐ€ ์—”๋น„๋””์•„์˜ ์ตœ์‹  ์นฉ๊ณผ ๋น„๊ตํ•ด ๋งค์šฐ ๊ฒฝ์Ÿ๋ ฅ์ด ์žˆ์„ ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€ํ•œ๋‹คโ€๋ผ๊ณ  ๋งํ–ˆ๋‹ค. ๋˜ โ€œ๊ฒฝ์Ÿ๋ ฅ ์žˆ๋Š” ๊ฐ€๊ฒฉ, ์ฐจ๋ณ„ํ™”๋œ ๊ฐœ๋ฐฉํ˜• ํ†ตํ•ฉ ๋„คํŠธ์›Œํฌ ์˜จ ์นฉ, ์—…๊ณ„ ํ‘œ์ค€ ๋„คํŠธ์›Œํฌ ๊ธฐ์ˆ ์ธ ์ด๋”๋„ท์„ ์‚ฌ์šฉํ•œ๋‹คโ€๋ผ๋ฉฐ โ€œ๊ฐ€์šฐ๋”” 3๊ฐ€ ๊ฐ•๋ ฅํ•œ ์ œํ’ˆ์ด๋ผ๊ณ  ๋ฏฟ๋Š” ๋ฐ์—๋Š” ์ด์œ ๊ฐ€ ์žˆ๋‹คโ€๋ผ๊ณ  ์„ค๋ช…ํ–ˆ๋‹ค.


7ce88870bc8007f739ef81e043ee766db2e4d477ff60ba44eb31821451d67be32fa7



ํ•œํŽธ ์ด๋‚  ๊ฒฝ์Ÿ์—…์ฒด์ธ AMD๋„ ๋‘๊ฐ€์ง€ โ€˜2์„ธ๋Œ€ ๋ฒ„์„ค ์‹œ๋ฆฌ์ฆˆ(Versal Series Gen 2)โ€™ ์นฉ์„ ๋ฐœํ‘œํ–ˆ๋‹ค. ์ฃผ๋กœ ์Šค๋งˆํŠธ ์ž๋™์ฐจ ํ•˜์œ„ ์‹œ์Šคํ…œ๊ณผ ๊ฐ™์€ ์—ฃ์ง€ AI ์žฅ์น˜์— ์ ์šฉํ•˜๋„๋ก ์„ค๊ณ„๋œ SoC(System on Chip)์ด๋‹ค.

2์„ธ๋Œ€ ๋ฒ„์„ค AI ์—ฃ์ง€ ์‹œ๋ฆฌ์ฆˆ๋Š” AI ๊ธฐ๋ฐ˜ ์ž„๋ฒ ๋””๋“œ ์‹œ์Šคํ…œ ๊ฐ€์†ํ™”์˜ ์ „์ฒ˜๋ฆฌ, AI ์ถ”๋ก  ๋ฐ ํ›„์ฒ˜๋ฆฌ ๋‹จ๊ณ„์— ๋งž์ถฐ์ง„ ์ตœ์ ์˜ ํ”„๋กœ์„ธ์„œ ์กฐํ•ฉ์„ ํ†ตํ•ฉํ•œ๋‹ค. ์‹ค์‹œ๊ฐ„ ์ „์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ FPGA ๋กœ์ง ํŒจ๋ธŒ๋ฆญ, ํšจ์œจ์ ์ธ AI ์ถ”๋ก ์„ ์œ„ํ•œ ๋ฒกํ„ฐ ํ”„๋กœ์„ธ์„œ ์–ด๋ ˆ์ด, ํ›„์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ Arm CPU ์ฝ”์–ด๋ฅผ ๊ฐ–์ถ˜ ์ด ์žฅ์น˜๋Š” ๋‹จ์ผ ์นฉ์—์„œ ํฌ๊ด„์ ์ธ ์†”๋ฃจ์…˜์„ ์ œ๊ณตํ•˜๋ฏ€๋กœ ๋ฉ€ํ‹ฐ ์นฉ์ด ํ•„์š”ํ•˜์ง€ ์•Š๋‹ค.

๋˜ FPGA ๋กœ์ง ํŒจ๋ธŒ๋ฆญ๊ณผ ๊ณ ์„ฑ๋Šฅ ์ž„๋ฒ ๋””๋“œ Arm CPU๋ฅผ ๊ฒฐํ•ฉํ•˜์—ฌ ๊ธฐ์กด์˜ ์ž„๋ฒ ๋””๋“œ ์‹œ์Šคํ…œ์— ์ ํ•ฉํ•˜๋‹ค. 1์„ธ๋Œ€์— ๋น„ํ•ด ์ตœ๋Œ€ 10๋ฐฐ ๋” ๋งŽ์€ ์Šค์นผ๋ผ ์ปดํ“จํŒ…์„ ๊ฐ–์ถ˜ ์ด ์žฅ์น˜๋Š” UHD ๋น„๋””์˜ค ์ŠคํŠธ๋ฆฌ๋ฐ, ์‚ฐ์—…์šฉ PC ๋ฐ ๋น„ํ–‰ ์ปดํ“จํ„ฐ์™€ ๊ฐ™์€ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ํšจ๊ณผ์ ์ด๋‹ค.

์กฐ๊ธฐ ์•ก์„ธ์Šค ๋ฌธ์„œ ๋ฐ ํ‰๊ฐ€ ํ‚คํŠธ๋Š” ํ˜„์žฌ ์ด์šฉ ๊ฐ€๋Šฅํ•˜๋ฉฐ, ์‹ค๋ฆฌ์ฝ˜ ์ƒ˜ํ”Œ์€ 2025๋…„ ์ƒ๋ฐ˜๊ธฐ์—, ์ƒ์‚ฐ ์‹ค๋ฆฌ์ฝ˜์€ 2025๋…„ ํ›„๋ฐ˜์— ์ถœ์‹œ ์˜ˆ์ •์ด๋‹ค.