https://www.aitimes.com/news/articleView.html?idxno=158692
์ธํ , ์ฐจ์ธ๋ AI ์นฉ โ๊ฐ์ฐ๋3โ์ผ๋ก ์๋น๋์์ ๋์ ์ธํ ์ด ์์ฒด ๊ฐ๋ฐํ ์ต์ ์ธ๊ณต์ง๋ฅ(AI) ์นฉ์ ๊ณต๊ฐํ๊ณ ์๋น๋์์ ๋ณธ๊ฒฉ์ ์ธ ๋์ ์ฅ์ ๋ด๋ฐ์๋ค.๋ฒค์ฒ๋นํธ๋ 9์ผ(ํ์ง์๊ฐ) ์ธํ ์ด ๋ฏธ๊ตญ ์๋ฆฌ์กฐ๋์ฃผ ํผ๋์ค์์ ์ด๋ฆฐ โ์ธํ ๋น์ 2024โ ์ปจํผ๋ฐ์ค์์ ์ต์ AI ์นฉ โ๊ฐ์ฐ๋ 3(Gaudi 3)โฒ๋ฅผ ๊ณต๊ฐํ๋ค๊ณ ์ ํ๋ค. ์ง๋ํด 12์ ๊ฐ์ฐ๋ 3 ์ถ์๋ฅผ ์๊ณ ํ ์ง 5๊ฐ์ ๋ง์ด๋ค. ์ด์ ๋ฐ๋ฅด๋ฉด ๊ฐ์ฐ๋ 3๋ ์๋น๋์ 'H100'์ ๋นํด '๋ผ๋ง 2 7B' '๋ผ๋ง 2 13B' 'GPT-3 175B' ๋ชจ๋ธ์์ 1.7๋ฐฐ ๋ ๋น ๋ฅธ ํ๋ จ ์๊ฐ์ ์ ๊ณตํ๋ค. ์ถ๋ก ์ฒ๋ฆฌ๋์ '๋ผ๋ง 7B' '๋ผ๋ง 70B' 'ํฐ์ปจwww.aitimes.com์ธํ ์ด ์์ฒด ๊ฐ๋ฐํ ์ต์ ์ธ๊ณต์ง๋ฅ(AI) ์นฉ์ ๊ณต๊ฐํ๊ณ ์๋น๋์์ ๋ณธ๊ฒฉ์ ์ธ ๋์ ์ฅ์ ๋ด๋ฐ์๋ค.
๋ฒค์ฒ๋นํธ๋ 9์ผ(ํ์ง์๊ฐ) ์ธํ
์ด ๋ฏธ๊ตญ ์๋ฆฌ์กฐ๋์ฃผ ํผ๋์ค์์ ์ด๋ฆฐ โ์ธํ
๋น์ 2024โ ์ปจํผ๋ฐ์ค์์ ์ต์ AI ์นฉ โ๊ฐ์ฐ๋ 3(Gaudi 3)โฒ๋ฅผ ๊ณต๊ฐํ๋ค๊ณ ์ ํ๋ค. ์ง๋ํด 12์ ๊ฐ์ฐ๋ 3 ์ถ์๋ฅผ ์๊ณ ํ ์ง 5๊ฐ์ ๋ง์ด๋ค.
์ด์ ๋ฐ๋ฅด๋ฉด ๊ฐ์ฐ๋ 3๋ ์๋น๋์ 'H100'์ ๋นํด '๋ผ๋ง 2 7B' '๋ผ๋ง 2 13B' 'GPT-3 175B' ๋ชจ๋ธ์์ 1.7๋ฐฐ ๋ ๋น ๋ฅธ ํ๋ จ ์๊ฐ์ ์ ๊ณตํ๋ค. ์ถ๋ก ์ฒ๋ฆฌ๋์ '๋ผ๋ง 7B' '๋ผ๋ง 70B' 'ํฐ์ปจ 180B' ๋ชจ๋ธ์์ H100๋ณด๋ค 1.5๋ฐฐ, ์๋น๋์์ ์ต์ 'H200'๋ณด๋ค 1.3๋ฐฐ ๋ ๋น ๋ฅด๋ค. ๋ ์ถ๋ก ์ ๋ ฅ ํจ์จ์ H100๋ณด๋ค ํ๊ท 2.3๋ฐฐ ๋ ๋๋ค.
์ด์ ๋ฒ์ ๋ณด๋ค 4๋ฐฐ ๋ ๋ง์ BF16์ฉ AI ์ปดํจํ
์ฑ๋ฅ๊ณผ 1.5๋ฐฐ ํฅ์๋ HBM ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ์ ๊ณตํ๋ค.
2๊ฐ์ ๋ค์ด ๋ชจ๋์ ๋ถ์ฐ๋ 64๊ฐ์ TPC ์ฝ์ด์ 8๊ฐ์ MME ์ฝ์ด๋ก ๊ตฌ์ฑ๋๋ฉฐ, AI ๋ชจ๋ธ์ด ๊ณ์ฐ์ ํ์ํ ๋ฐ์ดํฐ์ ๋น ๋ฅด๊ฒ ์ก์ธ์คํ ์ ์๊ฒ ํด์ฃผ๋ 128GB์ ์จ๋ณด๋ HBM2e ๋ฉ๋ชจ๋ฆฌ๊ฐ ์ง์๋๋ค.
TPC๋ AI ๋ชจ๋ธ์ด ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ ๋์ ์ํํ๋ ์ฌ๋ฌ ์ ํ์ ๊ณ์ฐ ์๋๋ฅผ ๋์ด๋๋ก ์ต์ ํ๋์์ผ๋ฉฐ, MME๋ ์ด๋ฏธ์ง ์ธ์ ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ด ๋๋ ์ปจ๋ณผ๋ฃจ์
๋ ๋ ์ด์ด๋ฅผ ์คํ์ ์ค์ ์ ๋๋ค.
์ธํ
์ ๋ฐ๋ฅด๋ฉด ๋จ์ผ ์๋ฒ์ 8๊ฐ์ ๊ฐ์ฐ๋ 3 ์นฉ์ ์ค์นํ ์ ์๋ค. ๊ฐ ์นฉ์๋ ์ธ์ ํ ๊ฐ์ฐ๋ 3์ ๋ฐ์ดํฐ๋ฅผ ๊ตํํ๋ ๋ฐ ์ฌ์ฉ๋๋ 21๊ฐ์ ์ด๋๋ท ๋งํฌ๊ฐ ํฌํจ๋ผ ์๋ค. ๋ ์๋ฒ ์ธ๋ถ์ ์นฉ๊ณผ ์ํธ ์์ฉํ ์ ์๋ ์ด๋๋ท ๋งํฌ๊ฐ 3๊ฐ ๋ ์ ๊ณต๋๋ค. ์ธํผ๋๋ฐด๋ ์ค์ฌ์ธ ์๋น๋์์ ๋ฌ๋ฆฌ ๊ฐ๋ฐฉ์ ์ธ ์ด๋๋ท์ ์ฌ์ฉํ๋ค๋ ์ค๋ช
์ด๋ค.
์ธํ
์ ๊ฐ์ฐ๋ 3์ ๊ฐ๋ฐฉ์ ์ธ ์ํ๊ณ๊ฐ ์๋น๋์์ ํ์์ ์ธ ์ฟ ๋ค(CUDA) ์ํ๊ณ์ ๋ค๋ฅด๋ค๊ณ ๊ฐ์กฐํ๋ค. ์ธํ
์ ํ์ปด, ๊ตฌ๊ธ ๋ฑ๊ณผ '๋ฐ ์๋น๋์ ์ ์ '์ ํ์ฑํ๋ฉฐ AI ์ฑ ๊ฐ๋ฐ์ ์ํ ์คํ ์ํํธ์จ์ด ๊ตฌ์ถ์๋ ๋์๊ณ ์๋ค.
3๋ถ๊ธฐ์ ์ถ์ ์์ ์ด๋ฉฐ, ์๋ฒ์
์ฒด ๋ธ๊ณผ HP, ์ํผ๋ง์ดํฌ๋ก ๋ฑ์ด ๊ฐ์ฐ๋3 ์์คํ
์ ๊ตฌ์ถํ ๊ฒ์ผ๋ก ์๋ ค์ก๋ค. ๊ฐ๊ฒฉ์ ๊ณต๊ฐ๋์ง ์์๋ค.
๊ทธ๋ฌ๋ ๋ค์ค ์บํ์ฐํธ ์ธํ
์ํํธ์จ์ด ๋ถ์ฌ์ฅ์ โ์ฐ๋ฆฌ๋ ๊ฐ์ฐ๋ 3๊ฐ ์๋น๋์์ ์ต์ ์นฉ๊ณผ ๋น๊ตํด ๋งค์ฐ ๊ฒฝ์๋ ฅ์ด ์์ ๊ฒ์ผ๋ก ๊ธฐ๋ํ๋คโ๋ผ๊ณ ๋งํ๋ค. ๋ โ๊ฒฝ์๋ ฅ ์๋ ๊ฐ๊ฒฉ, ์ฐจ๋ณํ๋ ๊ฐ๋ฐฉํ ํตํฉ ๋คํธ์ํฌ ์จ ์นฉ, ์
๊ณ ํ์ค ๋คํธ์ํฌ ๊ธฐ์ ์ธ ์ด๋๋ท์ ์ฌ์ฉํ๋คโ๋ผ๋ฉฐ โ๊ฐ์ฐ๋ 3๊ฐ ๊ฐ๋ ฅํ ์ ํ์ด๋ผ๊ณ ๋ฏฟ๋ ๋ฐ์๋ ์ด์ ๊ฐ ์๋คโ๋ผ๊ณ ์ค๋ช
ํ๋ค.
ํํธ ์ด๋ ๊ฒฝ์์
์ฒด์ธ AMD๋ ๋๊ฐ์ง โ2์ธ๋ ๋ฒ์ค ์๋ฆฌ์ฆ(Versal Series Gen 2)โ ์นฉ์ ๋ฐํํ๋ค. ์ฃผ๋ก ์ค๋งํธ ์๋์ฐจ ํ์ ์์คํ
๊ณผ ๊ฐ์ ์ฃ์ง AI ์ฅ์น์ ์ ์ฉํ๋๋ก ์ค๊ณ๋ SoC(System on Chip)์ด๋ค.
2์ธ๋ ๋ฒ์ค AI ์ฃ์ง ์๋ฆฌ์ฆ๋ AI ๊ธฐ๋ฐ ์๋ฒ ๋๋ ์์คํ
๊ฐ์ํ์ ์ ์ฒ๋ฆฌ, AI ์ถ๋ก ๋ฐ ํ์ฒ๋ฆฌ ๋จ๊ณ์ ๋ง์ถฐ์ง ์ต์ ์ ํ๋ก์ธ์ ์กฐํฉ์ ํตํฉํ๋ค. ์ค์๊ฐ ์ ์ฒ๋ฆฌ๋ฅผ ์ํ FPGA ๋ก์ง ํจ๋ธ๋ฆญ, ํจ์จ์ ์ธ AI ์ถ๋ก ์ ์ํ ๋ฒกํฐ ํ๋ก์ธ์ ์ด๋ ์ด, ํ์ฒ๋ฆฌ๋ฅผ ์ํ Arm CPU ์ฝ์ด๋ฅผ ๊ฐ์ถ ์ด ์ฅ์น๋ ๋จ์ผ ์นฉ์์ ํฌ๊ด์ ์ธ ์๋ฃจ์
์ ์ ๊ณตํ๋ฏ๋ก ๋ฉํฐ ์นฉ์ด ํ์ํ์ง ์๋ค.
๋ FPGA ๋ก์ง ํจ๋ธ๋ฆญ๊ณผ ๊ณ ์ฑ๋ฅ ์๋ฒ ๋๋ Arm CPU๋ฅผ ๊ฒฐํฉํ์ฌ ๊ธฐ์กด์ ์๋ฒ ๋๋ ์์คํ
์ ์ ํฉํ๋ค. 1์ธ๋์ ๋นํด ์ต๋ 10๋ฐฐ ๋ ๋ง์ ์ค์นผ๋ผ ์ปดํจํ
์ ๊ฐ์ถ ์ด ์ฅ์น๋ UHD ๋น๋์ค ์คํธ๋ฆฌ๋ฐ, ์ฐ์
์ฉ PC ๋ฐ ๋นํ ์ปดํจํฐ์ ๊ฐ์ ์ ํ๋ฆฌ์ผ์ด์
์ ํจ๊ณผ์ ์ด๋ค.
์กฐ๊ธฐ ์ก์ธ์ค ๋ฌธ์ ๋ฐ ํ๊ฐ ํคํธ๋ ํ์ฌ ์ด์ฉ ๊ฐ๋ฅํ๋ฉฐ, ์ค๋ฆฌ์ฝ ์ํ์ 2025๋
์๋ฐ๊ธฐ์, ์์ฐ ์ค๋ฆฌ์ฝ์ 2025๋
ํ๋ฐ์ ์ถ์ ์์ ์ด๋ค.
์ธํ ์ ๋ฒค์น๋งํฌ = ๊ฑฐ๋ฅธ๋ค ์ง์ง์์ผ๋ฉด ์ถ์ํ๊ธฐ๋์ ์ ์๋น๋์์ฒ๋ผ ์ค์์ ์ฌ๊ฒ ๋ค๊ณ ํจ ๊ทผ๋ฐ ์๋ฌด๋์๋ค? = ์ค์บ
๊ฐํญ๋ง ์์์ด๋ผ ๊ฑฐ๋ฅธ๋ค ์ด์๋ผ๋ค cpu๋ ๊ด๋ฆฌ๋ชปํ๋์ค
ํ๋ จ ์๊ฐ ? ์ค์ก๋ค