https://www.microsoft.com/en-us/research/blog/efficiently-and-effectively-scaling-up-language-model-pretraining-for-best-language-representation-model-on-glue-and-superglue/?OCID=msr_blog_TNLRV5_tw
Microsoft AI at Scale ์ ์ผํ์ผ๋ก Turing NLP ๋ชจ๋ธ ์ ํ๊ตฐ์ ์ฐจ์ธ๋ AI ๊ฒฝํ์ ์ง์ํ๊ธฐ ์ํด Microsoft ์ ์ฒด์์ ๋๊ท๋ชจ๋ก ์ฌ์ฉ๋๊ณ ์์ต๋๋ค. ์ค๋ ์ฐ๋ฆฌ๋ ์ต์ Microsoft Turing ๋ชจ๋ธ(T-NLRv5)์ด SuperGLUE ๋ฐ GLUE ๋ฆฌ๋๋ณด๋์ ์ต์์์ ์์ผ๋ฉฐ ์ธ๊ฐ์ ์ฑ๋ฅ ๋ฐ ๊ธฐํ ๋ชจ๋ธ์ ํจ์ฌ ๋ฅ๊ฐ ํ๋ค๋ ์ฌ์ค์ ๋ฐํํ๊ฒ ๋ ๊ฒ์ ๊ธฐ์๊ฒ ์๊ฐํฉ๋๋ค . ํนํ, T-NLRv5๋ ์ธ๊ฐ ํจ๋ฆฌํฐ๊ฐ ์์ง ์ถฉ์กฑํ์ง ๋ชปํ ๋ง์ง๋ง ๋ ๊ฐ์ GLUE ์์ ์ธ GLUE ๋ฒค์น๋งํฌ์์ MNLI ๋ฐ RTE์์ ๋จผ์ ํด๋จผ ํจ๋ฆฌํฐ๋ฅผ ๋ฌ์ฑํ์ต๋๋ค. ๋ํ, T-NLRv5๋ ์ต๊ทผ์ ์ฌ์ ํ๋ จ ๋ชจ๋ธ๋ณด๋ค ๋ ํจ์จ์ ์ด๋ฉฐ, 50% ๋ ์ ์ ๋งค๊ฐ๋ณ์์ ์ฌ์ ํ๋ จ ์ปดํจํ ๋น์ฉ์ผ๋ก ๋น์ทํ ํจ๊ณผ๋ฅผ ๋ฌ์ฑํฉ๋๋ค.
๊ฐ์ถ
์ํธ๋ง์๋ผ ์๊ฐ๋ฆฌ๋ ์ฌ์ง์๋ค