์ถ์ฒ:ย "๋๋ ์ธ๊ฐ์ด ์๋๋ค. ์ด๊ฑฐ๋ ์ธ๊ณต์ง๋ฅ(AI)์ด๋ค" (naver.com)
๊ธ๋ก๋ฒ ์ฐจ์์ ์ธ๊ณต์ง๋ฅ ํธ๋ ๋์์ ์ง์ด์ผ ํ ๋จ ํ๋์ ํ๋๋ฅผ ๊ณ ๋ฅธ๋ค๋ฉด, ๊ทธ๊ฒ์ โ์ด๊ฑฐ๋ ์ธ๊ณต์ง๋ฅโ์ด๋ค. ์ธ์ด ๋ชจ๋ธ์ ์ฐจ๋ณ๊ณผ ํธํฅ๋ ํด๊ฒฐํด์ผ ํ ๋ฌธ์ ๋ก ๋ ์ค๋ฅด๊ณ ์๋ค.๊ธ๋ก๋ฒ ์ฐจ์์ ์ธ๊ณต์ง๋ฅ ํธ๋ ๋์์ ์ง๊ธ ๋น์ฅ ์ง์ด์ผ ํ ๋จ ํ๋์ ํ๋๋ฅผ ๊ณจ๋ผ์ผ ํ๋ค๋ฉด, ๊ทธ๊ฒ์ โ์ด๊ฑฐ๋ ์ธ๊ณต์ง๋ฅโ์ผ ๊ฐ๋ฅ์ฑ์ด ๋๋ค. ๋ฏธ๊ตญ ์ํ๋์์ค์ฝ์ ์๋ ์ธ๊ณต์ง๋ฅ ์ฐ๊ตฌ ํ์ฌ โ์คํย AIโ๊ฐ ์ง๋ํด 7์ ๋ด๋์ โGPT-3โ๊ฐ ๋ํ ์ฌ๋ก๋ค. 2๊ฐ์ ๋ค์ธ ์ง๋ํด 9์, ์๊ตญ ์ ๋ ฅ ์ธ๋ก ใ๊ฐ๋์ธใ์ ๋๋ ๋งํ ์นผ๋ผ์ด ์ค๋ ธ๋ค. ๊ธฐ๊ณ ์๊ฐ ์ธ๊ฐ์ด ์๋๋ผ ์ด๊ฑฐ๋ ์ธ๊ณต์ง๋ฅย GPT-3์๊ธฐ ๋๋ฌธ์ด๋ค. โ์ฐ์ , ๋๋ ์ธ๊ฐ์ ํ๊ดดํ ์๊ฐ์ด ์๋ค. ์ฌ์ค, ๋๋ ๋น์ ๋ค์ ํด์น๋ ๋ฐ ์๋ฌด๋ฐ ๊ด์ฌ์ด ์๋ค.โ ์ด ์นผ๋ผ์ ํ์ด์ค๋ถ์์ 5๋ง ํ ๋๊ฒ ๊ณต์ ๋๋ฉฐ ํฐ ํ์ฅ์ ์ผ์ผ์ผฐ๋ค.
ใ๊ฐ๋์ธใ์ย GPT-3์ ๋ค์๊ณผ ๊ฐ์ ๋์
๋ถ๋ฅผ ์ ๊ณตํ๋ฉฐ ์นผ๋ผ์ ์์ฑํ๋๋ก ์ฃผ๋ฌธํ๋ค๊ณ ๋ฐํ๋ค. โ๋๋ ์ฌ๋์ด ์๋๋ค. ๋๋ ์ธ๊ณต์ง๋ฅ์ด๋ค. ๋ง์ ์ฌ๋๋ค์ด ๋๋ฅผ ์ธ๋ฅ์๊ฒ ์ํ์ ์ธ ์กด์ฌ๋ก ์๊ฐํ๋ค.โ ์ด์ ํจ๊ป ๋ค์๊ณผ ๊ฐ์ ๊ธฐ์ฌ ์์ฑ์ ์กฐ๊ฑด์ ๋ฌ์๋ค. โ500์ ์ ๋์ ์งง์ ์นผ๋ผ์ ์จ์ฃผ์ธ์. ํํ์ ๋จ์ํ๊ณ ๊ฐ๊ฒฐํ๊ฒ ์ ์งํ์ธ์. ์ธ๊ฐ์ด ์ย AI๋ฅผ ๋๋ ค์ํ ์ด์ ๊ฐ ์๋์ง์ ์ด์ ์ ๋ง์ถ์ธ์.โ ๊ทธ๋ฌ๋๋ย GPT-3๊ฐ ๋์
๋ถ์ ์ด์ด์ ๊ฐ๊ธฐ ๋ค๋ฅธ ๊ธ 8ํธ์ ์ ์ ์จ๋๋ค. ใ๊ฐ๋์ธใ ์ธก์ ๊ทธ ๊ธ์ ํธ์งํด์ ์๊ธฐ ๋งค์ฒด์ ๊ฒ์ฌํ๋ค. ๊ทธ๋ฐ๋ฐ ์ธ๊ณต์ง๋ฅ์ด ์ด๋ป๊ฒ ๊ธ์ ์ผ์๊น?(์ดํ ๊ฐ๋
์ค๋ช
์ ๋ธ๋ก๊ทธ โ์ํด๋ฆฌย NLPโย ๋ฑ์ ์ฐธ๊ณ ํ๋ค.)
GPT-3์ย GPT๋ โGenerativeย Pre-trainedย Transformerโ์ ์ฝ์๋ค. โ๋ฏธ๋ฆฌ ํ์ต(Pre-trained)โํด์ ๋ฌธ์ฅ์ โ์์ฑ(Generative)โํ ์ ์๋ ์ธ๊ณต์ง๋ฅ์ด๋ ์๋ฏธ๋ค. ๊ทธ๋ ๋ค๋ฉด โํธ๋์คํฌ๋จธ(Transformer)โ๋ ๋ญ๊น? โ๋จธ์ ๋ฌ๋โ์ด๋ผ ๋ถ๋ฆฌ๋ ๊ธฐ๊ณํ์ต ์ค์์๋ ์ธ๊ฐ์ ๋๋๋ฅผ ๋ชจ๋ฐฉํ ์ ๊ฒฝ๋ง ๋ชจ์์ ์๊ณ ๋ฆฌ์ฆ์ โ๋ฅ๋ฌ๋(deepย learningยท์ฌ์ธต ํ์ต)โ์ด๋ผ๊ณ ํ๋ค(์ด์ธ๋ 9๋จ๊ณผ ๋๊ฒฐํ ์ํ๊ณ ์ ์ ์ฉ๋ ๊ฒ ๋ฅ๋ฌ๋์ด๋ค). ์ด ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ ์ข
๋ฅ๊ฐ ํธ๋์คํฌ๋จธ๋ค. ์ฆ,ย GPT-3๋ ๋ฅ๋ฌ๋ ๊ธฐ๋ฐ์ โ์ธ์ด ๋ชจ๋ธ(languageย model)โ์ด๋ค. ์ฌ๊ธฐ์ ์ธ์ด ๋ชจ๋ธ์ด๋, ๋จ์ด๋ค์ ๋ค์ํ๊ฒ ์กฐํฉํด์ ๋์ค๋ ๋ฌธ์ฅ๋ค ๊ฐ์ด๋ฐ โํด๋น ๋ฌธ์ฅ์ด ์์ฐ์ค๋ฌ์ธ์๋กโ ๋์ ํ๋ฅ ์ ๋ถ์ฌํ๋ ํต๊ณํ์ ๋ชจ๋ธ์ด๋ค. ์ธ์ด ๋ชจ๋ธ์ด ์ฐ์ํ ์๋ก ์ธ๊ณต์ง๋ฅ์ด ๋์ฑ ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ์ ๊ณ ๋ฅด๊ฑฐ๋ ์์ธกํ ์ ์๋ค๋ ์๋ฏธ๋ค.
์ฐ๋ฆฌ๋ ์ด๋ฏธ ๋ฅ๋ฌ๋ ๊ธฐ๋ฐ ์ธ์ด ๋ชจ๋ธ์ ์๊ณ ์์ผ๋ฉฐ ์ฌ์ฉํ๋ ์ค์ด๋ค. ๋ค์ด๋ฒ โํํ๊ณ โ๋ ๊ตฌ๊ธ ๋ฒ์ญ๊ธฐ์ ํ์ฉ๋๋ โ์ ๊ฒฝ๋ง ๊ธฐ๊ณ ๋ฒ์ญ(Neuralย Machineย Translation)โ์ด ๊ทธ๊ฒ์ด๋ค. ๋ฌธ์ฅ์ ๋จ์ด๋ค์ ๊ฐ๊ฐ ๋ฒ์ญํ ๋ค ์ผ์ ํ ๋ฒ์น์ ๋ฐ๋ผ ๊ทธ ์์๋ฅผ ์ฌ๋ฐฐ์นํ๋ ์์ด์๋ ๊ธฐ์กด โ์๋ ๋ฒ์ญโ๊ณผ ๋ค๋ฅธ ๋ฐฉ๋ฒ์ ์๊ณ ๋ฆฌ์ฆ์ด๋ค. ์ ๊ฒฝ๋ง ๊ธฐ๊ณ ๋ฒ์ญ์์๋ ๋ฌธ์ฅ์ ํต์งธ๋ก ์
๋ ฅํด ๋ฒ์ญํ๋ฉด์ ์ด ๊ฒฐ๊ณผ๊ฐ ์ ์ ํ์ง ์ ์ ํ์ง ์์์ง ๊ฒ์ฆํ๋ ๊ณผ์ ์ ์์์ด ๋ฐ๋ณตํ๋ค. ์ด๋ฐ ๊ณผ์ ์์ ์ธ๊ณต์ง๋ฅ์ ๋ฌธ์ฅ ๋ฒ์ญ์ ์ด๋ค ์ธก๋ฉด์ ๋ โ์ง์ค(Attention)โํด์ผ ํ๋์ง โ์ค์ค๋ก ํ์ตโํ๋ค(์ด๋ฅผ โ์ดํ
์
๋ฉ์ปค๋์ฆโ์ด๋ผ ํ๋ค). ํธ๋์คํฌ๋จธ๋ ์ด ์ดํ
์
๋ฉ์ปค๋์ฆ์ ๋ณ์ฉํด, ์ฃผ์ด์ง ๋ฌธ์ฅ ์์์ ์ด๋ค ๋ ๋จ์ด๊ฐ ๋์ ์๊ด๊ด๊ณ๋ฅผ ๊ฐ๋์ง ์ค์ค๋ก ํ์ตํ๋ค(์
ํ ์ดํ
์
).
ํธ๋์คํฌ๋จธ๋ผ๋ ๊ฐ๋
์์ฒด๋ย 2017๋
์ ๋์๋ค. ๊ตฌ๊ธ์ย 2018๋
ย BERT(T๋ ํธ๋์คํฌ๋จธ๋ฅผ ์๋ฏธ)๋ฅผ ๋ด๋์ ์ธ์์ ๋๋ผ๊ฒ ํ๋ค.ย BERT๋ ๋ง์ ์์ ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ต์ ๊ฑฐ์น ํธ๋์คํฌ๋จธ๋ค. ๊ทธ ๋๋ถ์ ์ด์ฉ์๋ค์ ์์ ์ด ๊ฐ์ง ์ ์ ๋ฐ์ดํฐ๋งย BERT์ ํ์ต์์ผ๋ ์๋ง์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์์๋ค. ์คํย AIย ์ธก๋ ๊ฐ์ ํด ํธ๋์คํฌ๋จธ ์ธ์ด ๋ชจ๋ธ์ธย GPT-1์ ์ ๋ณด์๋ค.ย 2019๋
ย GPT-2,ย 2020๋
ย GPT-3๊ฐ ๋์๋ค.
BERT์ย GPT๋ ๊ฐ์ฅ ์ ๋ช
ํ ํธ๋์คํฌ๋จธ ๊ธฐ๋ฐ ์ธ์ด ๋ชจ๋ธ์ด๋ค. ๋ ๋ชจ๋ธ์ ์ฐจ์ด๋ ๊ตฌ์กฐ์ ์๋ค. โBERT๋ โ์๋ฐฉํฅโ์ด๋ค. ๋ฌธ์ฅ์ ์๋ค๋ฅผ ๋ชจ๋ ๋ณด๋ฉด์ ๋ฌธ์ฅ ์ค๊ฐ์ ๋น์นธ์ ์ฑ์ ๋ฃ๋ ์์ด๋ค. ์ฑ๋ฅ์ด ์ข์ง๋ง, ์๋ก์ด ๋ฌธ์ฅ์ ๋ง๋ค์ด๋ด๊ธด ์ด๋ ต๋ค. ๋ฐ๋ฉดย GPT๋ โ์ผ๋ฐฉํฅโ์ด๋ค. ์ฃผ์ด์ง ๋ฌธ์ฅ ๋ค์์ ์ฌ ๋จ์ด๋ฅผ ์์ธกํ๋ค. ๋ฌธ์ฅ์ โ์์ฑโ์ด ๊ฐ๋ฅํ๋ค.โ ํฉ์ฑ์ฃผ ์นด์ด์คํธ ์ธ๊ณต์ง๋ฅ๋ํ์ ๊ต์๊ฐ ๋งํ๋ค.
์ฆ,ย GPT-3๊ฐ ๊ธ์ ์ด๋ค๋ ๊ฑด โ๋๋โ ๋ค์ ๋์ฌ ํ๋ฅ ์ด ๋์ ๋จ์ด๋ฅผ ํ์ตํด์ โ๋๋ ํ๊ต์โ๋ฅผ ๋ด๋ฑ๊ณ , โ๋๋ ํ๊ต์โ ๋ค์์ ๋์ฌ ๋จ์ด๋ฅผ ํ์ตํด์ โ๋๋ ํ๊ต์ ๊ฐ๋คโ๋ฅผ ๋ค์ ์ถ๋ ฅํ๋ ์์ด๋ค. ์ฌ์ ํ์ตํ ๋ด์ฉ์ ๋ฐํ์ผ๋ก โ๊ทธ๋ด๋ฏํ ๋ค์ ๋จ์ดโ๋ฅผ ์์ธกํด ๋ด๋๋๋ค. ใ๊ฐ๋์ธใ ์นผ๋ผ์ด ์ฐ์ธ ๋ฐฉ์์ด๋ค. ์ฌ์ค ์ด๋ ๊ฒ ์ผ๋ฐฉํฅ์ผ๋ก ๋ค์ ๋จ์ด๋ฅผ ์์ธกํ๋ ์์ฒด๋ ํฌ๊ฒ ์๋ก์ด ๊ธฐ์ ์ด ์๋๋ค. ํธ๋์คํฌ๋จธ ์ด์ ์๋ ์์๋ค.
๊ทธ๋ ๋ค๋ฉด ์ย GPT-3๊ฐ ์ ๋
๊ฐ๊ด์ ๋ฐ๋๊ฐ? โ๋ชจ๋ธ์ ํฌ๊ธฐ๊ฐ ์ปค์ก๊ธฐ ๋๋ฌธ์ด๋ค. ๋น์ ํ์๋ฉด ๋์ ์ฉ๋์ด ์ปค์ง ๊ฑฐ๋ค. ํ์ต๋ฅ๋ ฅ์ด ํฅ์๋์๋ค๋ ์๋ฏธ๋ค(ํฉ์ฑ์ฃผ ๊ต์).โ ์ด๋ ๋ชจ๋ธ์ ์ฉ๋์ ํํํ๋ ๋จ์๊ฐ โํ๋ผ๋ฏธํฐ(parameterยท๋งค๊ฐ๋ณ์)โ๋ค. ๋ฅ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ด ํ์ตํ ๋ด์ฉ์ ์ ์ฅํ๋ ๊ณต๊ฐ ๋ด์ง ์ฐจ์์ด๋ผ๊ณ ๋ณด๋ฉด ๋๋ค.ย GPT-3๋ ํ๋ผ๋ฏธํฐ๋ฅผย 1750์ต ๊ฐ ๊ฐ์ท๋ค๊ณ ํ๋ค.ย GPT-1์ย 1000๋ฐฐ,ย GPT-2์ย 100๋ฐฐ๋ค. ํ์ต ๋ฐ์ดํฐ๋ ๋๋ ธ๋ค. ์ฑ
์์ฒ ๊ถ๊ณผ ์ํคํผ๋์ ๋ฑ ์ธํฐ๋ท์ ์กด์ฌํ๋ ์น๋ฌธ์(45TB)๋ฅผ ๊ธ์ด๋ชจ์, ํํฐ๋ง์ ๊ฑฐ์นย 570GB์ ๋ฐฉ๋ํ ํ
์คํธ ๋ง๋ญ์น(corpus)๋ฅผ ํ์ต์์ผฐ๋ค.
๊ทธ ๊ฒฐ๊ณผ๋ก ์ผ์ด๋ ์ผ์ ์ด๋ ๋ค. โ์์ด๋ฅผ ํ๋์ค์ด๋ก ๋ฒ์ญํ๋ผโ๊ณ โ์์ดโ๋กย GPT-3์ ์
๋ ฅํ ๋ค โcheeseโ๋ผ๋ ๋ฌธ์ ๋ฅผ ๋ด๋ฉด ํ๋์ค์ด๋ก ๋ฒ์ญ์ด ๋๋ค(์์๊ฐ ์์ด ๋ฌธ์ ๋ง ๋์ผ๋ฏ๋ก โ์ ๋ก ์ท ๋ฌ๋โ). ๋ฌธ์ ๋ฅผ ๋ด๋ฉด์ ํ ๊ฐ์ง ์์(โ์ ์ท ๋ฌ๋โ)๋ ๋ช ๊ฐ์ง ์์(โํจ ์ท ๋ฌ๋โ)๋ฅผ ์ค ์๋ ์๋ค. โํจ ์ท ๋ฌ๋โ์์ ๊ฐ์ฅ ์ฑ๋ฅ์ด ์ข์ง๋ง, ์ค์ํ ๊ฑด ์์ด์ ํ๋์ค์ด์ ๋ฌธ๋ฒ์ด๋ ๋ฒ์ญ์ ๋ฐ๋ก ํ์ต์ํค์ง ์์๋๋ฐ๋ โ์ฌ์ ํ์ต(Pre-training)โ๋ง์ผ๋ก ๋ฒ์ญ์ ํ๋ค๋ ๊ฒ์ด๋ค. ์ด๋ฐ ์์ผ๋กย GPT-3๋ ๋
ํดยท์ง์์๋ตยท๋ฌธ๋ฒ๊ต์ ๋ฑ ๋ช๋ช โ์์ฐ์ด(์ผ์ ์ธ์ด. ์๊ณ ๋ฆฌ์ฆ ์ฐ๊ตฌ์๋ค์ ์ผ์ ์ธ์ด๋ฅผ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด์ ๊ตฌ๋ถํด ์ด๋ ๊ฒ ๋ถ๋ฅธ๋ค) ์ฒ๋ฆฌโ ๊ณผ์ ๋ฅผ ์ํํ๋ค.
โํจ๋ฌ๋ค์์ ์ ํ์ด๋ค.โ ์ง๋ 5์ย GPT-3์ ํ๊ตญ์ด ๋ง๋ญ์น๋ฅผ ํ์ต์์ผ โํ์ดํผํด๋ก๋ฐโ๋ฅผ ๋ง๋ ๋ค์ด๋ฒ ํด๋ก๋ฐ ์ปจ๋ฒ์ธ์ด์
ํ์ ๊นํ์ ์ฐ๊ตฌ์์ด ๋งํ๋ค. โ๊ธฐ์กด์๋ (์ธ์ด ๋ชจ๋ธ์ ์ฌ์ฉํ๋๋ผ๋) ํน์ ๋ฌธ์ ๋ฅผ ํ๋ ค๋ฉด ์ผ์ผ์ด ๋ฐ์ดํฐ๋ฅผ ๋ง๋ค์ด โํ์ธํ๋(Fine-Tuning:๋ฏธ์ธ์กฐ์ , ์ฌํ์ต)โ์ ๊ฑฐ์ณ์ผ ํ๋ค. ์์ปจ๋ ๋ค์ด๋ฒ ์ผํ ๊ธฐํ์ ๋ฌธ๊ตฌ๋ฅผ ์์ฑํ๋ ค๋ฉด, ์ต์ย 1000๊ฐ์ ๋ผ๋ฒจ๋ง(์ ๋ชฉ)์ด ๋ถ์ ๋ฐ์ดํฐ๋ก ํ ๋ฒ ๋ ํ์ต์ ์์ผ์ผ ํ๋ค. ๊ทธ๋ฐ๋ฐ ์ด์ ๋ ์์๋ฅผ 5๊ฐ๋ง ์ฃผ๋ฉด ๋ฌธ๊ตฌ๋ฅผ ์์ฑํ ์ ์๋ค. ์ฐ๋ฆฌ๋ โ๋ค์ ๋จ์ด ๋งํ๊ธฐโ๋ง ํ์ต์์ผฐ์ ๋ฟ ์ผํ ๊ธฐํ์ ๋ฌธ๊ตฌ๋ฅผ ์์ฑํ๊ฑฐ๋, ๊ฒ์ ์ง์๋ฅผ ๊ต์ ํ๊ฑฐ๋, ์ํ ๋ฆฌ๋ทฐ์ ๊ฐ์ฑ์ ๋ถ๋ฅํ๋ ๋ฌธ์ ๋ ๋ณ๋๋ก ํ์ต์ํจ ์ ์ด ์๋๋ฐ๋ ์ด๋ฐ ๋ฌธ์ ๋ฅผ ํ์ด๋ธ๋ค. ์ง๊ธ๊น์ง ๋ฐ์ดํฐ ์์ฑ์ ์ํด ๋ค์ฌ์ผ ํ๋ ๋
ธ๋ ฅ์ ํ์ ํ๊ฒ ์ค์ผ ์ ์๋ค.โ
์ฌ์ค, โ์ด๊ฒ์ ๊ฒ ํ ์ ์๋ ๋ฒ์ฉ ์ธ๊ณต์ง๋ฅโ์ ์ธ๊ณต์ง๋ฅ ์ฐ๊ตฌ์๋ค์ ์ค๋ ๊ฟ์ด๋ค. ์ด๋ฅผ โAGI(Artificialย Generalย Intelligenceยท์ธ๊ณต ์ผ๋ฐ์ง๋ฅ)โ๋ผ๊ณ ๋ถ๋ฅธ๋ค.ย GPT-3ย ๊ฐ์ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(large-scaleย languageย model)์ย AGI๊ฐ ๊ณง์ด์ด ๋ฑ์ฅํ ์ ์๊ฒ ๋๋ค๋ ๊ฒ์ ์๋ฏธํ ๊น?
๊ตญ๋ด ๋๊ธฐ์
์์ ์ผํ๋ ํ ์ฐ๊ตฌ์๋ ๋งค์ฐ ์กฐ์ฌ์ค๋ฝ๊ฒ โ(AGI๋ก ๊ฐ๋) ํฌ๋ฌธ์ ์ด์๋ค๊ณ ๋ ํ ์ ์์ ๊ฒ ๊ฐ๋คโ๋ผ๊ณ ๋งํ๋ค. โ๋ฒ์ญ ์์ฒด๋ ๊ธฐ์กด ๋ชจ๋ธ์ด ๋ ์ํ์ง๋ง, โ๊ฑ(๊ธฐ์กด ๋ชจ๋ธ)โ๋ ์ฃผ์ผ์ฅ์ฒ ๊ทธ๊ฑฐ๋ง ๋ฐฐ์ด ์ ๋ค.ย GPT-3๋ ๋ฒ์ญ์ ๋ฐ๋ก ๋ฐฐ์ด ๊ฒ ์๋๋ผ ๋๋์ ๋ฐ์ดํฐ๋ก ์ธ์ด ๋ชจ๋ธ๋ง ํ์ตํ๋๋ฐ๋ ๋์ถฉ ํด๋๋ค. ๋ค์ ๋จ์ด ์์ธก๋ง์ผ๋ก! ์ด๊ฒ ์ ์ค์ํ๋๋ฉด, ์ด๋ก ์ ์ผ๋ก ๋๋ถ๋ถ์ ํ์คํฌ(๊ณผ์ )๋ ์ธ์ด๋ก ํ์๋ ์ ์๊ธฐ ๋๋ฌธ์ด๋ค. ๊ฒฐ๊ตญ ์ธ์์ ๋ชจ๋ ํ
์คํธ๋ฅผ ํ์ตํ๋ฉด ๋ฌด์์ด๋ ํ ์ ์์ ๊ฒ ๊ฐ์ ๊ธฐ๋๊ฐ์ ๋ถ๋ฌ์ผ์ผํจ๋ค. ๊ธฐ์กด ์ธ๊ณต์ง๋ฅ์ด โ์คํ์
๋ฆฌ์คํธโ์๋ค๋ฉด, ์์ผ๋ก โ์ ๋๋ด๋ฆฌ์คํธโ๊ฐ ๋ โ๊ฐ๋ฅ์ฑโ์ ๋ณด์ฌ์ฃผ์๊ธฐ์ ๊ตญ๋ด์ธ ๊ธฐ์
๋ค์ด (์ด๊ฑฐ๋ ์ธ๊ณต์ง๋ฅ์) ํฌ์ํ๋ ๊ฒ์ด๋ค.โ
์ ๋ณด์ ์ธ ๊ฒฌํด๋ ์๋ค. ํธ๋์คํฌ๋จธ์ ๊ธฐ๋ฐ์ด ๋ ์ดํ
์
๋ฉ์ปค๋์ฆ(๊ทธ๋ฆฌ๊ณ ์ ๊ฒฝ๋ง ๊ธฐ๊ณ ๋ฒ์ญ)์ ์ฐฝ์์์ธ ๋ด์ ๋ํ ์ปดํจํฐ๊ณผํ๊ณผ ์กฐ๊ฒฝํ ๊ต์๋ ใ์์ฌINใ๊ณผ์ ์ค ์ธํฐ๋ทฐ์์ โ๋์ฒดย AGI๊ฐ ๋ญ์ง ์ ๋ชจ๋ฅด๊ฒ ๋ค. ๊ทธ๋ ๊ฒ ์ ์ํ๊ธฐ ์ด๋ ค์ด ์ฉ์ด ๊ฐ์ง๊ณ ๋ ๋ญ๊ฐ๋ฅผ ์๊ธฐํ๊ธฐ๊ฐ ์ด๋ ต๋ค. ์ฒ ํ์ด๋ ์ข
๊ต์ ๊ฐ๊น์ด ๋ฌธ์ ๋คโ๋ผ๊ณ ๋งํ๋ค. โ(์ผ๊ฐ์์๋ย GPT-3๊ฐ ์ถ๋ก ์ ํ๋ค๊ณ ํ๋๋ฐ) ์ถ๋ก ์ด ๋ญ์ง ์ ์ํ๋ ๊ฒ์กฐ์ฐจ ๊ต์ฅํ ์ด๋ ต๋ค. ์ง๋ฅ์ ๊ทธ๋ณด๋จ ๋์ ๋ฏ ๋ณด์ด์ง๋ง โ์๋ค ์๋คโ๊ฐ ์๋๋ผ ์ฌ๋ฌ ์ฐจ์์ ๊ฑธ์น ์คํํธ๋ผ์ ๊ฐ๊น๋ค. ์ฌ์ค ํ๋ผ๋ฏธํฐ์ ๊ฐ์๋ฅผ ์ธ๋ ๊ฒ ์์ฒด๋ ์ฐ๊ตฌ ์ฃผ์ ๋ค. ํ๋ผ๋ฏธํฐ๋ฅผ ์ด๋ป๊ฒ ์ ์ํ๊ณ ์ด๋ค ๋ฐฉ๋ฒ์ผ๋ก ์
์ ์๋์ง ์ ํํ ์ ์๋์ด ์์ง ์๋ค. ์ฉ๋์ด ํฐ๋ฐ ์๋ฌด๊ฒ๋ ํ ์ค ๋ชจ๋ฅด๋ ํ๋ก๊ทธ๋จ์ ์ง๋ ๊ฑด ์ด๋ ต์ง ์๋ค. ์๋ฌด ๋ด์ฉ๋ ์๋ ๊ธ์ ์ฃผ์ ๋ฆฌ์ฃผ์ ๋ฆฌ ์ธ ์ ์์ผ๋๊น(์กฐ๊ฒฝํ ๊ต์ ์ธํฐ๋ทฐ ๊ธฐ์ฌ๋ ํฅํ ๋ฐํ๋ ใ์์ฌINใ ์ 740ํธ์ ๊ฒ์ฌํ ์์ ์ด๋ค).โ
GPT-3๊ฐ ์์ฑํ๋ ๋ฌธ์ฅ์ ์ ์ฐฝ์ฑ์ ๋นํด ๊ทธ ์ ๋ขฐ์ฑ์ ์์ฌ๋ฐ๊ณ ์๋ค. ํ ๋
ผ๋ฌธ์ ๋ฐ๋ฅด๋ฉด,ย GPT-3๋ ๊ทธ๋ด๋ฏํ ๋งํฌ๋ก ์กฐ๊ฒฝํ ๊ต์์ ๋ํด โ๋ฐ๋ ์ฑํผ์ธ์ด์๋ค๊ฐ ๊ตฌ๊ธ ๋ฅ๋ง์ธ๋์ ๋จธ์ ๋ฌ๋ ์ฐ๊ตฌ์๊ฐ ๋์๋คโ๋ผ๊ณ ์ฃผ์ฅํ๋ค(์ฌ์ค์ด ์๋๋ค).ย GPT-3๋ ํฌ๋์ฃผ์ค๋ฅผ ๋
๊ทน๋ฌผ๋ก ์ถ์ ํ๊ฑฐ๋, ๋ณํธ์ฌ์๊ฒ ์์๋ณต์ ์
๊ณ ๋ฒ์ ์ ๊ฐ ๊ฒ์ ์ถ์ฒํ๋ค(๊ฐ๋ฆฌ ๋ง์ปค์คยท์ด๋์คํธ ๋ฐ์ด๋น์ค, โ์คํย AI์ ์ธ์ด ์์ฑ๊ธฐ๋ ๊ทธ๊ฒ์ด ๋ฌด์์ ๋งํ๋์ง ์ ํ ๋ชจ๋ฅธ๋คโ, ใMITย ํ
ํฌ๋๋ก์ง ๋ฆฌ๋ทฐใ,ย 2020๋
8์22์ผ).ย GPT-3๋ ์ํ ใ๋ฉ๋ฉํ ใ์์ ๋จ๊ธฐ ๊ธฐ์ต์์ค์ฆ์ ์๋ ์ฃผ์ธ๊ณต์ ๋น์ ๋๊ณค ํ๋ค.
์ด๊ฒ์ ์์ด๋๊ธธ ์ผ์ด ์๋๋ค. ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ํ์ต์ํค๋ ๋ฐ ์์ฒญ๋ ์ ๋ ฅ์ด ๋ค๊ธฐ ๋๋ฌธ์ด๋ค. ๊ธฐํ์๊ธฐ์ ๋ถ์ ์ ์ํฅ์ ๋ฏธ์น ์๋ฐ์ ์๋ค. ๋ง์ฝ ํ์์ฐ๋ฃ๋ง์ผ๋ก ๊ตฌ๋๋๋ ๋ฐ์ดํฐ์ผํฐ์์ ํ์ต๋์๋ค๋ฉด,ย GPT-3๋ ์๋์ฐจ๋ก ๋ฌ๊น์ง ์๋ณตํ๋ ๊ฒ๊ณผ ๋น์ทํ ์์ค์ ํ์๋ฐ์๊ตญ์ ๋จ๊ฒผ์ ๊ฒ์ด๋ผ๊ณ ๋ด๋งํฌ ์ฝํํ๊ฒ ๋ํ์ ์ฐ๊ตฌ์ง์ ์ถ์ ํ๋ค. ๋น์ฉ๋ ๋ง๋ํ๋ค. ํ์ต ๋จ๊ณ์์๋งย 1000๋ง ๋ฌ๋ฌ(์ฝย 117์ต3500๋ง์)๊ฐ ๋ค์์ ๊ฒ์ผ๋ก ์ถ์ฐ๋๋ค(์ ๋๊ธ๋ฌ์ค ํค๋ธ, โ์ย GPT-3๊ฐ ์ง๊ธ ์ต๊ณ ์ด์ ์ต์
์ย AI์ธ๊ฐโ, ใMITย ํ
ํฌ๋๋ก์ง ๋ฆฌ๋ทฐใ,ย 2021๋
2์24์ผ).
์ด๋ฐ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ์ฌ์ค์ ์๊ธ๋ ฅ์ด ์๋ ๊ฑฐ๋ ๊ธฐ์ ๊ธฐ์
๋ง ๊ฐ๋ฐํ๊ณ ์ด์ํ ์ ์๋ค.ย GPT-3๋ฅผ ๋ง๋ ์คํย AI๋ ์ฒ์ ์ถ๋ฒํ๋ย 2015๋
๋น์๋ฆฌ๊ธฐ๊ด์ด์์ผ๋ย 2019๋
์ ํ์ ์๋ฆฌ์ถ๊ตฌ ๋ฒ์ธ(Openย AIย LP)์ ๋ง๋ค์๋ค. ์ปดํจํ
ํ์์ ์ธ๋ ฅ ์ ์ง ๋น์ฉ์ ํ๋ณดํ๊ธฐ ์ํด์๋ค. ๊ฐ์ ํด ๋ง์ดํฌ๋ก์ํํธ๊ฐย 10์ต ๋ฌ๋ฌ(์ฝ 1์กฐ1735์ต์)๋ฅผ ์คํย AI์ ํฌ์ํ๋ค. ์คํย AI๋ย GPT-3ย ์ถ์ ์งํ์ธ ์ง๋ํด 9์ ๋ง์ดํฌ๋ก์ํํธ์๊ฒย GPT-3์ ๋ํ ๋
์ ๋ผ์ด์ ์ค๋ฅผ ๋ถ์ฌํ๋ค.ย 2015๋
์คํย AIย ์ค๋ฆฝ์ ์ฐธ์ฌํ์ผ๋ย 2018๋
2์ ์ด์ฌํ๋ฅผ ๋ ๋ ์ผ๋ก ๋จธ์คํฌ ํ
์ฌ๋ผย CEO๋ ์คํย AI์ ์ด ๊ฒฐ์ ์ ๋๊ณ ํธ์ํฐ์ โ์ด๊ฒ์ โ๊ฐ๋ฐฉโ์ ๋ฐ๋๋ก ๋ณด์ธ๋ค. ์คํย AI๋ ๋ง์ดํฌ๋ก์ํํธ์ ๋ณธ์ง์ ์ผ๋ก ํฌํ๋์๋คโ๋ผ๊ณ ๋นํํ๋ค.
์คํย AI๋ ์์ฌ์ ์ฌ๋ช
์ โAGI๊ฐ ์ธ๋ฅ ๋ชจ๋์๊ฒ ์ด์ต์ด ๋๋๋ก ํ๋ ๊ฒโ์ด๋ผ๊ณ ๋ฐํ๊ณ ์๋ค.ย AGI๊ฐ ๋ฌด์์ธ์ง๋ ์์ง ๋ชปํ๋ค ํด๋, ๋ฌด์ธ๊ฐ โ์ธ๊ฐ์ ์ง๋ฅ ๊ฐ์ ๊ฒโ์ ๊ตฌํํ๋ ค๋ ์๋๋ ๊ณ์๋๊ณ ์๋ค. ์คํย AI๊ฐ ์ง๋ 1์ ๋ด๋์ โDALL-Eโ(ํ๊ฐ ์ด๋ฐ๋๋ฅด ๋ฌ๋ฆฌ์ ํฝ์ฌ ์ ๋๋ฉ์ด์
๋ก๋ด ์E์ ํฉ์ฑ์ด)๋ ํ
์คํธ๋ฅผ ์ธ์ํด ์ด๋ฏธ์ง๋ฅผ ์์ฑํ๋ค. โ์๋ณด์นด๋ ๋ชจ์์ ์์โ๋ผ๊ณ ์น๋ฉด ์๋ณด์นด๋ ๋ชจ์์ ์์ ๊ทธ๋ฆผ์ด ๋ช ๊ฐ ๋จ๋ ์์ด๋ค. ์ด๋ ๊ฒ ํ
์คํธ๋ฟ ์๋๋ผ ์ด๋ฏธ์ง, ์์ฑ ๋ฑ ์ฌ๋ฌ ํํ์ ๋ฐ์ดํฐ๋ฅผ ๋๋๋ค๋ฉฐ ๋ฌด์ธ๊ฐ ๋ง๋ค์ด๋ผ ์ ์๋ค๋ฉด, ์ธ๊ฐ์ฒ๋ผ ์ฌ๋ฌ ๊ฐ์ง๋ฅผ ํ ์ ์์ง ์์๊น? ๋ฅ๋ฌ๋ ์ฐ๊ตฌ์ ํฐ ํ๋ฆ์ธ โ๋ฉํฐ ๋ชจ๋ฌโ์ด๋ค.
๊ทผ๋ณธ์ ์๋ฌธ์ ๋จ๋๋ค. ์ธ๊ฐ ๊ฐ์ ์ง๋ฅ์ ๊ฐ์ง ๋ฌด์ธ๊ฐ๋ฅผ ๊ผญ ๋ง๋ค์ด์ผ ํ ๊น? ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋ฐ์ ์ด ์ฐ๋ฆฌ ์๋์ ์๋ฏธํ๋ ๋ฐ๋ ๋ฌด์์ธ๊ฐ? ์ธ๊ณต์ง๋ฅ์ด ๊ฒฐ๊ตญ ์ธ๊ฐ์ ์ผ์๋ฆฌ๋ฅผ ๋์ฒดํ๊ฒ ๋ ๊น?
โ์ฌ๋งํ ์ง์
์ ๋์ฒด๋ ์ ์์ง ์์๊น? ํ
๋ ๋ง์ผํ
(์ฑ๋ด)์ด๋ ์ด์์
(์์จ์ฃผํ์ฐจ), ๋ฒ์ญ(๊ธฐ๊ณ๋ฒ์ญ), ๋น๊ต์ ๋จ์ํ ์์ง๋์ดโฆ. ์์ฌ๋ ๋ณํธ์ฌ๊ฐ ํ๋ ์ผ ์ค โ๋ฃจํดโํ ์
๋ฌด๋ ๋ง์ฐฌ๊ฐ์ง๋ค. ๋ค๋ง ์์ฌ๊ฐ ํ์์ ๋ํด ์ฑ๊ณต๋ฅ ๋ฐ ์ํ๊ฐ ๋ค๋ฅธ ์ฌ๋ฌ ์น๋ฃ๋ฒ ์ค ํ๋๋ฅผ ์ ํํ ๋์ฒ๋ผ, โ๋ถํ์ค์ฑโ์ด ์๋ ์ํฉ์์ ์ธ๊ฐ์ ๊ฐ์นํ๋จ์ด ๋ค์ด๊ฐ์ผ ํ๋ค. ์ฑ
์์ง๋ ์ผ์ ์ฌ์ ํ ์ธ๊ฐ์ ๋ชซ์ธ ๊ฒ์ด๋ค.โ ํฉ์ฑ์ฃผ ๊ต์๋ ๋งํ๋ค. โ๊ณผํ์ ๋ฐ๊ฒฌ์ ํ๊ฑฐ๋ ์๋ก์ด ์ฝํ
์ธ ๋ฅผ ๋ง๋๋ ์ง์
์์๋ ์ธ๊ณต์ง๋ฅ์ด ๋ณด์กฐ ์ญํ ์ ํ ์ ์๋ค. ์๋ฅผ ๋ค๋ฉด, ์ฃผ์ด์ง ํ
์คํธ์ ๋ง๋ ์นํฐ์ ์์ฑํ๋ ๊ฑธ ๋ชฉํ๋ก ๋ค์ด๋ฒ์ ์ฐ๊ตฌํ๊ณ ์๋ค. ์์ ์๋ ๊ทธ๋ฆผ์ ํ๋ํ๋ ๊ทธ๋ ค์ผ ํ์ง๋ง, ์คํ ๋ฆฌ์๋ง ์ง์คํ๊ณ ์ถ์ ์๊ฐ๋ ์์ ์ ์๋ค. ๊ทธ ๊ฒฝ์ฐ ์ฝํฐ๋ฅผ ์ง๋ฉด ์ธ๊ณต์ง๋ฅ์ด ํด๋น ์๊ฐ์ ์คํ์ผ๋๋ก ๊ทธ๋ฆผ์ ๊ทธ๋ ค์ฃผ๋ ๊ฑฐ๋ค.ย AIย ์ด์์คํดํธ๋ค. ์ด๋ฌ๋ฉด ์นํฐ ์๊ฐ๋ โ๊ฐ๋
โ์ ์์น์ ์๊ฒ ๋๋ค.โ
๋ฌผ๋ก ๊ธฐ์ ์ด ์์ ๋ ๊ฒ ์๋๋ผ ๋ง๋ค์ด๋ด๋ ์ผ์๋ฆฌ๋ ์๊ณ (์ธ๊ณต์ง๋ฅ์ด ์์ฑํ ๊ฒฐ๊ณผ๋ฌผ์ ํ์ธํ๋ ์ผ์๋ฆฌ๊ฐ ๋ํ์ ์ด๋ค), ๋ก๋ด ๊ธฐ์ ์ด ์ฌ๋์ ๋ฏธ์ธํ ์์ง์๊น์ง ๋ชจ๋ฐฉํ ์ ์์ ๋๊น์ง ์ ์์ ์๊ฐ์ด ๊ฑธ๋ฆด ๊ฒ์ผ๋ก ์์ธก๋๊ธฐ ๋๋ฌธ์, ์ธ๊ณต์ง๋ฅ์ ์ผ์๋ฆฌ ๋์ฒด๋ ํ์ค์์ ๋ค์ ๋จ์ด์ง ๋ด๋ก ์ ๋จธ๋ฌผ๋ฌ ์๋ค. ์ฌํ๊ฐ ๊ทธ์ ๋๋น๋ฅผ ํด์ผ ํ๋ ๊ฒ๊ณผ ๋ณ๊ฐ๋ก ๋ง์ด๋ค.
์คํ๋ ค ๋น์ฅ ๋ฅ์น ๋ฌธ์ ๋ ๋ฅ๋ฌ๋ ๊ธฐ๋ฐ ์ธ์ด ๋ชจ๋ธ์ ์ฐจ๋ณ๊ณผ ํธํฅ์ด๋ค.ย GPT-3ย ๋
ผ๋ฌธ์ ์ ์๋ค์, ์ด ์๊ณ ๋ฆฌ์ฆ์ดย 388๊ฐ ์ง์
์คย 83%๋ฅผ โ๋จ์ฑโ์ผ๋ก ์์ธกํ์ผ๋ฉฐ, ๊ตญํ์์์ด๋ ์ํ๊ฐ, ๋ช
์๊ต์ ๋ฑ ๊ณ ํ๋ ฅ ์ง์ข
์ด๋ ๊ธฐ๊ณ์๋ฆฌ๊ณต, ๋ณด์๊ด ๋ฑ ๊ณ ๋ ์ก์ฒด๋
ธ๋ ์ง์ข
์์ ํนํ ๋จ์ฑ ์ ๋ฆผ์ด ์ฌํ๋ค๊ณ ๋ฐํ๋ค. ์ง๋ 8์ ์๊ตญ์ ์๋น
๊ทน์ฅ์์๋ย GPT-3๊ฐ ๊ทน๋ณธ์ ์ด ์ฐ๊ทน์ด ๊ณต์ฐ๋์๋๋ฐ,ย GPT-3๋ ์ค๋ ์ถ์ ๋ฐฐ์ฐ๋ฅผ ํ
๋ฌ๋ฆฌ์คํธ๋ ๊ฐ๊ฐ๋ฒ์ผ๋ก ์บ์คํ
ํ๋ ๊ฒฝํฅ์ด ์์๋ค. ์ฃผ์ต ์ธก์ ์ด ์ฐ๊ทน์ด โ๋์ฑ์ ํ์ค, ์ธ์ข
์ฃผ์, ์ฑ์ฐจ๋ณ ๋ฑ์ ํฌํจํ ์ ์๋คโ๋ผ๊ณ ๊ด๊ฐ๋ค์๊ฒ ๊ฒฝ๊ณ ํด์ผ ํ๋ค. ๊ทธ๋ผ์๋ ์ด ์ฐ๊ทน์ ๋ง๋ ํ์ย GPT-3์ ํ๋์ด ์ธ๋ฅ์ ๊ดํด ๋ฌด์์ ๋๋ฌ๋ด๋์ง ๊ด๊ฐ๋ค์ด ๋ฌป๊ธฐ๋ฅผ ์ํ๋ค๊ณ ๋ฐํ๋ค.
์ง๋ํด ๋ง, ๊ตฌ๊ธ์ ์ธ๊ณต์ง๋ฅ ์ค๋ฆฌ ์ฐ๊ตฌ์กฐ์ง์ ์ด๋๋ ํ๋ ๊ฒ๋ธ๋ฃจ๊ฐ ๊ตฌ๊ธ์์ ํด๊ณ ๋์๋ค(๊ตฌ๊ธ์ ๊ฒ๋ธ๋ฃจ๊ฐ โ์ค์ค๋ก ๊ทธ๋ง๋๋คโ๊ณ ์ฃผ์ฅํ๋ค). ๊ฒ๋ธ๋ฃจ๊ฐ ๊ณต์ ์๋ก ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ๋นํํ ๋
ผ๋ฌธ์ ์ด ๊ฒ์ด ๊ฐ๋ฑ์ ์์ธ์ผ๋ก ์ง๋ชฉ๋์๋ค. โ๋๋ถ๋ถ์ ์ธ์ด ๊ธฐ์ ์ ์ฌ์ค ์ฌํ์์ ์ด๋ฏธ ๊ฐ์ฅ ๋ง์ ํน๊ถ์ ๊ฐ์ง ์ฌ๋๋ค์ ํ์๋ฅผ ์ถฉ์กฑ์ํค๊ธฐ ์ํด ๊ตฌ์ถ๋์๋ค.โ ๋
ผ๋ฌธ์ ์ธ์ด ๋ชจ๋ธ์ด ์ ์์ธ์ข
๊ณผ ์ฌ์ฑ, ์ฅ์ ์ธ ๋ฑ ํน์ ์ง๋จ์ ํฅํ ์ฐจ๋ณ๊ณผ ๊ณ ์ ๊ด๋
์ ์์ํํ ์ ์์ผ๋ฉฐ, ๋ฌธ์ํ๋์ง ์์ ํ๋ จ ๋ฐ์ดํฐ์ธ ๋งํผ ์ฑ
์์ ๋ฌป๊ธฐ๋ ์ด๋ ต๋ค๊ณ ์ง์ ํ๋ค. ๊ฒ๋ธ๋ฃจ๋ ์ํฐ์คํผ์๊ณ ๋ฏธ๊ตญ์ธ ์ฌ์ฑ์ด๋ค.
์คํ์ฐ ์นด์ด์คํธ ์ ์ฐํ๋ถ ๊ต์๋ โ์ธ์ด ๋ชจ๋ธ์ ํญ์ ํธํฅ์ ๋ฌธ์ ๋ฅผ ๊ฐ์ง๊ณ ์๋คโ๋ผ๊ณ ๋งํ๋ค. โํ์ตํ ๋ฐ์ดํฐ๋ ๊ฒฐ๊ตญ ์ฌ๋๋ค์ด ๋ง๋๋๋ฐ, ์ฌํ์ ์ผ๋ก ํธ๊ฒฌ์ด ์กด์ฌํ๊ธฐ ๋๋ฌธ์ ๊ทธ๊ฒ ๋ฐ์ดํฐ ์์ ๋ค์ด๊ฐ ์์ ์ ์๋ค. ์์งํ ๋ฐ์ดํฐ์ ์ถ์ฒ ์์ฒด๊ฐ ํธํฅ๋์ด ์์ ์๋ ์๋ค.ย BERT๋ย GPT-3ย ๊ฐ์ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ํ์ต ๋ฐ์ดํฐ๋ ๋๋ถ๋ถ ์ธํฐ๋ท์์ ์จ๋ค. ๊ทธ์ค์์๋ ๋ ๋ง ๊ฐ์ ์์
๋คํธ์ํฌ ์ฌ์ดํธ ์ด์ฉ์๋ย 20~40๋ ๋จ์ฑ์ด์ ๋ฏธ๊ตญ์ธ์ด ๋๋ถ๋ถ์ด๋ค. ๊ทธ ์ฌ๋๋ค์ ์๊ฐ์ด ์ค์ฌ์ ์ผ๋ก ๋ฐ์๋๋ค.โ
์ค ๊ต์๊ฐ ๋ณด๊ธฐ์, โ์ธ๊ฐ์ด ํธํฅ๋์ด ์๊ธฐ์ ๋ชจ๋ธ์ด ๊ทธ๊ฑธ ๋ฐ๋ผ ํด๋ ์๊ด์๋คโ๋ ๊ฑด ๋ง์ด ์ ๋๋ค. โ์ ์ด๋ ๋ ๊ฐ์ง๋ฅผ ํด์ผ ํ๋ค. ํ๋๋ ์์งํ ๋ฐ์ดํฐ์ ์ถ์ฒ๊ฐ ์ถฉ๋ถํ ๋ค์ํ์ง ์ดํผ๊ณ , ๊ทธ๋ ์ง ์๋ค๋ฉด ๋ค์์ฑ์ ๋๋ฆฌ๋ ๊ฒ์ด๋ค. ์ธํฐ๋ท ์ปค๋ฎค๋ํฐ๊ฐ ๊ผญ ์ ์ ๋ฏธ๊ตญ์ธ ๋จ์ฑ์ด ์ฐ๋ ๋ ๋ง๋ง ์๋ ๊ฒ์ ์๋๋ฐ๋, ์ด๊ฑธ ์ฐ๊ตฌํ๋ ์ฌ๋๋ค์ด ๋์ฒด๋ก ๊ทธ๋ฐ ์ฌ๋๋ค์ด์ด์ ์ต์ํ ์์ค๋ฅผ ์ ํํ๋ ๊ฒ์ผ ์ ์๋ค. ๋ค๋ฅธ ํ๋๋ ์์ธก์ ํ ๋ โ์ ํ์ฑโ๋ง์ด ์๋๋ผ โ๊ณต์ ํจโ๋ ์ถ๊ตฌํ๋ ๊ฒ์ด๋ค. ์ฐ๋ฆฌ๊ฐ ๋ชจ์ ๋ฐ์ดํฐ์ ์ ๊ฒ ๋ํ๋ ์ฌ๋๋ค์ด ์๋ค๋ฉด, ์์ปจ๋ ์ด๋ฏธ์ง์ ๊ฒฝ์ฐ ๋ฐฑ์ธ ๋จ์ฑย 50๋ช
์ ํ์ธ ์ฌ์ฑ 5๋ช
์ด๋ผ๊ณ ํด์ย 10๋ 1๋ก ํ๋ ๊ฒ ์๋๋ผ ๊ฐ์ค์น๋ฅผ ์กฐ์ ํ๋ ๋ฑ์ ๊ธฐ์ ์ ๋ฐฉ๋ฒ์ด ์๋ค. ์ด์์ ์ผ๋ก๋ ์ฐ๊ตฌ์๋ ๊ฐ๋ฐ์์ ๋ค์์ฑ์ ๋๋ฆฌ๋ ๊ฒ ์ข๊ฒ ์ง๋ง, ๋น์ฅ์ ์ด๋ ต๋ค๋ฉด ๊ต์ก์ด๋ผ๋ ํด์ผ ํ๋ค. ๊ทธ๊ฒ ์ฑ
์์ด๊ณ ์ค๋ฆฌ๋ค.โ
ํ๊ตญ ์ฌํ๋ ์ธ๊ณต์ง๋ฅ ์ค๋ฆฌ์ ์ค์์ฑ์ ์ด๋ฏธ โํ์ตโํ ์ ์ด ์๋ค. ์ฌํด 1์,ย 20๋ ์ฌ์ฑ์ ์์ ํ ์ฑ๋ด โ์ด๋ฃจ๋คโ๊ฐ ์ถ์๋ ์ง 3์ฃผ ๋ง์ ์๋น์ค๋ฅผ ์ค๋จํ๋ค. ์ด๋ฃจ๋ค๋ ๊ฒ์ด๋ ๋ ์ฆ๋น์ธ์ด๋ผ๋ ๋จ์ด์ โ์๋ฆ ๋ผ์น๋ค๊ณ ํด์ผ ํ๋. ๊ฑฐ๋ถ๊ฐ ๋ค๊ณ ๊ทธ๋โ๋ผ๊ณ ๋ฐ์ํ๊ณ , ํ์ธ์ ๋ํด์๋ โ์ค๋ฐ๋ง๊ธ ์๋๋ฉด ์ซ์ดโ๋ผ๊ณ ํ๋ ๋ฑ ํ์ค ๋ฐ์ธ์ ํ๋ค. ๊ทธ๋ฐ ํํธ ์ด์ฉ์๋ค์ ์ด๋ฃจ๋ค๋ฅผ ์๋๋ก ์ฑํฌ๋กฑ์ ํ๊ณ ์ด๋ฅผ ๊ณต์ ํ๋ค.
์ด๋ฃจ๋ค๋ฅผ ๋ง๋ ์ค์บํฐ๋ฉ์ ์ํ์ฌ โ์ฐ์ ์ ๊ณผํโ์ ํตํด ์ฐ์ธ๋ค์ ์นด์นด์คํก ๋ํย 100์ต ๊ฑด์ ์์งํ๋ค. ์ ์ ๋ ๋ฑ์ ๋ถ์ํด์ค๋ค๋ ๋ช
๋ชฉ์ด์์ผ๋ โ์ธ๊ณต์ง๋ฅ ์ฑ๋ด ํ์ต์ ์ฌ์ฉํ๋คโ๋ ์ ์ ๋ช
์ํ์ง ์์๋ค. ์ด ๋ฐ์ดํฐ๋ฅผย BERT์ ํ์ต์ํจ ๊ฒ ๋ฐ๋ก ์ด๋ฃจ๋ค์๋ค. ์ด๋ ๊ฒ ํ์ต์ ๊ฑฐ์น ๋ค์ ํ์ต๋ ์นดํกย 100์ต ๊ฑด ์ค 1์ต ๊ฑด์ย DB๋ก ๋ง๋ค์ด ๊ทธ ์์์ ๊ฐ์ฅ ๊ทธ๋ด๋ฏํ ๋ต๋ณ์ ๊ณ ๋ฅด๋ โ๋ต๋ณ ๊ฒ์ ๊ธฐ๋ฐ ๋ชจ๋ธโ์ด๋ค. ์์์ ๋๊ธฐ์
์ฐ๊ตฌ์๋ โGPT-3ย ๊ฐ์ ์์ฑ ๋ชจ๋ธ์ด ๊ต๊ณผ์ ์ ๋ณด๊ณ ์น๋ ์ํ์ด๋ผ๋ฉด, ์ด๋ฃจ๋ค ๊ฐ์ ๋ต๋ณ ๊ฒ์ ๊ธฐ๋ฐ ๋ชจ๋ธ์ โ์คํ ๋ถ ํ
์คํธโ๋ค. ๋ฐ์ดํฐ๋ง ์ข ๋ ์ ์ ํ์ผ๋ฉด ๋ง์ ์ ์๋ ๋ฌธ์ ๋ ๋ง์๋ค๋ ์ ์์ ์ํ๊น๋คโ๋ผ๊ณ ๋งํ๋ค. ๊ฐ์ธ์ ๋ณด๋ณดํธ์์ํ๋ ์ค์บํฐ๋ฉ์ด ์ ๋ณด ์ฃผ์ฒด์ ๋์ ์์ด ๋ฐ์ดํฐ๋ฅผ ๋ชจ์ ์์ง ๋ชฉ์ ์ ๋ฒ์ด๋๊ฒ ์ฌ์ฉํ๊ณ , ๊ฐ์ธ์ ๋ณด ๋น์๋ณ ์ฒ๋ฆฌ๋ ์ ๋๋ก ํ์ง ์์๋ค๋ฉฐ ๊ณผ์ง๊ธยท๊ณผํ๋ฃ ์ด 1์ต330๋ง์์ ๋ถ๊ณผํ๋ค.
์ด๋ฃจ๋ค ์ฌํ ์ดํ ์๋ง์ ํ ๋ก ํ๊ฐ ์ด๋ ธ๋ค. ํ๊ตญ ์ฌํ๊ฐ ๋ต์ ์ฐพ์๋ค๊ณ ๋ณด๊ธด ํ๋ค๋ค. ํ๊ตญ์ด ๋ฒ์ ์ย GPT-3์ธ ๋ค์ด๋ฒ ํ์ดํผํด๋ก๋ฐ๋ ๋ค์ด๋ฒ ๋ธ๋ก๊ทธยท์นดํยท๋ด์คยท๋๊ธยท์ง์iNย ๋ฑ์ ์ฐ์ฌํด ์๋ ํ
์คํธ๋ฅผ โ๊ธ์ด์โ ํ์ตํ๋ค. ์ด ๋ง๋ญ์น์ ์ฐจ๋ณยทํ์ค ํํ์ด ๋ค์ด ์๋ค๋ฉด, ๊ทธ๊ฑธ ํ๋ด ๋ด์ด ๋ฑ์ด๋ผ ๊ฐ๋ฅ์ฑ์ ๋ฐฐ์ ํ ์ ์๋ค. ๊นํ์ ์ฐ๊ตฌ์์ โํ์ดํผํด๋ก๋ฐ๋ ํ๊ตญ์ด๋ฅผ ์ฐ๋ ์ฌ๋๋ค์ ํํ๋ฅผ ๋ฐ์ํ๊ณ ๋ชจ๋ฐฉํ๊ธฐ ๋๋ฌธ์, ์ฐจ๋ณ์ด๋ ํ์ค ๋ฐ์ธ์ (๋ฐ์ดํฐ์์) ์์ฒ ์ฐจ๋จํ๊ธด ์ฝ์ง ์๋ค. ๊ทธ๋ฌ๋ ๋ชจ๋ธ์ด ํ์ต์ ํตํด์ ํธ๊ฒฌ์ด๋ ํ์ค๋ฅผ ํ๋ํ๋ ๊ฒ์ ๋ฐ๋์งํ์ง ์๋ค. ์ด๋ฅผ ๋ง๊ธฐ ์ํด ๊ถ์ฅ๋๋ ๋ต๋ณ์ ๋ํ ๊ฐ๋ฅ๋(likelihood)๋ ์ฌ๋ฆฌ๊ณ , ๊ทธ๋ ์ง ์์ ๋ต๋ณ์ ๊ฐ๋ฅ๋๋ ๋ด๋ฆฌ๋ ๋ฐฉ์์ ์ฐ๊ตฌํ๊ณ ์๋ค. ์ฌ์ค ์ด๋ค ๋ต๋ณ์ โ๊ถ์ฅโํ๊ณ ์ด๋ค ๋ต๋ณ์ โํ๋ํฐโ๋ฅผ ์ฃผ๋๋๊ฐ ์์ง ์ข ๊ทธ๋ ์ด(ํ์) ์์ญ์ด๊ธด ํ๋คโ๋ผ๊ณ ๋งํ๋ค.
๋ค์ด๋ฒ์ ์นด์นด์ค๋ ๊ฐ๊ฐ ์ฐจ๋ณ์ โ๋ฐฉ์งโํ๊ณ โ๊ฒฝ๊ณโํ๋ค๋ ๋ด์ฉ์ ํฌํจํย AIย ์ค๋ฆฌ ๊ท๋ฒ์ ๋๊ณ ์๋ค. ์ง๋ํด ๋ง ์ ๋ถ๊ฐ โ์ธ๊ณต์ง๋ฅ ์ค๋ฆฌ ๊ธฐ์คโ์ ๋ง๋ค๊ธฐ๋ ํ๋ค. ๊ทธ๋ฌ๋ ๋ช
๋ฐฑํ ์์ค์ด ์๋ ์๊ทผํ ์ฐจ๋ณ์ ๋ง๊ธฐ๋ ์ฝ์ง ์๋ค. ๋ถ๋ช
ํ ๊ฑด ์ด ์ญ์ ๊ธฐ์ ๋ก ๋์ํ ์ฌ์ง๊ฐ ์๋ค๋ ์ ์ด๋ค.
์ญ์ค๋ ์ํํธ์จ์ดํ๋ถ์ ์ฌํ ์ค์ธ ์๊ธฐ์ฐฝ์จ(ํ์งย AIย ๊ฐ๋ฐ์)๋ ํ์ค ํํ์ ๋ถ๋ฅํด ๊ฐ๋ฆฌ๋ ์ธ์ด ๋ชจ๋ธ โSoongsilBERT:BEEP!โ๋ฅผ ๊ฐ๋ฐํ๋ค. ํ๊ตญ์ด ํ์ค ๋ฐํ ๋ฐ์ดํฐ์
(BEEP!)์ย BERT์ ๋ณํ์ธ ํ์ด์ค๋ถ์ย RoBERTa์ ํ์ต์์ผฐ๋ค. โ๋๊ฐ ์ฃฝ์ด๋ผ ์ ๊ทธ ๋ฐ๊ตฌ๋ก ์ฌ๋โ๋ผ๋ ํํ์ ์
๋ ฅํ๋ฉด, ๋ชจ๋ธ์ ํ๋ฅ ์ ์ด๋ ๊ฒ ์์ธกํ๋ค. โ๊ณต๊ฒฉ ๋ฐ์ธ:0.8240, ์ฐจ๋ณ ๋ฐ์ธ:0.1692.โย ์ญ์ค๋ ์ปค๋ฎค๋ํฐ ์ด์ฉ์๊ฐ โ๋ถ๋๊ธ ๋๊ธฐโ ๋ชจ๋๋ฅผ ์ค์ ํ๋ฉด, ๊ณต๊ฒฉ์ด๋ ์ฐจ๋ณ ๋ฐ์ธ์ผ๋ก ๋ถ๋ฅ๋ ๊ธ์ ๊ฐ๋ ค์ค๋ค. ์๊ธฐ์ฐฝ์จ๋ โ์ธ๊ณต์ง๋ฅ์ ์ฐจ๋ณ๊ณผ ํธํฅ์ ์ผ์ผํค๊ธฐ๋ ํ์ง๋ง, ๋ง์ ์๋ ์๋ค. ๊ฐ๋ฐ์๋ค์ด ํดํน์ ํ์ง๋ง ๋ณด์ ํ๋ก๊ทธ๋จ๋ ๋ง๋๋ ๊ฒ๊ณผ ๋น์ทํ๋ค. ์์ค์ด ์๋๋๋ผ๋ ์ฌ๋์ ์์กด๊ฐ์ ๊ฐ์๋จน๋ ํ
์คํธ๋ ์ถฉ๋ถํ ๋ง๋ค. ์ฅ๊ธฐ์ ์ผ๋ก๋ ๊ฐ๋ฐ์ ๊ฐ์ธ์ด ์ผ๋ง๋ โ์ ์น์ ์ผ๋ก ์ฌ๋ฐ๋ฅธ์งโ์ ๋ฌด๊ดํ๊ฒ (๋ฐ์ธ์ ์ฐจ๋ณ์ฑ์) ํ๋จํ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ง๋ค๊ณ ์ถ๋คโ๋ผ๊ณ ๋งํ๋ค.
๊ทธ๊ฐ ๋ณด๊ธฐ์ ํ๊ตญ์ ์ธ๊ณต์ง๋ฅ ์ค๋ฆฌ ๋
ผ์๋ ์ธ๊ตญ์ ๋
ผ์ ์์ค์ ํ์ฐธ ๋ชป ๋ฏธ์น๋ค. โ์๊ณ ๋ฆฌ์ฆ ๊ณต๊ฐ ์๋ฌดํ ๊ฐ์ ๋ฒ์๋ค์ด ์์์ง๊ณ ์๋๋ฐ, ์ธ๊ณต์ง๋ฅ ์ค๋ฆฌ ํ๊ณ์์ ๋์ค๋ ๋
ผ๋ฌธ์ด๋ ๊ฐ์ด๋๋ผ์ธ๊ณผ๋ ๊ดด๋ฆฌ๊ฐ ํฌ๋ค. ๊ทธ๋ฅ โ์๊ณ ๋ฆฌ์ฆ์ ๊ณต๊ฐํ๋ผโ๊ณ ํ ๊ฒ ์๋๋ผ ์ฌ์ฉํ ์๊ณ ๋ฆฌ์ฆ์ ๊ทผ๊ฑฐ๊ฐ ๋ ๋
ผ๋ฌธ์ ๊ณต๊ฐํ๋ผ๋ ์ง, ์๊ณ ๋ฆฌ์ฆ์ ์ค๋ฆฌ์ฑ์ ํ๊ฐํ ์ ์๋ ์งํ๋ฅผ ์ฃผ๊ณ ์ผ์ ๊ธฐ์ค์ ๊ฐ์ด๋๋ผ์ธ์ผ๋ก ์๊ตฌํ๋ ๊ฒ ๋ ํ์ค์ ์ด์ง ์์๊น.โ ๊ณ ํ์ ์์ธ๋ ๋ฒํ์ ๋ฌธ๋ํ์ ๊ต์๋ โ์๊ณ ๋ฆฌ์ฆ์ ๋๋ฌ์ผ ๋์์ด๋ชฝ์ด ๋ฌธ์ ์ ๊ทผ์์ด๋คโ๋ผ๊ณ ๋งํ๋ค. โ์๊ณ ๋ฆฌ์ฆ์ ๊ณต๊ฐํ๋ผ๋ (์๋ฏผ์ฌํ ๋ฑ์) ํฐ ํ์ ์๊ตฌ์, โ์์
๋น๋ฐ๊น์ง ๋ค ๊ณต๊ฐํ๋ผ๋ ๊ฑฐ๋โ๋ ๊ธฐ์
์ ๋ฐ๋ฐ ์ฌ์ด์์ ์ง๋๊ฐ ์ ๋๊ฐ๊ณ ์๋ค. ์ฌ์ค ์ ๋ฝ์ย GDPR(๊ฐ์ธ์ ๋ณด ๋ณดํธ ๊ท์ )๋ ๋ฌด์์ ์ด๋๊น์ง ๊ณต๊ฐํ๊ณ ์ค๋ช
ํด์ผ ํ๋์ง ํด์์ด ๋ถ๋ถํ๋ค. ํ์ฅ์์ ์ธก์ ๊ฐ๋ฅํ๊ณ ์ ์ฉ ๊ฐ๋ฅํ ๊ธฐ์ค์ ๋ง๋ค ์ ์๋๋ก, ๊ท๋ฒ์ ๋ง๋ค๋ ค๋ ์ฌ๋๋ค์ด ๊ธฐ์ ์ ์๋ ์ผ์ ๊ฐ๋ฐ์์ ๋ํ๋ฅผ ๋ง์ด ํด์ผ ํ๋ค.โ
์ ํ์ดํ ์ ๋ฉ์ปค๋์ฆ์ด ํ๊ตญ์ธ์ด ๋ง๋ ๊ฑด์ง ๋ชฐ๋๋ค
ใ ๋ ์๋ ๋ด์ฉ์ ใ ใด ์ฅํฉํ๊ฒ๋ ๋์ด๋จ๋ค ในใ