๋ฏธ์ŠคํŠธ๋ž„, GPT-4์˜ 'MoE' ๋ฐฉ์‹ ๋„์ž…ํ•œ โ€˜๋ฏน์ŠคํŠธ๋ž„ 8x7Bโ€™ ๊ณต๊ฐœํ”„๋ž‘์Šค์˜ ๊ฐ„ํŒ ์Šคํƒ€ํŠธ์—… ๋ฏธ์ŠคํŠธ๋ž„ AI๊ฐ€ 'GPT-4'์™€ ์œ ์‚ฌํ•œ ์•„ํ‚คํ…์ฒ˜๋ฅผ ๊ฐ€์ง„ ๋ฏธ๋‹ˆ ๋ชจ๋ธ์„ ๊ณต๊ฐœํ–ˆ๋‹ค. ์ž‘์ง€๋งŒ ๊ฐ•๋ ฅํ•œ ์„ฑ๋Šฅ์„ ๊ฐ–์ถ˜ '์†Œํ˜• GPT-4'๋ผ๋Š” ์„ค๋ช…์ด๋‹ค.๋ฒค์ฒ˜๋น„ํŠธ๋Š” 8์ผ(ํ˜„์ง€์‹œ๊ฐ„) ๋ฏธ์ŠคํŠธ๋ž„ AI๊ฐ€ โ€˜๋ฏน์ŠคํŠธ๋ž„ 8x7B(Mixtral 8x7B)โ€™ ๋ชจ๋ธ์„ ์˜คํ”ˆ ์†Œ์Šค๋กœ ์ถœ์‹œํ–ˆ๋‹ค๊ณ  ๋ณด๋„ํ–ˆ๋‹ค.์ด์— ๋”ฐ๋ฅด๋ฉด ๋ฏน์ŠคํŠธ๋ž„ 8x7B๋Š” ์ง€๋‚œ 9์›” ์ถœ์‹œํ•œ '๋ฏธ์ŠคํŠธ๋ž„ 7B' ๋ชจ๋ธ์ด ๊ธฐ๋ฐ˜์œผ๋กœ, GPT-4๊ฐ€ ๋„์ž…ํ•œ โ€˜์ „๋ฌธ๊ฐ€ ๋ฏน์Šค(MoE, Mixture of Experts)โ€™ ์ ‘๊ทผ ๋ฐฉ์‹์„ ์ฑ„ํƒํ•ด ์‹คํ–‰ ๋น„์šฉ๊ณผ ์‹œ๊ฐ„์„ ํฌ๊ฒŒ ์ค„์˜€๋‹ค.MoE๋Š” ๋Œ€ํ˜•์–ธ์–ด๋ชจ๋ธ(LLM)www.aitimes.com