https://ai.meta.com/blog/meta-llama-3-update/

ErrorErrorai.meta.com





4/18์ผ Llama 3 ๋ชจ๋ธ ๊ณต๊ฐœ ์ดํ›„ ๊ฐœ๋ฐœ์ž ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ๋ฐ˜์‘์ด ์—„์ฒญ๋‚ฌ์Œ

- ๋ชจ๋ธ์ด 120๋งŒํšŒ ์ด์ƒ ๋‹ค์šด๋กœ๋“œ๋˜์—ˆ๊ณ , Hugging Face์—์„œ ๊ฐœ๋ฐœ์ž๋“ค์ด 600๊ฐœ ์ด์ƒ์˜ ํŒŒ์ƒ ๋ชจ๋ธ์„ ๊ณต์œ ํ–ˆ์Œ

- Llama 3 GitHub ๋ ˆํฌ์ง€ํ† ๋ฆฌ๊ฐ€ 17,000๊ฐœ ์ด์ƒ์˜ ๋ณ„์„ ๋ฐ›์•˜์Œ

- LMSYS Chatbot Arena ๋ฆฌ๋”๋ณด๋“œ์—์„œ Llama 3 70B Instruct ๋ชจ๋ธ์ด ์˜์–ด ์ „์šฉ ํ‰๊ฐ€์—์„œ 1์œ„๋ฅผ ์ฐจ์ง€ํ–ˆ๊ณ , ์ „์ฒด์ ์œผ๋กœ๋Š” 6์œ„๋ฅผ ๊ธฐ๋กํ•ด ๊ณต๊ฐœ๋œ ๋ชจ๋ธ ์ค‘ ๊ฐ€์žฅ ๋†’์€ ์ˆœ์œ„๋ฅผ ์ฐจ์ง€ํ–ˆ์Œ (ํ์‡„์ ์ธ ๋…์  ๋ชจ๋ธ์— ์ด์–ด)


Llama 3์˜ ์ดˆ๊ธฐ ์ ์šฉ ์‚ฌ๋ก€

- ์‹ค๋ฆฌ์ฝ˜, ํ•˜๋“œ์›จ์–ด, ํด๋ผ์šฐ๋“œ ์ œ๊ณต์—…์ฒด ํŒŒํŠธ๋„ˆ๋“ค์ด Llama 3๋ฅผ ์‚ฌ์šฉ์ž์—๊ฒŒ ๋ฐฐํฌํ•˜๊ธฐ ์‹œ์ž‘ํ–ˆ์Œ

- ์˜ˆ์ผ๋Œ€ํ•™๊ต ์˜๊ณผ๋Œ€ํ•™์—์„œ๋Š” EPFL ์ปดํ“จํ„ฐ ๋ฐ ํ†ต์‹  ๊ณผํ•™ ํ•™๊ต์™€ ํ•จ๊ป˜ Llama 3 ์ถœ์‹œ 24์‹œ๊ฐ„ ๋งŒ์— Llama 3๋ฅผ ํŒŒ์ธํŠœ๋‹ํ•ด ์˜ํ•™ ๋ถ„์•ผ ์ตœ์ดˆ์˜ Llama 3 8B ๋ชจ๋ธ์ธ Llama-3[8B]-MeditronV1.0์„ ์†Œ๊ฐœํ–ˆ์Œ

ย ใ„ดย ์ด ์ƒˆ๋กœ์šด ๋ชจ๋ธ์€ MedQA, MedMCQA ๋“ฑ์˜ ํ‘œ์ค€ ๋ฒค์น˜๋งˆํฌ์—์„œ ๋™์ผํ•œ ํŒŒ๋ผ๋ฏธํ„ฐ ๋“ฑ๊ธ‰์˜ ๋ชจ๋“  ์ตœ์‹  ์˜คํ”ˆ ๋ชจ๋ธ์„ ๋Šฅ๊ฐ€ํ–ˆ์Œ

ย ใ„ด ์˜ˆ์ผ๋Œ€ํ•™๊ต์™€ EPFL์ด Llama 2๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ Meditron์˜ ์ฒซ ๋ฒˆ์งธ ๋ฒ„์ „์„ ๊ตฌ์ถ•ํ•œ ๋ฐฉ๋ฒ•์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ํ•ด๋‹น ๋งํฌ์—์„œ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Œ


Llama 3์˜ ํ–ฅํ›„ ๊ณ„ํš

- ํ–ฅํ›„ ๋ช‡ ๋‹ฌ ๋™์•ˆ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ, ๋‹ค๊ตญ์–ด ๋Œ€ํ™”, ๋” ๊ธด ์ปจํ…์ŠคํŠธ ์ฐฝ, ์ „๋ฐ˜์ ์ธ ๊ธฐ๋Šฅ ํ–ฅ์ƒ ๋“ฑ ์ƒˆ๋กœ์šด ๊ธฐ๋Šฅ์„ ๊ฐ–์ถ˜ ๋ชจ๋ธ์„ ๊ณต๊ฐœํ•  ์˜ˆ์ •์ž„

-ย ๊ณง ๋” ๋งŽ์€ ๋‚ด์šฉ์„ ๊ณต์œ ํ•˜๊ณ  ์ปค๋ฎค๋‹ˆํ‹ฐ ์ฃผ๋„์˜ ํ˜์‹ ์˜ ๋‹ค์Œ ๋ฌผ๊ฒฐ์„ ๋ณผ ์ˆ˜ ์žˆ๊ธฐ๋ฅผ ๊ธฐ๋Œ€ํ•จ