1. ์ผ๋‹จ pt๊ฐ€ pretrain์ด๋ผ๋Š” ์˜๋ฏธ์กฐ์ฐจ ํŒŒ์•…ํ•˜์ง€ ๋ชปํ–ˆ๊ณ 

2. ์–˜ ๋ง๋Œ€๋กœ ํ•˜๋ฉด QLoRA๋ฅผ ๊ทธ๋ƒฅ ๊นก์œผ๋กœ it ๋ชจ๋ธ์— ํ•™์Šต์‹œ์ผœ์„œ catastrophic forgetting ์˜จ ๋’ค์— ๋‹ค์‹œ sft๋ฅผ ์ง„ํ–‰ํ•˜๋Š” ๋น„ํšจ์œจ์ ์ธ ์ง“์„ ํ•ด์•ผ ํ•˜๋ฉฐ

3. ๋‹ต๋ณ€์—์„œ ๋งˆํฌ๋‹ค์šด ๊นจ์กŒ๊ณ 

4. ํ•œ์ž๋„ ์„ž์—ฌ์„œ ๋‚˜์™”์Œ

5. Curriculum Mixing์„ ์ œ์•ˆํ–ˆ๋Š”๋ฐ, ์ด ์ˆœ์„œ๋„ โ‘  ์ˆœ์ˆ˜ ์„œ์ˆ (3์ธ์นญ/์ง€๋ฌธ) โ†’ โ‘ก ๋Œ€์‚ฌ ๋น„์ค‘ ๋†’์€ ์†Œ์„ค โ†’ โ‘ข ์งง์€ 2์ธ ๋Œ€ํ™” โ†’ โ‘ฃ ๋ฉ€ํ‹ฐํ„ด RP ์ˆœ์œผ๋กœ ์ ์ฆ ๋‚œ์ด๋„. ๋ผ๋Š” ๋ง๋„ ์•ˆ ๋˜๋Š” ์ˆœ์„œ๋ฅผ ์ œ์•ˆํ–ˆ์Œ




๊ทธ๋‚˜๋งˆ ์ž˜ํ•œ ์ ์„ ๊ผฝ์ž๋ฉด ๋“œ๋Š” ๋น„์šฉ ์˜ˆ์ธก์€ ๊ฝค ๊ทธ๋Ÿด๋“ฏํ–ˆ๋‹ค๋Š” ๊ฒƒ ์ •๋„?

์•„๋ฌดํŠผ ์ง„์งœ ์• ๋งคํ•œ ์„ฑ๋Šฅ์ž„