24b0d121e09c28a8699fe8b115ef04699c39f6baf5





๊ตฌ๊ธ€, ์ถ”๋ก  ๋ชจ๋ธ ๋‚ด๋ถ€ ๊ตฌ์กฐ ๊ทœ๋ช…...AI๊ฐ€ ๋ณต์žกํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” '์ถ”๋ก (Reasoning)' ๊ณผ์ •์ด ๋‹จ์ˆœํžˆ ๊ณ„์‚ฐ ์‹œ๊ฐ„์„ ๋Š˜๋ฆฌ๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๋ชจ๋ธ ๋‚ด๋ถ€์—์„œ ๋‹ค์–‘ํ•œ ๊ด€์ ๋“ค์ด ์„œ๋กœ ๋…ผ์Ÿํ•˜๊ณ  ์กฐ์œจํ•˜๋Š”www.aitimes.com




AI๊ฐ€ ๋ณต์žกํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” '์ถ”๋ก (Reasoning)' ๊ณผ์ •์ด ๋‹จ์ˆœํžˆ ๊ณ„์‚ฐ ์‹œ๊ฐ„์„ ๋Š˜๋ฆฌ๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๋ชจ๋ธ ๋‚ด๋ถ€์—์„œ ๋‹ค์–‘ํ•œ ๊ด€์ ๋“ค์ด ์„œ๋กœ ๋…ผ์Ÿํ•˜๊ณ  ์กฐ์œจํ•˜๋Š” โ€˜์‚ฌํšŒ์  ์ƒํ˜ธ์ž‘์šฉโ€™์˜ ๊ฒฐ๊ณผ๋ผ๋Š” ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”๋‹ค.


๊ตฌ๊ธ€๊ณผ ์‹œ์นด๊ณ ๋Œ€ํ•™๊ต ์—ฐ๊ตฌ์ง„์€ 22์ผ(ํ˜„์ง€์‹œ๊ฐ„) ๊ธฐ์กด์˜ ๋ช…๋ น์–ด ๊ธฐ๋ฐ˜(instruction-tuned) ๋ชจ๋ธ๋ณด๋‹ค ์ถ”๋ก  ํŠนํ™” ๋ชจ๋ธ์ด ๋ณต์žกํ•œ ๋ฌธ์ œ์—์„œ ๋” ๋†’์€ ์„ฑ๋Šฅ์„ ๋ณด์ด๋Š” ์ด์œ ๋ฅผ ๋ถ„์„ํ•œ ๋…ผ๋ฌธ โ€˜์ถ”๋ก  ๋ชจ๋ธ์€ โ€˜์‚ฌ๊ณ ์˜ ์‚ฌํšŒโ€™๋ฅผ ์ƒ์„ฑํ•œ๋‹ค(Models Generate Societies of Thought)โ€™๋ฅผ ์˜จ๋ผ์ธ ์•„์นด์ด๋ธŒ๋ฅผ ํ†ตํ•ด ๊ณต๊ฐœํ–ˆ๋‹ค.


๊ทธ๋™์•ˆ AI์˜ ์ถ”๋ก  ๋Šฅ๋ ฅ ํ–ฅ์ƒ์€ ์ฃผ๋กœ '์‚ฌ๊ณ  ์‚ฌ์Šฌ(CoT)'์„ ํ†ตํ•ด ๊ณ„์‚ฐ ๋‹จ๊ณ„๋ฅผ ๋Š˜๋ฆฐ ๊ฒฐ๊ณผ๋กœ ์—ฌ๊ฒจ์ ธ ์™”๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์—ฐ๊ตฌ์ง„์€ ์ด๋ฒˆ ๋…ผ๋ฌธ์—์„œ ์ตœ์‹  ์ถ”๋ก  ๋ชจ๋ธ๋“ค์ด ํ•˜๋‚˜์˜ ๋‹จ์ผํ•œ ์‚ฌ๊ณ  ํ๋ฆ„์ด ์•„๋‹ˆ๋ผ, ์„œ๋กœ ๋‹ค๋ฅธ ์„ฑ๊ฒฉ๊ณผ ์ „๋ฌธ์„ฑ์„ ์ง€๋‹Œ ์—ฌ๋Ÿฌ ์ธ์ง€์  ๊ด€์ ์ด ์ƒํ˜ธ์ž‘์šฉํ•˜๋Š” ๊ตฌ์กฐ๋ฅผ ํ˜•์„ฑํ•˜๊ณ  ์žˆ๋‹ค๊ณ  ๋ถ„์„ํ–ˆ๋‹ค.


์—ฌ๊ธฐ์— CoT์— ๋Œ€๋น„ํ•ด โ€˜์‚ฌ๊ณ ์˜ ์‚ฌํšŒ(SoT)โ€™๋ผ๋Š” ์ด๋ฆ„์„ ๋ถ™์˜€๋‹ค. ๋‹ค์–‘ํ•œ ๊ด€์ ์˜ ๋ถ„ํ™”์™€ ์ถฉ๋Œ, ํ† ๋ก ์„ ํ†ตํ•ด ํ•ด๋ฒ• ๊ณต๊ฐ„์„ ๋„“๊ฒŒ ํƒ์ƒ‰ํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜์ด๋ผ๋Š” ์„ค๋ช…์ด๋‹ค.


์—ฐ๊ตฌ์ง„์€ '๋”ฅ์‹œํฌ-R1' 'QwQ-32B' ๋“ฑ ๋Œ€ํ‘œ์ ์ธ ์˜คํ”ˆ ์†Œ์Šค ์ถ”๋ก  ๋ชจ๋ธ์„ ๋Œ€์ƒ์œผ๋กœ ์ถ”๋ก  ํ”์ (reasoning traces)์„ ์ •๋Ÿ‰ ๋ถ„์„ํ•œ ๊ฒฐ๊ณผ, ๊ฐ•ํ™” ํ•™์Šต(RL)์œผ๋กœ ํ›ˆ๋ จ๋œ ์ถ”๋ก  ๋ชจ๋ธ๋“ค์ด ์ผ๋ฐ˜์ ์ธ ๋ช…๋ น์–ด ๊ธฐ๋ฐ˜ ๋ชจ๋ธ๋ณด๋‹ค ํ›จ์”ฌ ๋” ๋‹ค์–‘ํ•œ ๊ด€์ ๊ณผ ์„ฑ๊ฒฉยท์ „๋ฌธ์„ฑ ๊ด€๋ จ ํŠน์ง•์„ ํ™œ์„ฑํ™”ํ•œ๋‹ค๋Š” ์‚ฌ์‹ค์„ ๋ฐœ๊ฒฌํ–ˆ๋‹ค.


์ด๋Ÿฐ ๋‹ค์ค‘ ๊ด€์  ๊ตฌ์กฐ๋Š” ๋ชจ๋ธ์˜ ํ–‰๋™์—์„œ๋„ ์‰ฝ๊ฒŒ ํ™•์ธ๋๋‹ค. ๋ชจ๋ธ์€ ์Šค์Šค๋กœ ์งˆ๋ฌธํ•˜๊ณ  ๋‹ตํ•˜๋ฉฐ ์ƒ๊ฐ์„ ์ด์–ด๊ฐ€๊ณ , ์ƒํ™ฉ์— ๋”ฐ๋ผ ๊ด€์ ์„ ๋ฐ”๊พธ๊ฑฐ๋‚˜ ์„œ๋กœ ๋‹ค๋ฅธ ํ•ด์„์„ ํ•˜๋‚˜๋กœ ์ •๋ฆฌํ–ˆ๋‹ค. ์ด ๊ณผ์ •์€ ๋งˆ์น˜ ์—ฌ๋Ÿฌ ์—์ด์ „ํŠธ๊ฐ€ ํ† ๋ก ํ•˜๋“ฏ ์˜๊ฒฌ์„ ์ฃผ๊ณ ๋ฐ›๋Š” ๋ชจ์Šต๊ณผ ๋น„์Šทํ–ˆ๋‹ค. ํŠนํžˆ ์—ญํ• ์ด ๋‚˜๋‰œ ์น˜์—ดํ•œ ๋…ผ์˜๊ฐ€ ์ด์–ด์ง€๋ฉด์„œ, ๋” ์ •ํ™•ํ•œ ๊ฒฐ๋ก ์— ๋„๋‹ฌํ•˜๋Š” ๋ฐ ํฐ ๋„์›€์ด ๋œ ๊ฒƒ์œผ๋กœ ๋ถ„์„๋๋‹ค.


์—ฐ๊ตฌ์— ๋”ฐ๋ฅด๋ฉด ์ถ”๋ก  ๋ชจ๋ธ์€ ์„œ๋กœ ๋‹ค๋ฅธ ์„ฑ๊ฒฉ๊ณผ ์ „๋ฌธ์„ฑ์„ ์ง€๋‹Œ ์—ฌ๋Ÿฌ โ€˜๊ฐ€์ƒ ์ธ๋ฌผโ€™์ด ๋‚ด๋ถ€์—์„œ ๋Œ€ํ™”ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ž‘๋™ํ•œ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ํ•œ ์ธ๋ฌผ์€ ๊ฐ€์„ค์— ์˜๋ฌธ์„ ์ œ๊ธฐํ•˜๋ฉฐ ๋น„ํŒํ•˜๊ณ , ๋‹ค๋ฅธ ์ธ๋ฌผ์€ ๋…ผ๋ฆฌ์ ์œผ๋กœ ์ด๋ฅผ ๊ฒ€ํ† ํ•ด ๋ณด์™„ํ•˜๊ฑฐ๋‚˜ ๋ฐ˜๋ฐ•ํ•œ๋‹ค. ์ด๋Ÿฐ ์‹์˜ ๋‚ด๋ถ€ ํ† ๋ก ์ด ์ด์–ด์ง€๋ฉด์„œ ์ƒ๊ฐ์ด ๋‹ค๋“ฌ์–ด์ง€๊ณ , ๊ทธ ๊ฒฐ๊ณผ ๋ณต์žกํ•œ ๋ฌธ์ œ์—์„œ๋„ ๋” ์ •ํ™•ํ•œ ๋‹ต์„ ๋‚ด๋ฆด ์ˆ˜ ์žˆ๋‹ค๋Š” ์„ค๋ช…์ด๋‹ค.


๋˜ ํฅ๋ฏธ๋กœ์šด ์ ์€, ์ด๋Ÿฐ ๋ชจ๋ธ๋“ค์ด ํŠน๋ณ„ํžˆ ์ง€์‹œ๋ฐ›์ง€ ์•Š์•„๋„ ์Šค์Šค๋กœ ์งˆ๋ฌธ์„ ๋˜์ง€๊ณ  ๋‹ตํ•˜๊ฑฐ๋‚˜, ์ƒ๊ฐ์˜ ๋ฐฉํ–ฅ์„ ๋ฐ”๊พธ๊ณ , ์ƒ๋ฐ˜๋œ ์˜๊ฒฌ์„ ์กฐ์ •ํ•˜๋Š” ๋ชจ์Šต์„ ๋ณด์˜€๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ์ด๋Š” ์‚ฌ๋žŒ๋ผ๋ฆฌ ํ† ๋ก ํ•˜๋Š” ์žฅ๋ฉด๊ณผ ๋น„์Šทํ•œ๋ฐ, ์ด๋Ÿฐ โ€˜๋‚ด๋ถ€ ๋Œ€ํ™”โ€™๊ฐ€ ๋งŽ์„์ˆ˜๋ก ์ถ”๋ก  ์ •ํ™•๋„๋„ ๋†’์•„์ง€๋Š” ๊ฒฝํ–ฅ์ด ํ™•์ธ๋๋‹ค.


์—ฐ๊ตฌ์ง„์€ RL ์‹คํ—˜๋„ ์ง„ํ–‰ํ–ˆ๋‹ค. ๋ชจ๋ธ์—๊ฒŒ โ€œ์ •๋‹ต์„ ์ž˜ ๋งžํžˆ๋ฉด ๋ณด์ƒํ•œ๋‹คโ€๋ผ๋Š” ๊ฐ„๋‹จํ•œ ๊ทœ์น™๋งŒ ์คฌ์ง€๋งŒ, ๋ชจ๋ธ์€ ์Šค์Šค๋กœ ์—ฌ๋Ÿฌ ๊ด€์ ์„ ์˜ค๊ฐ€๋Š” ๋Œ€ํ™”์‹ ์‚ฌ๊ณ ๋ฅผ ๋” ๋งŽ์ด ํ™œ์šฉํ•˜๋Š” ๋ชจ์Šต์„ ๋ณด์˜€๋‹ค. ์ด๋ ‡๊ฒŒ ํ•˜๋Š” ๊ฒƒ์ด ๊ฐ€์žฅ ๋ณด์ƒ์„ ๋งŽ์ด ๋ฐ›๋Š” ๊ฒƒ์ด๋ผ๋Š” ์ ์— ๋„๋‹ฌํ•œ ๊ฒƒ์œผ๋กœ ๋ณผ ์ˆ˜ ์žˆ๋‹ค.


์—ฌ๊ธฐ์— ์งˆ๋ฌธ๊ณผ ๋‹ต๋ณ€ ๊ฐ™์€ ๋Œ€ํ™” ๊ตฌ์กฐ๋ฅผ ๋ฐ˜์˜ํ•ด ์ถ”๊ฐ€๋กœ ํ•™์Šตํ•œ ๋ชจ๋ธ์€, ๊ทธ๋ ‡์ง€ ์•Š์€ ๋ชจ๋ธ๋ณด๋‹ค ์ถ”๋ก  ๋Šฅ๋ ฅ์ด ํ›จ์”ฌ ๋น ๋ฅด๊ฒŒ ํ–ฅ์ƒ๋œ ๊ฒƒ์œผ๋กœ ๋‚˜ํƒ€๋‚ฌ๋‹ค.


์—ฐ๊ตฌ์ง„์€ โ€œํšจ๊ณผ์ ์ธ ์ถ”๋ก ์€ ๊ณ„์‚ฐ๋Ÿ‰์˜ ๋ฌธ์ œ๊ฐ€ ์•„๋‹ˆ๋ผ, ์‚ฌ๊ณ ๋ฅผ ์–ด๋–ป๊ฒŒ ์กฐ์งํ•˜๋А๋ƒ์˜ ๋ฌธ์ œโ€๋ผ๋ฉฐ โ€œ์ด๋Ÿฌํ•œ ์‚ฌ๊ณ ์˜ ์‚ฌํšŒ ๊ตฌ์กฐ๋Š” ์ธ๊ฐ„ ์ง‘๋‹จ ์ง€์„ฑ์ด ๋‹ค์–‘ํ•œ ๊ด€์ ์„ ์ฒด๊ณ„์ ์œผ๋กœ ๊ฒฐํ•ฉํ•ด ๋” ๋‚˜์€ ๋ฌธ์ œ ํ•ด๊ฒฐ์„ ์ด๋ฃจ๋Š” ๋ฐฉ์‹๊ณผ ๊ณ„์‚ฐ์ ์œผ๋กœ ์œ ์‚ฌํ•˜๋‹คโ€๋ผ๊ณ  ์„ค๋ช…ํ–ˆ๋‹ค.


์ถœ์ฒ˜ : AIํƒ€์ž„์Šค(https://www.aitimes.com)