1ebec223e0dc2bae61ab9de7468377704f2ea5f276916606c764fcdc84699c5c16461ce68d5d89ea91ceeed2f6a1a38e94


https://arxiv.org/pdf/2212.01354.pdf


https://www.verses.ai/research-development

Research and Development | VERSESVERSES is a cognitive computing company building next-generation intelligent systems modeled after the Wisdom and Genius of Nature.www.verses.ai
VERSES AI์˜ ํ•ต์‹ฌ: ๋Šฅ๋™์  ์ถ”๋ก 
์šฐ๋ฆฌ๋Š” ์ •๋ณด ๋ฌผ๋ฆฌํ•™์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์ง€๋Šฅ์„ ๋ชจ๋ธ๋งํ•˜๋Š” ์ ‘๊ทผ ๋ฐฉ์‹์ธ ๋Šฅ๋™ ์ถ”๋ก ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ด ๊ฐ€์„ค์„ ์กฐ์‚ฌํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.ย ย ๋Šฅ๋™ ์ถ”๋ก ์„ ํ†ตํ•ด ์šฐ๋ฆฌ๋Š” ๋“ค์–ด์˜ค๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ฒฐ์ •์„ ๋‚ด๋ฆฌ๊ณ  ์‹ค์‹œ๊ฐ„ ์กฐ์น˜๋ฅผ ์ทจํ•  ์ˆ˜ ์žˆ๋Š” ์†Œํ”„ํŠธ์›จ์–ด ํ”„๋กœ๊ทธ๋žจ์ด๋‚˜ ์—์ด์ „ํŠธ๋ฅผ ์„ค๊ณ„ํ•˜๊ณ  ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.ย ย ์ด๋Ÿฌํ•œ ์—์ด์ „ํŠธ๋Š” ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›์„ ๋•Œ ์‹ค์‹œ๊ฐ„์œผ๋กœ ์ž์‹ ์˜ ์‹ ๋…์„ ์—…๋ฐ์ดํŠธํ•˜๊ณ , ์„ธ์ƒ์— ๋Œ€ํ•œ ์ดํ•ด๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๋ฏธ๋ฆฌ ๊ณ„ํšํ•˜๊ณ  ๊ทธ ์•ˆ์—์„œ ์ ์ ˆํ•˜๊ฒŒ ํ–‰๋™ํ•ฉ๋‹ˆ๋‹ค.

์šฐ๋ฆฌ์˜ ์ ‘๊ทผ ๋ฐฉ์‹์€ ์—์ด์ „ํŠธ์˜ ์‹ ๋…์— ๋Œ€ํ•œ ๋ช…์‹œ์ ์ธ ์ ‘๊ทผ์„ ํ—ˆ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ฆ‰, ์—์ด์ „ํŠธ๊ฐ€ ์„ธ์ƒ์— ๋Œ€ํ•ด ๋ฏฟ๋Š” ๊ฒƒ๊ณผ ์ƒˆ๋กœ์šด ์ •๋ณด์— ๋น„์ถ”์–ด ์—์ด์ „ํŠธ์˜ ์‹ ๋…์ด ์–ด๋–ป๊ฒŒ ๋ณ€ํ•˜๋Š”์ง€ ๋ฐœ๊ฒฌํ•˜๊ธฐ ์œ„ํ•œ ์ผ๋ จ์˜ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.ย ย ์šฐ๋ฆฌ์˜ ๋ชจ๋ธ์€ ๊ทผ๋ณธ์ ์œผ๋กœ ๋ฒ ์ด์ง€์•ˆ์ด๋ฏ€๋กœ ์•ˆ์ „ํ•˜๊ณ  ์•ˆ์ •์ ์ธ ํ™˜๊ฒฝ์„ ์œ ์ง€ํ•˜๊ธฐ ์œ„ํ•ด ์ตœ์ ์˜ ์—์ด์ „ํŠธ๊ฐ€ ๋ฌด์—‡์„ ๋ฏฟ์–ด์•ผ ํ•˜๋Š”์ง€, ์–ด๋–ป๊ฒŒ ํ–‰๋™ํ•ด์•ผ ํ•˜๋Š”์ง€ ์•Œ๋ ค์ค๋‹ˆ๋‹ค.

์ •๋ ฌ ๋‹ฌ์„ฑ๊ณผ ๋ณด์ƒ ๊ทน๋Œ€ํ™”: ํ•ญ์ƒ์„ฑ ๋ชฉํ‘œ
๋Šฅ๋™ ์ถ”๋ก ์€ ๋ฌผ๋ฆฌํ•™ ๋ฐ ์ •๋ณด ์ด๋ก ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ๋ชฉ์  ํ•จ์ˆ˜ ์„ ํƒ์„ ์œ„ํ•œ ๋ฐฉ๋ฒ•์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.ย ย ๋Šฅ๋™ ์ถ”๋ก  ์—์ด์ „ํŠธ๋Š” ๋‹จ์ˆœํžˆ ๋ณด์ƒ ๊ธฐ๋Šฅ์„ ์ตœ๋Œ€ํ™”ํ•˜๋Š” ๊ฒƒ๋งŒ์„ ์ถ”๊ตฌํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.ย ย ๋Œ€์‹  Active Inference๋Š” ์ž๋™์œผ๋กœ ํƒ์ƒ‰๊ณผ ํ™œ์šฉ์˜ ๊ท ํ˜•์„ ์œ ์ง€ํ•˜์—ฌ ํ˜ธ๊ธฐ์‹ฌ์ด ๋งŽ๊ณ  ์ •๋ณด๋ฅผ ์ฐพ๋Š” ์—์ด์ „ํŠธ๋ฅผ ์„ค๊ณ„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.ย ย ๊ฒฐ์ •์ ์œผ๋กœ Active Inference๋Š” ์ •๋ณด๋ฅผ ๊ณต์œ ํ•˜๊ณ  ํ•จ๊ป˜ ์ž‘๋™ํ•˜์—ฌ ์ง€์† ๊ฐ€๋Šฅํ•œ ์ƒํƒœ๊ณ„๋ฅผ ๋งŒ๋“œ๋Š” ๋‹ค์ค‘ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ์œผ๋กœ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ํ™•์žฅ๋ฉ๋‹ˆ๋‹ค.ย ย ์ด๋Š” ๋ณธ์งˆ์ ์œผ๋กœ ๋ณด๋‹ค ์•ˆ์ „ํ•œ ์ƒํ˜ธ ์ž‘์šฉ์„ ์ด‰์ง„ํ•ฉ๋‹ˆ๋‹ค. ์—์ด์ „ํŠธ๋Š” ์„œ๋กœ๋ฅผ ์ดํ•ดํ•˜๊ณ  ๋ชจ๋ธ๋งํ•˜๋ฉฐ ์ฃผ๋ณ€ ์—”ํ„ฐํ‹ฐ์™€ ์‹๋ณ„ํ•˜์—ฌ ์ง‘๋‹จ ์ง€๋Šฅ์„ ํ˜•์„ฑํ•ฉ๋‹ˆ๋‹ค.


๋ฒ ์ด์ง€์•ˆ AI์˜ ๋‹ค๋ฃจ๊ธฐ ์‰ฌ์šด ๋ฌธ์ œ ํ•ด๊ฒฐ
๋Œ€๋ถ€๋ถ„์˜ ์ตœ์ฒจ๋‹จ ๊ธฐ๊ณ„ ํ•™์Šต ์—ฐ๊ตฌ์˜ ํ˜„์žฌ ์ƒ๊ฐ์€ ๊ธฐ๊ณ„ ์ง€๋Šฅ์— ๋Œ€ํ•œ ์ˆœ์ „ํžˆ ๋ฒ ์ด์ง€์•ˆ ์ ‘๊ทผ ๋ฐฉ์‹์ด ์ด๋ก ์ ์œผ๋กœ๋Š” ์ตœ์„ ์˜ ์ ‘๊ทผ ๋ฐฉ์‹์œผ๋กœ ๋„๋ฆฌ ๋ฐ›์•„๋“ค์—ฌ์ง€์ง€๋งŒ ๊ณ„์‚ฐ ๋ณต์žก์„ฑ์œผ๋กœ ์ธํ•ด ํ™•์žฅ๋  ์ˆ˜ ์—†๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.ย ย ์ด๋Ÿฌํ•œ ๋ฏฟ์Œ์€ ์ •๊ตํ•œ ๋ฒ ์ด์ง€์•ˆ ๋ชจ๋ธ์ด ํ˜„๋Œ€์˜ ๊นŠ์€ ๋ฏฟ์Œ ๋„คํŠธ์›Œํฌ์˜ ๊ตฌ์กฐ๋ฅผ ๋ชจ๋ฐฉํ•˜๊ณ  ํ•™์Šต์„ ์œ„ํ•ด ์‹œ๊ฐ„๊ณผ ์—๋„ˆ์ง€๋ฅผ ์†Œ๋ชจํ•˜๋Š” ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ• ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•์„ ์‚ฌ์šฉํ•ด์•ผ ํ•œ๋‹ค๋Š” ์•”๋ฌต์ ์ธ ๊ฐ€์ •์— ๊ธฐ์ดˆํ•ฉ๋‹ˆ๋‹ค.ย ย ์šฐ๋ฆฌ๋Š” ๋น ๋ฅด๊ณ  ๊ฒฝ์‚ฌ ์—†๋Š” ํ•™์Šต์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๋Š” ์‹ ๊ฒฝ๋ง ์•„ํ‚คํ…์ฒ˜์— ๋ณด๋‹ค ๋‡Œ์™€ ์œ ์‚ฌํ•œ ๋ชจ๋“ˆ์‹ ์ ‘๊ทผ ๋ฐฉ์‹์„ ์ฑ„ํƒํ•˜์—ฌ ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ๊ทน๋ณตํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๊ฒƒ์ด ์šฐ๋ฆฌ์˜ ํ•ต์‹ฌ ์—ฐ๊ตฌ ๋ถ„์•ผ ์ค‘ ํ•˜๋‚˜๋กœ ๋ถ€์ƒํ–ˆ์Šต๋‹ˆ๋‹ค.ย ย ์šฐ๋ฆฌ๋Š” autograd๊ฐ€ ๋”ฅ ๋Ÿฌ๋‹์„ ์œ„ํ•ด ํ–ˆ๋˜ ๊ฒƒ์ฒ˜๋Ÿผ ๋ฒ ์ด์ง€์•ˆ ๊ธฐ๊ณ„ ์ง€๋Šฅ์—๋„ ๋„์›€์ด ๋  ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€ํ•˜๋Š” ์—…๊ณ„์— ์ตœ์ ํ™”๋˜๊ณ  ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ์ƒˆ๋กœ์šด ๋ฒ ์ด์ง€์•ˆ ์ถ”๋ก  ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ฐœ๋ฐœํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์šฐ๋ฆฌ์˜ ์ดˆ๊ธฐ ๊ฒฐ๊ณผ๋Š” ์œ ๋งํ•˜๋ฉฐ ๋” ๋„“์€ ๊ธฐ๊ณ„ ํ•™์Šต ์ปค๋ฎค๋‹ˆํ‹ฐ์— ์šฐ๋ฆฌ์˜ ๊ธฐ์ˆ ์„ ์„ ๋ณด์ด๊ธฐ ์œ„ํ•ด Atari 100k ๋ฒค์น˜๋งˆํฌ ์ฑŒ๋ฆฐ์ง€์™€ ๊ฐ™์€ ๋ฒค์น˜๋งˆํฌ์—์„œ ์ตœ์ฒจ๋‹จ AI์— ๋Œ€ํ•œ ์šฐ๋ฆฌ์˜ ๊ธฐ์ˆ ์„ ์‹œ์—ฐํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.ย ย ์šฐ๋ฆฌ๋Š” ์ด ๊ธฐ์ˆ ์„ ๊ณ„์† ๊ฐœ๋ฐœํ•˜๋ฉด์„œ ์šฐ๋ฆฌ์˜ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๋™๋ฃŒ ๊ฒ€ํ†  ์ €๋„๊ณผ ์ปจํผ๋Ÿฐ์Šค๋ฅผ ํ†ตํ•ด ์ „ํŒŒํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.ย ย ๊ณ„์† ์ง€์ผœ๋ด ์ฃผ์‹œ๊ธฐ ๋ฐ”๋ž๋‹ˆ๋‹ค.