https://www.tensorflow.org/tutorials/reinforcement_learning/actor_critic
Playing CartPole with the Actor-Critic method ย |ย TensorFlow CorePlaying CartPole with the Actor-Critic method ย |ย TensorFlow Corewww.tensorflow.org
์ ๋งํฌ์์ ๊ฐํํ์ต ์์ ์ฝ๋ ๊ณต๋ถ์ค์
๋ฐธ๋ฅ ๋คํธ์ํฌ๋ ์ ์ฑ ๋คํธ์ํฌ ์์ค๊ฐ์ด๋ย ๊ฒฝ์ฌ ๊ณ์ฐย ๊ฐ์ ํ๋ผ๋ฏธํฐ ์กฐ์ ์ย ์ง์ ์ฝ๋ํ์ค์ฉ ๋ค ์์ฑํด์ ๊ตฌํํ๋๋ฐ
๊ทธ๋ฅ fit ํจ์ ๋ง ๋๋ฆฌ๋ฉด ์๋จ?
์์ค ํจ์๋ ๊ทธ๋ฅ mse๋ ํฌ๋ก์ค ์ํธ๋กํผ ์ฐ๊ณ ์๊ณ
gradient ๋ถ๋ถ๋ ํน๋ณํ์ ์ ๋ชจ๋ฅด๊ฒ ๋ค
์ ๋ ๊ฒํด์ผย ํ๋ํ๋ฒ ํ ๋๋ง๋ค ํ๋ผ๋ฏธํฐ ์์ ์ด ๊ฐ๋ฅํ๊ฑด๊ฐ?
์ฌ๊ธด ๋ฅ๋ฌ๋ ๊ฐค๋ฌ๋ฆฌ๊ฐ ์๋๊ณ ๊ฒ์ ์์ง ์ฌ์ฉ์ ๊ฐค๋ฌ๋ฆฌ์. ๊ฐค ์๋ชป ์ฐพ์์์ผ๋ ๋์๊ฐ
๊ฑฐ๊ธฐ ์ ์ ์ด์๋ ๊ทธ๋ฆฌ๊ณ ๊ฒ๊ฐ๋ฐ์ ์ธ๊ฑฐ์ผ
๋ค๊ฐ ๋ณด๋ ๊ทธ ๋ฌธ์๋ ์ฑ ์ ์์ฃผ ์์ธํ ์ค๋ช ๋์ด ์๋๋ฐ ์ ์ฌ๊ธฐ์ ๋ฌผ์ด๋ณด๋๊ฑธ๊น ํ๋ ์๋ฌธ์ด ๋ค ๋ฟ์. ์๋ฌดํผ ์ฌ๊ธด ๊ฐํํ์ต์ ๋ค๋ฃจ๋ ๊ฐค ์๋ ๊ทธ๋ฆฌ๊ณ ์ด๊ฐค์ ๊ฐํํ์ต ๋ก๋ฐฅ ์๋ชป ๊บผ๋ด์ ๋ถํ๋ฉด ์ฐจ๋จ๋ ๋นํ ์ ์์ด
์ด์ ๋ ์ง๋ฌธ์ ์๊ด์์ง ์๋ ๋ฐ์ ํ๋ ์ ๋ค์ด ๋ฌธ์ ์ง ๋ค๋ง ์ฌ๊ธฐ์ ์ ์๋ ์ฌ๋์ด ์์์ง๋ ๋ชจ๋ฅด๊ฒ ์ ์๋ค๋ฉด ํตํผ๋ก ๋ตํด์ค ๋ฏ
๋จธ์ ๋ฐ๋๋ ๋๋ฆ ์ ๋ฌธ๋ถ์ผ์ธ๋ฐ ์ธ๋๊ฒ์์ ๊ฐ๋ฐํ๋ฉด์ ์์ ๋ด์ฉ์ ๊น์ด ์๋ ์ฌ๋์ด ์์๊น ํ๋ค? ์ด๋ฐ AI๊ฐ ์๋๋ฐ ๊ฒ์ ์ ์ํ ๋ ์ฐ๋ฉด ์ด๋ป๊ฒ ์ข๋ค๋ ์์ ๋ด์ฉ์ด ๋ ์ข์ง ์์๊น ํ๋ค.
๋ฅ๋ฌ๋์ผ๋ก ๊ฒ์๊ฐ๋ฐํ๋ค ํน - ๋ธ๋ก์ปคํํ ์ง์์ฌ์ ํธ๋ฆฌ๊ฑฐ๋ ๋ฌป์ง๋ง ์นผ๋ถ๋ฆผํจ
๊ฒ์์ ๋ญ rnn์ ์ฐ๊ณ ์๋
๊ฐํํ์ต์ด๋ ๊ทธ๋ฅ ์ผ๋ฐ ๋ฆฌ๊ทธ๋ ์ ํด๋์ํผ์ผ์ด์ ์ด๋ ๋ง์ด ๋ฌ๋ผ