뭐 응용통계학 아니냐하면 엄밀히 말해 틀린말은 아닌데, 그렇다고 컴퓨터공학이 그저 응용전자공학인건 아니잖아. 난 주로 강화학습쪽 건드려서 그쪽에 지식이 편향되긴 했지만 거기 되게 신박한거 많음.


우선 다들 아는 알파고. 알파고 논문이 아키텍쳐 세부사항까지 모조리 다 적어서 무료로 공개되어 있는데 그거 보면 진짜 딥마인드 애들의 천재성이 엿보인다. 기본 개념은 간단함. 데이터를 통해 행동정책을 학습하고 그렇게 학습한 행동정책을 이용해 더 높은 수준이 보장되어 있는 데이터를 자체생성하여 다시 더 나은 행동정책을 학습하는 것. 근데 이게 말이 쉽지 뭔 부두술도 아니고 실제로 저럴 수 있는 알고리즘 짜는게 보통 일 아닌데 얘네는 그걸 개척해낸거지. 걔네는 그걸 이 발상의 전환으로 해냈는데, 행동정책을 이용해 직접적으로 내릴 행동을 선택하게 하는 대신 몬테카를로 트리 서치를 메인으로 삼아 행동정책이 그 트리 서치를 '가이드'하게 만듬. ㄹㅇ 천재적임.


최근 몇년간에는 '목표'라는 개념을 강화학습 행동자의 훈련에 포함시키기도 하고 있음. 전통적인 강화학습 행동자는 결국 주어진 환경에서 보상의 최대화가 가능한 행동정책의 학습을 통해 돌아가는데 이놈은 그게 아니라 현 상태에서 주어진 목표에 도달하는데 가장 효과적인 행동정책을 학습함. 강화학습 행동자는 세상을 관찰하고 그로부터 상태벡터를 얻어내는데, 행동자의 행동은 현 상태벡터에서 모종의 다른 상태벡터로 넘어가는거라 볼 수도 있음. 여기서 목표는 그냥 상태벡터이고.


근데 이 정도로 끝나면 신박하다 말하기 어렵지. 진짜 신박한건 연구자들이 이 아이디어를 얼마나 한계까지 밀어붙이는가에서 보임. 어떤 연구자들은 VAE라는걸 이용해서(이 VAE도 되게 신박한 놈이니 관심가면 검색 ㄱㄱ) 목표가 주어지고나면 현 상태와 목표 사이에 '부수적 목표'를 자동으로 형성해 그 부수적 목표들을 순차적으로 쫓아가게 만들기도 함. 이게 뭔 말이냐면, 메인퀘스트 하나 주어지면 알아서 서브퀘스트 자동으로 형성하고 하나하나 처리하면서 메인퀘스트 달성을 향해 나아간다는 뜻임. 이 외에도 뭔가 더 많았는데 좀 까먹었다.


여하튼, 기계학습에 천재랑 굇수들 많다. 함부로 무시 ㄴㄴ