모든 처음보는 문제를 유의미한 시간에 푸는건 특이점이라 한다면
현실적으로 가능할까?
룰 안에서 돌아가는 알파고보다 지수적으로, 그것도 천문학적 지수량을 가진 현실 문제에서
현존하는 또는 앞으로 개발된 학습 알고리즘에 부합되지 않고
브루트 포스로 때려박아야하는 현실문제도 있을텐데
무어의 법칙땜에 하드웨어 발전이 더딘건 제쳐두고, 양자컴푸팅이라도 개발되서 이론적으론 초당 무한대의 연산이 가능하다 치더라도
결국 전자든 양자든 연산으로 인한 상태변화로 생기는 발열이 진짜 말그대로 0이 되지 않는 한 하드웨어 병목땜에 무한대 자유도의 문제를 유의미한 시간에 풀 수 없다는 견해도 있는데
저게 가능하려면 열역학 2법칙 쌈싸먹어야 하잖아
인공지능은 이미 풀어본 문제랑 비슷한 문제를 잘 풀 수 있게 되는 것이라 생각하는뎅 - dc App
그런 특이점은 안 오더라도, 사람들이 자주 푸는 비슷한 문제를 잘 푸는 것만 실현되도 거의 모든 사람 백수만들기는 가능할 거라 생각함.. - dc App
요즘 논문을 거의 안읽어서 잘 몰루겠는데, 제가 배운 머신러닝의 대부분은 두 객체가 서로 닮았는지를 확인하려 애쓰는 일인 거 같았음 - dc App
알파고를 예로 들면, 지금 바둑판 모양과 비슷한 바둑판에서는 어떻게 뒀지?에 대한 결과를 기반으로 추론한다고 보시면 저거 전공자한테 욕은 많이 들어먹겠지만 틀리진 않은 얘기일 것 같음 - dc App
머신러닝은 지도학습, 비지도학습, 강화학습으로 나뉘어지는데 알파고는 강화학습으로 분류됩니다. 말씀하시는 두 객체가 닮았는지 확인하는건 비지도학습, 넓게 해석하면 지도학습 이야기 인것 같습니당. 알파고의 경우 초기 버전에서는 지도학습 테크닉을 많이 응용해서 여태까지 바둑기사들이 뒀던 기보를 적극 활용하여 학습하였지만, 이후 버전에서는 스스로 대국하는 셀프플레이를 통해 학습했고 오히려 기존 바둑기보를 사용하는 것이 bias로 이어져 성능을 저해한다는 결과를 도출해 내기도 했습니당
제가 석사를 강화학습으로 하고 있는데요...
임의의 두 state가 닮아 있으면 비슷한 reward를 준다는 가정 자체가, 두 state가 닮아있는지를 어떻게든 표현하는 방법을 배우겠다는 의미로 얘기했습니당
계속 알파고를 예로 들면, 바둑에서 관측할 수 있는 state는 사실상 무한에 가까우니까, 그 중 극히 일부 state만 관찰해서, 나머지 state를 기존의 state랑 "닮았다"고 가정을 하고 관측하지 않은 state에서의 reward를 계산해, 좋은 값을 예측하는걸 Policy라 생각할 수 있는데, 결국 또 닮은 객체 찾기 문제가 됩니당.
제가 말한 방식대로 이해하자면, 비지도학습은 그냥 객체만 주면 알아서 닮아버린 걸 묶어버리겠다가 기본적인 목표인 것 같구, 지도학습은 객체의 성질도 같이 줬을 때, 그 성질을 참고해서 비슷한 것을 찾겠다는 얘기인 것 같아요.
강화학습의 본질은 사실 저 닮음 찾기랑 별로 연관이 없지만, 관측할 수 없을 정도로 많은 state space가 존재하는 문제를 강화학습으로 푼다면 결국 저 닮음 찾기 문제를 풀어야 되는 건 맞아요.
암튼 꽃게님 얘기는 어떤 입력값을 주냐는 얘기를 한 것 같은데, 그 입력값에 따른 함수를 근사하는가에 대해서, 알파고는 기존 기보를 활용하는 걸 IPS 써서 Policy 함수를 기존 기보를 근사하도록 학습하는데, IPS는 지도학습이라고 하기는 좀 그런데 쉽게 설명할 방법이 없어서 걍 지도학습이라고 하는 것 같구여... self-play를 통한 학습에서는 결국 벨만방정식 내에 있는 Policy/Value 함수를 머 다른 방법으로 배우겠다는 건데...
암튼 그 함수를 근사하겠다는 가정 자체가, 닮음 찾기, 조금 더 정확히 얘기하면 어떤 manifold 상에서 두 객체의 거리가 가까우면, 이 함수에서도 거리가 가까울 것이라는 가정을 하고 있고, 이건 지도학습,강화학습 같은 거에 갈리는 것이 아니라 그냥 모든 통계적 기계학습 방식이 다 그런 가정을 하고 진행되서여 요즘...
지금 바둑판 모양과 비슷한 바둑판에서는 어떻게 뒀지?에 대한 결과를 기반으로 추론한다 <<< 글고 이게 self-play던 기보 따라하기던 틀린 말이 아닌데 왜 그런 말을 하시는지 도무지 이해가 안가요...
아 맞네요. 제가 막 일어나서 상태라 분류를 잘 못한것 같아요. 비지도학습과 지도학습이 좀 더 직접적으로 유도하기는하지만 강화학습에서 NN을 쓰는 것 자체가 State가 너무 많을 때 근사하기 위해서였으니까 암시적으로 결국 그렇게 되겠네요. 지도학습, 비지도학습, 강화학습 문제라기보다는 NN을 함수를 근사하는데 쓰는 순간 비슷한 상태를 이용한다고 봐야 하는데, 제가 갑자기 기보 생각이 나서 글로 빠진 것 같습니다 ㅋㅋ
그런데 임의의 두 state가 닮아 있으면 비슷한 reward를 준다는게 무슨 의미인가요?? IRL 같은 종류가 아니면 리워드는 주어지는 거고 state간의 닮음과는 상관이 없다고 생각 되는데요. 말꼬리를 잡는건 아니고 혹시 제가 잘 모르는건가 해서.. 알려주시면 감사하겠습니당
아.. 초기 알파고에서 기보 학습할 때를 얘기하는거군여
ㄴㄴ 그니깐, 말이 사실 반대로 됬는데, 현재 (게임이 디터미니스틱하다고 생각하면) 스테이트 s에서 s_1, s_2,..., s_n으로 이동할 수 있는데, Return(s_1)이랑 Return(s_2)랑 같으면, 모델이 보기엔 같은 거라고 생각할 수 있음. 그럼 |R(s_1) - R(s_2)|가 적으면 둘이 모델이 보기에는 닮았다고 생각해도 되지 않을까용...?
사람은 닮은 걸 전혀 느낄 수는 없겠지만, 사실 숨겨진 공간이 있고, 머신러닝 모델은 그러한 구조 내의 공간에 저 입력을 매핑해서, 사람이 보지 못하는 닮음을 보는 거라고 생각해여...
암튼 어떠한 방식으로 딥러닝 모델을 학습하던, 모델이 보기에 닮아있는 놈들은 닮아있게 표현하고자 하 (혹은 특정 거리공간 혹은 내적공간에 객체들을 표현하고자 하는) 시도를 하는 것 아닐까... 하는 생각을 하고 있는데, 이건 그냥 제 개인적인 의견입니당
아 리워드가 아니라 밸류를 말씀 하시는거죠?? 아니면 MDP를 가정하고 말하신거면 리워드도 맞겠네요. 그렇게 생각해보면 transition matrix가 존재하고 partially observable 하더라도 밸류값이 비슷하다는건 모델 입장에서 닮은 스테이트로 여긴다고 볼 수 있을 것 같네요.
감사합니당~
개인적으로 특이점은 AI 연구를 AI가 할 수 있게 될 때 오지 않을까 하는데... 아직까지는 현실적으로 느껴지지는 않네여
특이점 정의가 원래 저랬나? 지금 시점에서는 걍 NP문제 하나만 들고와도 힘든거 아님?
님이 말하시는건 특이점이 온 세계가 아니라 P=NP인 세계 같은데요
t가 유의미하다에서 유의미하는 특성이 불변특성 아닌데 어찌
t의 유의미성이 특정하게 주어지면 가능할듯 ㅋㅋㅋ
특이점이라는거 기술이 기술을 발전시키는게 가능해지는 순간 아니노? 아마 인공지능이 그 역할을 할 거라고 추측하는거고
애초에 시간이 무한이어도 컴퓨터로 못푸는 문제가 있는데
예를 들면 뭐가 있노
halting problem