AI 가 어떻게 기초적으로 가능한가? 에 대해서 게시글을 이어서 씀.
LLM 에 대해서는 기본적으로 Neural connection 에 대해서 인간의 인지자각의 행위와 다르게 인식을 구현하는 일에 대해서 Truth 를 Database 로 취급하는 것이 거의 맞다는 것에 대해서 주장을 함.
이에 대해서 좀더 설명을 부가하면 다음과 같음.
인간의 인식에 대해서 무엇이(Something) 무엇하다.(Concerned to something) 이라는 것에 대해서 Something_1 과 Something_2 사이의 Concerned 를 Correspond 로 취급을 할 수가 있는 것이 있음.
결과적으로는 무엇은 무엇이다. 라는 것에 대해서 Something_1 과 Something_2 에 대해 Result to(Something_1) = Something_2 라는 자각에 대해서 Something_X 에 대한 모든 X 에 대해서 Result to(X_1)=X_2 의 인자 X 에 대한 1,2,3, .... , N 에 대해서 N 까지의 Something_X 에 대한 Database 를 취하는 것이 그것임.
결과적으로 인간의 기본적이고 기초적인 인지자각의 행위에 대해서라기 보다는 이러한 Connection database 가 성립한다면 인간의 자각을 Computer 에 Machine-Learning 으로 Copy 시킬 수가 있게되고, 문제가 되는 부분은 이러한 Something_X 에 대한 Recursion 이 이루어져야 한다는 것임.
여기서 인간의 언어에 대한 특징을 사용할 수가 있음. 그러니까 Something_1 과 Something_2 등등에 대해서 Truth 기준이 아니라 Wording 을 기준으로 하는 것임.
Something_X 에 대해서 Something_X 에 대한 Recursion 이 가능하게 되는 성질이 있음. 왜냐하면 X 에 대해서 어떠한 무엇의 X 인가? 에 대한 Wording Chain 이 가능함. 그렇다면 여기에서 Wording Chain 에 대한 Graph Category 를 Noun(Something_X) 와 Something_X 에 대한 Identifier Wording 으로 Classification 이 가능하다는 것임.
물론 Noun 도 Identifier Wording 이 될 수가 있고 Wording Chain 에 대한 Recursion 이 Directional Graph structure 로 이루어짐.
그렇다면 LLM 은 쉬움.
이러한 Wording Chain 에 대해서 Noun 과 Noun 을 포함하는 Identifier Wording 이 이루는 Directional Graph relation 에 대해서 Something concerned to something 에 대해서 알고있는 대강의 모든 부류의 지식들을 "concerned to" 의 Wording 을 기준으로 Directional Graph relation Cluster(Something_X 뭉치) 에 대해서 무엇이 무엇하다. 라는 것에 대한 Directional Graph relation Cluster(DGC) 에 모든 Counter value 를 매겨놓음.
그러면 뒤에 가서는 무엇은 무엇이다. 라는 것에 대한 인식의 Output 을 내놓을 수가 있게 됨.
그렇다면 Result to(Something_X) >> Something_Y 라는 일에 대해서 DGC 로부터 Counter value order 에 맞춰서 Searching 이 가능하게 되는데 Something_X 에 대한 DGC 고유의 Counter value Sequence 를 Tracking 한 뒤에 그에 대한 Next Counter value Sequence 를 What is next? 에 대한 Counter value Sequence 를 얻어낼 수 있음.
결과적으로 LLM 은 DGC(Directional Graph relation Cluster) 에 대해서 Something concerned to something 에 대한 Word Sequence 의 DGC 에 대해서 인간의 Language 에 대한 결과표본으로 부터 Truth 에 대해 Word Sequence 에 대한 DGC 의 Counter value Sequence 에 대한 Logging Data table 이게 됨.
abcd3421
프롬프트
abcd9999
1234
무서워요
ㅎㅇ;;
3421
무슨말인지 잘 이해가 안되는데 부연설명좀 부탁함. 주장하는 바에 따라서 A는 B이다 라는 Truth data를 LLM에 학습시켰고, "Counter value order 에 맞춰서 Searching" 하는 작업을 한다고 가정해보겠음. 그렇다면 Truth data를 학습하지 못했고 간접적인 사실만을 알고있는 데이터에 대한 추론은 어떻게 할수있는것임? 예를 들면, A는 B이고, B는 C라는 사실이 있을 때 잘 학습된 LLM은 A는 C라는 것을 인지하고있지만, 님의 주장은 이부분이 설명되지 않는것같아서
뇌피셜이기는 한데, direction mapping
이 중첩되서 부가적으로 크게 지능이 상승하는 듯함
hallucination 포함. ㅇㅇ
이 부분에 대한 확실한 답을 알고싶다면 LM / LLM의 Pretrain stage 에 대해서 공부해보는걸 추천함. 지금 널리 알고있는 LLM 계열은 모두 Transformer의 Decoder를 사용해 만들어진 모델들인건 이미 알고있을거고, 이 Transformer 모델을 설계할 때 Pretraining 아이디어를 제공한게 ELMo 모델인데, 이 모델을 제안한 Deep Contextualized Word Representations 논문을 보면 확실히 알수있을거임. Pretrain Task에서 우리가 일반적으로 구할 수 있는 corpus 들을 어떻게 임베딩스페이스(매니폴드라고도 함) 에 맵핑하고, finetuning 에서 어떻게 활용하는지가 여기에 나와있음.
넿ㄹ;