LLM의 이론적 토대인 언어를 N-GRAM을 이용하여 마르코프체인으로 예측하는 아이디어를 수학적으로 기술한 선구자는 클로드 섀넌


섀넌의 확률적 앵무새론에 회의적인 촘스키좌 생성문법과 정규언어 만듬

언어학이랑 섀논이랑 별 관련 없는데 집요하게도 논문의 첫서두는 섀논은 틀렸다가 고정임


그리고 소름돋게도 finite language 논문에 있는 그 내용 그대로 컴파일러 책에 나옴 Language L과 그래머 G  알파벳 A과

어떻게 정규언어를 해석하는지 표로 써있다는거임...


결론은 언어학 초창기 열었다는 양반이

몇십년전에 하던 섀논은 틀렸어 하던걸

그대로 이어서 LLM 까는거 보면 ㄹㅇ 뭔가 싶다