[📪정보] 언어를 이해하는 것은 일반화를 이해하는 것입니다

[익명(125.191)]

https://evjang.com/2021/12/17/lang-generalization.html

구글연구원 일반화를 요청하십시오 후속편

요약언어 모델 은 NLP 작업으로 제한되는 경우에도 완벽 하지 않으며, 오늘날 ML을 완전히 해결할 준비가 되어 있다고 제안하려는 것은 아닙니다. 오히려 나는 언어 모델이 계속해서 더 좋아질 것이며 언어 능력이 향상되면 다른 비 NLP 영역에서 일반화가 더 잘 될 것이라고 낙관합니다.언어의 구조는 일반화의 구조이다.언어에 대한 형식 문법은 "의미론적 불확정성 원칙"에 위배되므로 언어 모델에 의존하여 언어(따라서 일반화 구조)를 표현해 보겠습니다.큰 언어 모델을 사용하여 NLP가 아닌 도메인에 대한 "일반화를 강조"해 보겠습니다. 일부 예비 증거( Universal Computation Engines 논문)는 이것이 작동할 수 있음을 시사합니다.내 친구 엘리야가 나를 그의 회사 알고리즘 세미나에 초대했고 나는 그곳에서 이 아이디어의 초기 초안을 공유했습니다. 다음은 YouTube에 있는 녹음입니다 .

https://youtu.be/NOZNzUGqaXw

Pretrained Transformers as Universal Computation Engines
https://arxiv.org/abs/2103.05247