패턴 매칭으로 풀리지 않는 문제는 현재 딥러닝 최신 기술로 풀 수 없다.


뭐.. 이미지던 자연어처리던


결국 현재 State of the art는 패턴놀이다.


이미지에 많이 쓰이는 yolo, resnet 등 (심지어 nasnet 조차)


언어처리에 많이 쓰이는 bert, xlnet 이든


핵심은 패턴에 정보가 있다는 것을 기반으로 설계되어있다.

(예를 들어 컨볼루션의 경우 sampling window를 통한 패턴의 제약이고, bert의 경우 다대다 패턴매칭이다.)


근데 패턴 매칭으로 힘든 응용의 경우 아직 딥러닝러닝이 잘 못한다.

대표적인 예가 Q&A이다.


학습 시, "1983년에 앤이 태어났다." 라고 하고 앤은 언제 태어났니? 라고 하면 1983년 이라는 단어가 상관성이 제일 높게 나오기 때문에

답은 1983년으로 나오는데


예를 들어, "1983년에 앤이 태어났는데, 1년 뒤 전쟁이 발발했다. 전쟁 발발 2년전에는 톰이 태어났다." 라고 하고 탐은 언제 태어났니?라고 하면

이건 절대 100% 모든 딥러닝이 못푸는 문제다.


답이 패턴으로 나오지 않고, 숨겨진 내부 연결 관계를 갖기 때문이다.


결국, 아직까지는 패턴을 잘 찾아내는 DB 서칭이다.


(참고로 패턴 그 이상은 fully connected layer를 존나 많이 쓰는건데, 이런 방법은 100% overfit 남.. 이 때문에 fc를 제한적으로 쓰는거고..

사실 fc이 패턴 그 이상을 찾아주는지는 모르겠지만..)