1. 현재 방식으로는 발전에 금방 한계가 걸릴 것임. 특이한 함수를 만들고 그걸 돌렸을 때 좋은 결과가 나온다 정도.


2. 최소한, AI의 혁신이 있기 위해서는 가중치 학습에 추가로 모델이 스스로 더 좋은 신경 망을 판단하여 구성할 수 있어야 함. 시간이 지나면 모델을 고도화하여 주어진 데이터셋에서 최고의 성능을 낼 수 있는 방법을 찾아야 함. 적어도 이게 되어야지 앞으로 발전이 가능함.


3. 어차피 세상의 모든 정보를 학습 대상으로 삼아도 현재 데이터는 턱없이 부족함. 영상, 사진, 음성같은 데이터를 빼고 말뭉치만 따질 때, 작은 서버에 모든 데이터를 저장 가능할 정도임. 현 gpt도 전세계에서 많은 글을 학습했지만 겨우 수TB밖에 안됨. 즉, 인간의 고수준 창작 활동이 수백배 증가해야지만 모델이 지속적으로 발전 가능함 이게 안된다면 더 발전된 모델이 나오는데 한계가 존재함.


4. 실제로 이제 더이상 성능을 높이는데 한계가 찾아오고 있음. 접근하는 것도 많은 분야에 딥러닝/머신러닝 기법을 적용하여 기존 보다 더 나은 결과를 낸다가 대부분인데 이런식의 이야기는 고수준의 인공지능을 만들었다는 내용과 별개의 이야기임. 단지, 새로운 기법으로 기존보다 효율적인 접근을 하게 된 것임


5. 최종적으로 강인공지능이 개발되어야 하는데, 지금 이건 전세계 학자들이 감도 잡지 못하고 있음. 지금의 모든 방식은 f(x)=y인 함수를 만들고, 거기에 맞는 파라메터를 학습하는 식인데 이 방식이 아니라 아예 새로운 방식이 개발되어야 함. 근데, 이건 평생 안될수도 당장 내일 될 수도 있음. 강인공지능을 개발하는 측면에서 보면 아직 아무것도 개발된것이 없는 것임.