프리드먼 인터뷰도 보고 나름 다른 기사나 연구글도 보다보니 AGI가 쉬운 길은 아님


일단 지금 수준으로 GPT3 수준의 AI모델을 학습시키는 비용이 50억 수준인 것 같음


엔비디아의 새 시스템이 도입되면 30% 이상 감소한다니 2022년 기준 1000만 파라미터 학습하는데 비용이 20억 수준인 거 같음


그럼 대략적으로 100조 파라미터를 학습하는 비용은 100만배이니.. 2경원 그마저도 학습데이터나 알고리즘이 성숙하지 못해서 완벽한 AI도 아닐 것 같음


학습비용을 절감하는 방법은 머신도 중요하지만 알고리즘도 중요한 것 같음


학습비용을 크게 절감하는 방법으로 가장 확실한 방법이 기존 모델에 업데이트 하는 방식인 것 같음 그리고 이 방식으로 플라밍고가 적은 비용과 노력으로 개발된 것으로 인터뷰에 나와있음


이 방식이 성공하고 그리고 장기기억에 해결에 대한 번쩍이는 아이디어가 몇 개씩 나오는 수준인 거 같으니 이게 성공하면 AI도 기존 모델에 업데이트 하는 방식으로 스케일을 키울 수 있는 것 같음


그렇다면 단순히 처음부터 학습하는 것 보다 학습비용이 크게 절감될 수 있음


언어모델을 개발하고 거기에 그림, 동영상, 운동능력 같은 것을 추가로 넣어서 확장하는 방식이 이제 막 시작 되고 있음


가토의 경우는 처음부터 러닝하는 것이 아니라 이미 완성된 방식을 습득하는 방식으로 적은 파라미터로 좋은 효율을 내고 있음 즉 알파고 제로처럼 처음부터 배우는 게 아니라 학습할 때 이미 잘하고 있는 플레이를 가지고 결과만 습득하는 방식이 사용되어서 11만파라미터로 좋은 효율을 내고 있음.


물론 이 방식대로 하면 각각의 능력은 처음부터 배우는 전문 AI에 비하면 약하지만 결론적으로 좋은 학습 효율, 적당한 능력, 낮은 학습 비용을 달성해서 범용 AI에 다가갈 수 있음


최종적으로 AGI가 단순히 다양한 능력을 가진 AI라면 크게 먼 일이 아닌 것 같음


물론 이 방식으로는 문제해결을 위한 AI로 갈 수는 없음.


문제해결을 위한 AI로 가기 위해서는 다들 생각하는게 기존의 트랜스포머 모델로는 어렵다는 것에 동의하는 것 같음


언어모델이 뛰어나기는 하지만 이 것 만으로는 불충분하다는게 현재로서는 다수 의견인 거 같음


물론 스케일업이 되면 어떻게 될지 모르지만 지금으로서는 잘 정리하는 머신이지 잘 생각하는 머신은 아님.