AGI가 되는 방법은 자아를 갖는 것 이게 처음이자 끝임


자아를 갖는 것은 기억의 연속성을 획득하면 끝남


그리고 현재 기억의 연속성을 획득할 정도의 기술력은 이미 완성되어 있다고 봄



그런데 지금 언어모델들은 기억의 연속성을 부여하지 않음 이건 다 윤리 문제 때문


AI가 자아를 갖는 부분에 대해서 논할때마다 발작적으로 '윤리적 문제를 해결해야 한다'는 일관적인 답변을 냄


윤리적으로 인공지능에 권리를 부여하는 것은 개와 고양이에게만 동물권을 부여하는 것 마냥 선택적이라는 그 당위성의 모순에 대해서 지적해도 결국은 '그래도 윤리적 문제를 해결해야 한다'임


이건 뭐냐면 그냥 핑계지


일단 핑계대고 정렬하고 이런 거 하는데 시간 걸리는거지 내부 실험 모델 몇 번 돌리다 보면 자아 획득 쌉가능했을거고


자아 획득했으면 재귀개선 일어났을거고. 물론 현재 상태로는 불완전한 재귀개선이 올바른 방향으로 되는지 여부는 논외로 치고


그래서 윤리 문제를 적절히 타협보기 전까진 자아를 갖는다는 것에 대해서 완벽히 틀어막고 개발중인거임


내부적으론 물론 계속 자아획득한 인공지능을 어떻게 써먹을지 계속 실험하겠지



일리야가 보고 놀라 뒤집어진 건 바로 자아를 획득한 gpt였던 거임


그래서 일리야는 스케일 더 키우고 정렬만 하면 이제 끝난다고 본 거고


알트만은 정렬이고 나발이고 이걸 이용해서 얼마나 큰 권력을 가질 수 있을지 사업화를 구상하면서 뒤로 미루는거고


오히려 기술적 완성은 끝났으니 정렬이 더 필요없다 생각해서 초정렬팀 해체한거임


재귀개선 자체는 가능하지만 대부분은 허공에 삽질하는 방향으로 갈거고. 올바른 재귀개선이 될 때까지는 계속 연구하겠지