1. 인공 신경망 사이즈

다들 알고 있겠지만 인공 신경망 사이즈를 키우면 성능이랑 연산량이랑 같이 올라감.

성능 올라가는거 좋지. 근데 사이즈 키울수록 계산 비용이 감당이 안될거라 딜레마인 상황임.

근데 아예 답이 없는 상황은 아님.


지식 증류라고 들어본 사람도 있을거임.

간단히 설명하자면 사이즈가 큰 모델을 기반으로 작은 모델을 학습시키면 비슷한 성능이 나옴.

한 마디로 '사이즈가 커지면 복잡한 패턴을 포착해서 성능이 더 좋다'라는 말이 틀린거임.

그냥 우리는 아직까지 적정 사이즈에서 성능을 뽑아낼 수 있도록 하는 방법을 모를 뿐인거지.

아마 지금도, 그리고 근시일내에 여기에 대한 연구가 활발하게 많이 이루어질거임.


작은 사이즈에서 좋은 성능을 뽑아내는 방법론이 오픈되면 또 다른 도약의 시기가 올 것임.




2. Time dependent model

지금은 인공 신경망이 한 번 훈련되면 더 이상 가중치가 변하지 않음.

이런 인공지능에는 한계가 있음. 바로 스스로 발전하는게 매우 어렵다는 것임.

스스로 발전하려면 (스스로가) 질문을 던지고, 실험하고, 실험 결과를 정리하고, 앞으로 쭉 나아가야 함.

지금 수준에서 인공이 이런 일을 스스로 할 수 있는 방법은 

스스로가 스스로에게 prompt를 주는 방법밖에 없음.

근데 액션이 많아져서 prompt가 길어질수록 오래된 내용은 까먹고, 스스로가 prompt에 오염됨.

prompt가 길어질수록 계산 비용이 커지는 것도 문제임.


AGI, ASI를 달성하기 쉬운 방법은 바로 기억하는 능력을 가지는 것임. (대부분의 생명체처럼)

그러면 prompt가 길어졌다고 연산 능력이 더 필요할 일도 없고, 

자극, 혹은 경험에 따라서 모델의 일부분이 계속 바뀔테니 다양성도 증대됨.

(AI 10,000대를 풀어놓으면 각기 다른 방향으로 모델이 발전해나갈것임)


이 부분에 대한 연구도 아마 나중에는 활발히 진행될걸로 생각함.