논의해도 된다고 생각해서 아직은 시기가 적절하지 않은 거같음
딥마인드의 ‘경험의 시대’도 그렇고 oai도 RL에 들이는 컴퓨팅을 사전훈련보다 더 크게 키우는 ‘체리 모양 케이크’의 시대를 예견 했잖슴
그리고 subquadratic 아키텍처 개발하는 사람 강연 들어봤었는데 훈련 때 컨텍스트 렝스가 지금처럼 한정되어 있는게 말도 안되는 수준으로 모델의 잠재력을 활용 못하는 거라던데 물론 아키텍처 혁신이 있어야 하겠지만… 암튼 회의론자들도 좀 기다려보고 ai한계론을 주장해야한다고 생각함
강화학습에 컴퓨팅을 극한으로 늘렸는데 망했으면 그때가서 까면 될듯