AGI 정도의 추론 깊이면 지금의 token 예측 모델로는 어림도 없음
CoT같은 여러 프롬프팅 기법/Agent 논문들은 공통적으로 사고와 추론의 단위인, '개념'을 텍스트로 매개하는데
결국 각 개념과 정의를 텍스트로 일일이 명세하는 건 비용 효율성이 너무 낮아지고, 포착할 특징이 더 늘어난다는 점에서 학습 난이도는 계속 올라감
그 점에서 AGI를 구현하는 모델은 기존의 token보다 한층 더 추상화된 레벨에서 정보를 구성할 수 있어야 함
이번에 발표된 titan도 결국 그런 과정의 일환이라고 볼 수 있고
르-멘
그럼 그걸 개발할 인간이 텍스트보다 더 세분화된 언어개념 코퍼스를 만들어야되는데 방법이 있냐
어노테이션에서 해법을 찾는 시대는 끝났음. 기존 패턴 인식 패러다임을 따라야지. 결국 메타러닝 측면에서 기존 llm의 성과를 활용하는 방향으로 진행돼야 할 거임. 일단 지금의 순수 텍스트 기반 추론으로는 한계가 매우 명확함
언어가 비전처럼 몇개 결합으로 되는 간단한 구조가 아니라 그게 될건가 싶긴 하지만..
사실 뭐 딱히 메타러닝만 콕 찝는 건 아니고..다만, 르쿤옹이 말했던 것처럼 SSL-representation 러닝쪽으로 답이 있지 않을까 싶음. 근데 뭐 내가 생각하는 게 다 맞으면 난 oai에 있었겠지..
뭐 구글은 싸지른 논문이 너무 많아서 저게 얼마나 효과적일지는 제미나이가 입증해야지
난 메모리도 결국 OAI가 개척할거 같다고 생각함 이쯤 지켜봤으면 됬음 이미 견적이 나옴, 분야나 장르가 완전히 혁명적으로 바뀌지 않는이상은 이 우위를 뒤집을 방도가 유사짱개들한테는 없음
맘바 때도 그랬지만, 포스트-트랜스포머에 대한 학계나 언론의 설레발은 항상 걸러들을 필요가 있는 것 같음