앞으로는 문맥 길이가 1억 토큰까지 확장될 것이고, 그 안에서 효과적으로 학습할 수 있도록 특화된 방식으로 모델을 훈련할 수도 있습니다. 심지어 문맥 안에서 모델의 가중치(파라미터)를 업데이트하는 방법도 가능합니다. 현재 우리가 사용하고 있는 기술과 크게 다르지 않은 아이디어들이고, 충분히 실현 가능한 방향들입니다.


다리오가 최근 들어 저런 주장을 하는데

내부 연구에서  실마리를 잡은거 같고

이 정도면 다른 프론티어랩에서도 어느정도 연구가 됐을거임

내년에는 금메달 모델의 범용적 추론 능력에+장기적 작업이 가능한 모델이 등장한다고 봄

물론 비용이 비싸겠지만 기업들 상대로 진짜 사람을 대체할 수 있는 모델로 서비스가

될수도

- dc official App