[📪정보] 1000만 컨텍스트 길이의 언어모델에 대한 논문이 나옴

[익명(211.59)]

딥마인드 연구원이 리트윗한 논문임

단일 A100-80GB GPU에서 최대 100만 개의 컨텍스트 길이, 8-GPU 시스템에서 최대 1,000만 개의 컨텍스트 길이로 LLaMA-7B를 제공한다는데
제대로 성능 검증이 된다면 엄청나겠네

[et(evgz6v8f9z)]

실질 컨텍스트가 중요한듯

[익명(125.136)]

실제로 나오기 전까지는 다 설래발이라 ㅋㅋㅋ

[부패하는유전자!!!(sansss2015)]

[디시콘발사대(fcbjsjmu1t9f)]

컨텍스트 길이 설레발은 몇번 당해봐서 ㅋㅋ

[익명(112.186)]

[익명(220.72)]

정보추

[익명(jonpark75)]

어떻게 변한다는건지 쉽게 설명좀

[익명(rechido)]

[익명(211.214)]

천만이면 장기기억문제는 알빠노해도 될 수준인 데

[익명(211.214)]

백퍼 중간 삭제에 문제 있을 듯

[익명(121.144)]

장기기억 그래프도 같이 첨부해야지 믿을만하지