[소식] YaRN : 현존하는 최고성능의 128k지원(라마2)

[예아_(ai315)]

https://github.com/jquesnelle/yarn

데모 :
https://colab.research.google.com/drive/1p7iNUQMbVGYWqrKMHvPPO4Q13fB5mwDF?usp=sharing

Google Colaboratory

라마2(최대13B)까지 얘네들이 어찌어찌 해서 128k까지 토큰을 지원하게 만듦 긴 컨텍스트 중에 최고라고 함


13B 128k에서 Sherlock Holmes 책 퀴즈 데모에서 1-shot 정확도로 약 52%를 달성했다고 함


1-shot 정확도란 한번의 설명으로 저정도 정확도를 냈다고 보면 됨


곧 아카이브에 논문 업로드 예정임

[상상초(ghen7217)]

[초전도반도체(lhkdhk)]

Context 늘리는 기법 요즘 계속 나오긴하던데 성능이 얼마나 유지되는가하고 연산복잡도가 문제임