[📪정보] RNN이 Transformer를 이겼다? 이뭔소리야

[응아(104.28)]

특갤 오래해온 사람은
RWKV 한번쯤 들어봤을꺼임
Mamba처럼 transformer 대체제로 나온 놈임
RWKV는 rnn기반이라, 속도가 10배는 빠른게 장점인데,
오늘 처음으로 RWKV기반 LLM이 나왔음

Gpt 3.5뭐 이런거에 비빌정도는 아닌데
Mistral 7B 정도는 같은 학습데이터로 이기는 수준이라는듯
RWKV도 기대해봐도 좋을듯


https://twitter.com/RWKV_AI/status/1751797147492888651?s=19

[익명(122.42)]

내가 RWKV 디스코드 예전부터 들어가서 걔네 자주 보는데 중국인들 엄청 많고 뭔가 지네들이 최고라는 느낌 너무 심하더라 걔네가 주장하는 논리, 이론, 벤치마킹 보면 걍 GPT4, 5도 다 뛰어넘은 혁신 그 자체임 근데 현실은 몇 년 동안 언급도 잘 안 되다가 작년 말에 아카이브 논문 완성시키고 잠깐 입소문 탔다가 다시 잠들었다가 Mamba가 살짝 언급해주고 Mamba가 더 상위호환으로 평가 받는 정도 ㅋ