무슨 짓을 했는지는 모르겠지만
gpt 3.5 175B -> gpt 3.5 turbo 20B가 됐는데
그게 놀라운게 아니라고? ㄷㄷ
X가보면 전문가들도 너무 말이 안돼서 안믿는 수준인데
90% 파라미터 줄이면서 성능 유지시킨거면
엄청 놀라운거 맞음
무슨 짓을 했는지는 모르겠지만
gpt 3.5 175B -> gpt 3.5 turbo 20B가 됐는데
그게 놀라운게 아니라고? ㄷㄷ
X가보면 전문가들도 너무 말이 안돼서 안믿는 수준인데
90% 파라미터 줄이면서 성능 유지시킨거면
엄청 놀라운거 맞음
쿨병 걸린 듯..
요즘 인터넷이 그럼 별 거 아닌것처럼 깎아내리고 싶어함
epl팀 주전인데도 손흥민 부진할 때 까는 거 보면 ㅋㅋ
나는 보고 충격 먹었는데 Llama 70b인가 한창 파인튜닝 유행할 때 써본 모델보다 gpt 3.5가 더 좋은데 예전에 알트만이 스케일이 답이 아니다고 한 말이 진짠가 싶음 - dc App
아이디어 자체는 이미 존재했던 것들이니까, 그걸 실제로 적용했고 다행스럽게 잘 작동하는 거긴 해서. 없던 기술을 고안해내고 적용 시킨 거랑 비교하면 덜 할 순 있겠지만. 그래도 별 거 아니라는 말은, 좀....그렇긴 해.
없던 기술을 고안했다고 해도 무방한 수준임, 진짜 90% 압축을 성공한거라고 하면; 파라미터 수 자체가 적어진거보면 pruning을 쓴건지 뭘 쓴건지 정확힌 모르지만 뭘 했던간에 90% 압축인데 성능 저하가 없는거면 지금 공개된 기술로는 설명이 안됨
다른 글에서 pruning 썼다고 했던 것 같은데? 하지만, pruning만 써서 그렇게 줄이는 건 아니었을테니 생각해보니 대단한 것 같넹
근데 이게진짜면 agi 도움 받은거말곤 설명이 안되는데? - dc App