그거때매 궁금해서 찾아보니 양키들도 똑같은 생각이더라
관심 가진 양키들 의견 보면
1.논문에 아쉬운 정보들이 아직도 많은데
더 다양하게 효율 검증하고 싶어도 코드밖에없어서 현시점에선 불가능
뭔가 쫄리는게 있나 싶다는 놈들도 있음
2. 왜 논문을 fp16모델로 학습해서 작성했을까
원본 모델로 했을때의 loss값을 알수가 없잖아
그렇게 돈이 없나
3.소스코드만 까놨으니
검증하고 씹뜯맛즐할게 없어서
화제삼을 게 없잖아
4.실제모델을 안내놔서
코드로 구현해도 이게 제대로 된건지
일일히 다 테스트해야됨
같은 불만들이 있고
공감가더라
bitnet 겨울은 좀 더 갈 예정
뭐 뿌린거 아니었음?
코드 뿌렸는데 그게 모델 포함이 아님
아하... 이런 판에서 다 안 깐가? 그 돌일 가능성이...
그냥 비싸서아님? 기존 양자화 방식과 다르게 처음부터 훈련해야하는데 A100 한대 1시간 대여료가 1.79달러라고 뜸 이걸 수백 수천대 빌려다가 최소 몇주는 돌려야하는걸 대충 계산해봐도 수천~수억은 나오던디
마소쪽 애들이면 돈지랄 많이 하잖음 근데 얘들은 그중에서도 돈이 없었던듯
빅모델까진 아니어도 소형모델이라도 원본으로 해본 연구 데이터가 분명 있을거같단말이지...
논문에 fp16쓴거 의아해하는 의견은 여기서도 전부터 종종 보긴 한듯
그 돌이야 식주 스캠이라 쳐도 마소리서치에서 주작질해서 얻을건 뭐같음? 몰라서 물어보는거임.
얘들은 내가보기에 아무리 생각해봐도 득볼게 진짜 없음 연구에서 자기들 전용 하드웨어 만들면 진짜 개쩔거다 라는 내용이 있긴 한데 int4모델로 엄청나게 가속이 가능하다는 정도
명성이든 투자 땡기기든 거짓말 칠 동기는 무궁무진하더라고 내 인생 경험상 '거짓말을 칠 동기' '사기를 칠 동기'에 매몰되는 거 보다 그 행동이 합리적인가? 를 따지는 게 더 의미 있었음
전용하드웨어로 돈빨아먹기전에 대형모델 검증이 끝날텐데 진짜 모르겠네 ㅋㅋㅋ 하여튼 누군가는 해주겠지
왜긴 스캠이니까 못까는거지
이걸로 누가이득을보는데 새끼야 ㅋㅋㅋㅋ
근데 또 스캠질이라기엔 진짜 열심히 노하우 공개함
원래 논문 공개하면 보통 코드공개 빨리안하는 새끼들이 20%임. 특히 대기업은 프로세스가 있는건지 개지랄나개 오래걸림. 지금 bitnet이 후속논문으로 정보 푼것도 그나마 나은 케이스임
가끔식 6개월 넘게 공개안하는 경우도 봤음