[일반] 그래서 비트넷 진짜인지 아닌지 언제나옴?

[익명(112.168)]

이번주엔 나온다 해서 이번주 기다렸었는데

논문은 나왔는데 또 진짜인지 아닌지 알려면 기다려야 한다고 하네

그럼 언제 나오는거임?

[익명(123.100)]

ㅁㄹ - dc App

[디시콘발사대(fcbjsjmu1t9f)]

난 다 뜯어본건 아닌데 대충 분위기를 보면 저번 발표 => '경황이 없어서 짧게 보여주는데 이거 쩔음' 사람들 반응 => '보기엔 좋아 보이는데 이거 어떻게 만듦?' 이번 발표 => '우린 이걸 구현할 예산이 없지만 자료 정리는 다 끝냈음. 자 이대로 만들면 됨' 이런 상황 아님? 아님말고

[oo(119.202)]

코드 구현이 나와서 제대로 재현 테스트가 가능해 졌다고 생각하시면 됩니다. 3B 모델 이하에서는 학계에서도 재현 시도가 가능할 것 같네요.

[익명(141.223)]

소규모 팀에서 감당 가능한 정도로 1B 모델을 약 1-2T 학습시키는데 1-2달은 걸릴 것 같습니다. TinyLlama라는 팀에서 A100 16개로 1.1B 모델을 3T 토큰 학습시키는데 3달 정도 걸렸습니다. 만약 대규모 기업에서 한다면 빠르면 몇 주이내에 결과가 나올 수도 있겠네요.