[❓질문] 혼자서 7t짜리 모델 훈련시킬려고 하는데 자료는 어떻게 수집하면 됨

[익명(220.123)]

다른데서 물어봤는데 안 가르쳐 줄려고 해서

[익명(39.7)]

huggingface가서 commoncrawl이랑 fineweb부터 다운받아서 시작해라

[익명(220.123)]

싫어

[익명(39.7)]

@ㅇㅇ(220.123) 왜

[익명(220.123)]

@ㅇㅇ(39.7) 나는 이공계 학문도 혼자서 다 해 쳐먹을거야 그러니까 혼자서 7t짜리 모델 훈련해야 해

[익명(39.7)]

그러면 데이터도 남들이 쓴 글 쓰면 안되지 니가 직접 글 다 써서 집어넣으셈 ㅇㅇ

[익명(39.7)]

혹시 fineweb이 데이터셋 이름인지도 모를정도로 검색도 안해본 능지면 그냥 다 포기하고

[익명(daekue)]

직접 크롤링을 하고싶다는거야? - dc App

[딥삣삐 1(49.164)]

돈이 썩어나는거야 아니면 그냥 정신병자야?

[딥삣삐 2(4.71)]

그냥 바보인거지 뭐

[휴무조(uncover0649)]

몰래 갖다 쓰죠?

[익명(220.123)]

distilation 안함