[📪정보] 르쿤이햄 : "이제 텍스트 데이터 거의 한계에 도달함"

[익명(119.77)]

인터뷰 내용:

"라마 3에 대해서는 나는 전혀 공을 들이지 않았습니다. 

우리의 모델이 오픈 소스라는 것을 확실히 한 것에 대해서는 어쩌면 약간의 공을 들였다고 할 수 있겠네요. 

하지만 기술적인 기여는 매우 많은 사람들로부터 나온 것이고, 저는 아주 아주 작은 부분만을 했습니다.  

그래서 15조 토큰이 나왔죠. 

당신은 얻을 수 있는 모든 데이터, 모든 고품질의 공개 데이터를 얻은 다음 미세 조정하고 라이선스 데이터 등 모든 것을 해야 합니다. 

그것이 15조에 도달하는 방법입니다. 

하지만 그건 좀, 포화 상태에 이르렀다고 할 수 있어요. 

얻을 수 있는 텍스트에는 한계가 있습니다."

원문:

"I deserve no credit whatsoever for Llama 3.

Maybe a little bit of credit for making sure our models are open source.

But the technical contributions are from a very large collection of people and I have a very very small part of it.

So, 15 trillion tokens, yeah.

You need to get all the data you can get, all the high quality public data and then, fine tune and licensed data and everything.

So that's how you get to 15 trillion.

But that's kind of a bit, it's kind of saturating.

There is only so much text you can get."

https://twitter.com/tsarnick/status/1786193394605473957

[익명(119.207)]

얀 할배 왜 이렇게 갑자기 늙었어

[익명(1.222)]

근데 슬슬llm질리긴함

[부패하는유전자!!!(sansss2015)]

갑자기 10년 늙었네

[MoonChild(aowlr2001)]

음청 늙었네 - dc App

[익명(119.77)]

저 영상통화가 화질구지라 좀 더 그래보이는듯 최근에 다른 화질 좋은 영상보면 저정돈 아님

[MoonChild(aowlr2001)]

아하 - dc App

[천사다천사(jjtheman999)]

겸손하다 대 르 쿤 - dc App

[익명(116.33)]

훈련데이터 고갈이 온다

[라ㅜㄷ(210.97)]

맞아 영상, 음성 데이터가 있는데 굳이 텍스트 데이터에만 집착하는것도 이상하지

[익명(119.77)]

비디오가 진짜 답이긴해

[익명(119.77)]

르쿤이햄이 v-jepa 몰두하는 것도 그런 이유일듯

[익명(awful1887)]

르쿤햄 늙은 거 보니 참 안타깝네... - dc App

[Joyful(approve1515)]

[Joyful(approve1515)]

"You need to get all the data you can get, all the high quality public data and then, fine tune and licensed data and everything."

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(39.115)]

라마 70b gpt4 1t. 405b나오면 gpt4보다 낫거나 비등비등한건 확정임

[익명(103.212)]

그건걍 돈이랑 시간으로 때려박아서 그런거고 ㅋ 갈길은 멀고 후발주자한테 다 따라 먹히는데 뭐하고 있노? ㅋㅋㅋㅋ

[익명(125.136)]

현실은 라마3가 oai 기업용 점유율 갉아먹는중

[익명(121.166)]

왜 이게 욕처먹을 일이지? 이 정도 의견도 못 내나? 그럼 무조건 oai 박수쳐줘야 함? 그리고 자기도 아무 일을 하지 않고 야부리만 터는 것도 아니고 llm이나 v-jepa 만들면서 의견을 말하는 것도 이런 것도 말 못하면 뭐 다 입다물고 있어야 하나?

[익명(58.231)]

그렇게 잘아는데 왜 못만듬?

[익명(14.53)]

그래서 제파 만들고 있잖아..

[익명(210.205)]

아니 사진 ㅋㅋㅋ

[익명(116.36)]

진짜 세계를 이해하려면 텍스트, 이미지, 오디오, 비디오의 자유로운 조합이 필요하지

[익명(116.36)]

게임오바 특이점이 안온다

[ㅁㄴㅇㄹ(61.83)]

겨울이.... 온다....