[📪정보] TinyZero 이야기 나옴?

[익명(123.215)]

https://github.com/Jiayi-Pan/TinyZero

GitHub - Jiayi-Pan/TinyZero: Clean, minimal, accessible reproduction of DeepSeek R1-Zero

https://wandb.ai/jiayipan/TinyZero?nw=nwuserjiayipan

Weights & Biases

버클리대 박사과정 학생이 DeepSeek R1 ZERO 논문대로 아주 작은 모델로 학습 방법을 따라함

강화 학습 보상을 단순하지만 강력하게 해주는 방법이 입증 된 거임

정확했을 때 보상

정말 잘했을 때 보상

이런 간단한 보상 방법으로

wait 또는 aha! 모먼트가 작동하는 빈도가 늘고

간단하게 AI가 점점 강화된다는 걸 입증함

이게 이번 DeepSeek 사건의 알맹이임

오픈소스로 풀고 학습 과정을 투명하게 논문으로 내고

논문대로 시행해보는 사람들이 늘면서 검증해주고

이 정도면 개인이 기초적인 아주 작고 특화된 AI는 만들만해졌음

H100 VRAM 80GB 하나 쯤 있으면 AI연구가 아니더라도 각 분야 실험실에서 굴려볼만 할 듯??

물론 기반 지식이 아주 조금은 있어야 하지만 DeepSeek R1 ZERO 논문이 메뉴얼을 퍼다 줌 

일단 효율적인 학습 메소드가 생겼다는 거에 대해 아주 고무적임 

싸다 개인이나 작은 단체가 AI 만들어볼만 하다 이거 정말 큰 일임 

문제는 이제 데이터 싸움이지

연구소의 질 좋은 데이터로 파인한 학습 시키기

vs

전체주의 독재국가(짱깨)식으로 대량의 인간 데이터 물량으로 승부 보기

전자는 개인이나 연구소에서 해 볼만한 길

후자는 초국적기업이나 국가 단위로 데이터 긴빠이하기

[초존도초(htr3c654r6ft)]

카파띠가 샤라웃해줘서 저번에 봄

[익명(123.215)]

재밌게 돌아가는 판이야

[초존도초(htr3c654r6ft)]

정보 탭으로 바꿔도 좋을 듯

[익명(123.215)]

바꿈

[제프리힌튼(faucet7834)]

딥식이는 찐이엇나

[익명(123.215)]

찐임 ㅇㅇ

[익명(125.177)]

본 글 논문을 보고도 한국에선 sLM 같은거라도 못만들어 장비탓을 하고 있다면 30달러와 자신의 노오오오오력이 부족한게 아닌지 생각해보아라

[익명(123.215)]

근데 진짜 국내AI연구진들 작은 모델조차 쉽게 만드는 레시피까지 나왔는데 못한다고 징징거리면 연구소 싹 정리해야 함 걔들은 허수고 가짜임 개인인 나 자신조차도 할만하다고 느껴질 정도니까.. 특히 눈치 빠른 제약 회사는 연구비 대폭 아낄 수 있는 길이 나왔는데 투자를 안 한다? 도태 되는거임 알파 폴드까지 성능 필요 없음 신약 실험 시뮬도 가볍게 가능해질 것 같음