[일반] Xai의 기대역할은 Scale is all you need의 증명인듯

[퐁칸8(zxvw157)]

정말 모델을 크게 만들기만 하면,

새로운 능력이 창발할까? 예를 들면 외부에서

볼때 의식이라고 부를 수 있을만한

메타인지 능력같은 것들ㅇㅇ

OAI도 앤트로픽도 메타도

돈이 부족해서 ㅈㄴ큰 데이터센터를 만들지 못했기에

아직 확인 할 수 없었지만 이 부분을

Xai가 시도해준다면 쓸모없는 발걸음을

줄일순 있을듯

이미 단순 데이터 스케일링만으론 성장 점근선에 가까워져있단 얘기도 있는만큼, 스케일론의 한계점을 이번에 확인시켜주길 바람

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[퐁칸8(zxvw157)]

[익명(sky0204)]

작년에 xai에 들어간 연구원들 말하는거 봤는데 수학에 집중 할거라고 했음 생각보다 추론에서 성과가 있을수도

[퐁칸8(zxvw157)]

그록3는 그런 부분에선 한번 기대해볼만 하겠네

[천사다천사(jjtheman999)]

[퐁칸8(zxvw157)]

[수직(player5319)]

[퐁칸8(zxvw157)]

[익명(14.43)]

메타 최근에 지은 데이터센터도 xai랑 같은 크기 아니었나

[퐁칸8(zxvw157)]

메타가 그정도로 많이 샀다고?

[익명(14.43)]

https://aimatters.co.kr/news-report/ai-news/6890
여기
라마4 훈련중이라 나오네

[퐁칸8(zxvw157)]

갑자기 렙틸리언 사랑스러운데

[익명(lamb5359)]

Scale is all you need 이건 왜 영어로 씀?

[퐁칸8(zxvw157)]

논문이름이라

[익명(lamb5359)]

ㄳㄳ

[퐁칸8(zxvw157)]

https://m.dcinside.com/board/thesingularity/96675
ㄱㄱ

[부패하는유전자!!!(sansss2015)]

attention is all you need 트랜스포머 논문에서 따온 말

[퐁칸8(zxvw157)]

아 맞지 또 하도 오래되니까 점점 까먹네

[익명(121.100)]

스케일만으로는 부족하다고 결론난 사안. 제미나이 2.0 훈련 결과 성능 향상이 미미해서 하사비스가 좌절했다는 기사 뜸. 클로드 3.5 오푸스도 마찬가지 이유로 못 나옴. 양질의 데이터가 받쳐줘야 스케일이 는데 이미 기존 데이터는 다 써서 합성 데이터를 얼마나 고품질로 생성해내느냐가 중요함. openAI가 이걸 잘 함. xAI가 그럴 능력이 있느냐가 관건임.

[퐁칸8(zxvw157)]

그치ㅇㅇ근데 혹시 모르잖아? 개좆되는 데이터센터로 ㅈㄴ크게 해봐서 대차게 망하면 다음 페이즈에 미련없이 넘어갈 수 있을거 같음.

[부패하는유전자!!!(sansss2015)]

결국 합성데이터 생성도 컴퓨팅이 들어서 컴퓨팅이 중요한건 변함없음

[부패하는유전자!!!(sansss2015)]

테슬라에서 도조 자체 컴퓨팅으로 100엑사플롭스 구축한다는데 이걸로 상황 역전할수 있을지 기대됨