이런 답변들이 왜 이렇게 많냐?
rl이 컴퓨팅이 훨 더 들지
이번에 80억 들었다는 건
딥씩이 v3 base모델이라서
R1이 80억 들었다는 건 완전 잘못된
소리인데 언론이 재생산함
효율적인 건 맞지만
애네도 H100 수만장은 쓴 거라는 게 대세
그리고 API성능 대비 가격으로도
이미 경량 모델들 많아서
10위 정도임
단지 리소스 넘쳐나는 빅테크가 아닌
모든 면에서 열세인 중국업체가 해냈다는 게 대단하긴 하지
그렇다고
스케일링 법칙이 깨졌다는 건 무슨 X소리인지
저 테크닉이 된다는 게 알려진 이상
빅테크에서 스케일링으로 훨 개선할 확률이 큼
단지 알고리즘 개선 여지가
HW 스케일링을 상쇄할만큼 크게 남아있다는 건
미국 빅테크에 충격이지만
오히려 장점이 훨 크다 본다
AI가 미래에 더욱 값싸게 많은 일을 할 수 있다는 뜻이니
결론은 딥시크 성과로
스케일링 법칙은 1도 훼손된 게 없음
그건 맞는데 nvidia 의존성은 예전보다는 줄어들었다 볼수 있는거아님?
왜 줄어듬? 알고리즘 개선의 여지가 남았다는게 명확한 상황에서 멀쩡한 범용 하드웨어 냅두고 특정 알고리즘 특화 가속기로 넘어갈려고...?
Nvidia 의존성 줄어들었다 얘기하려면 amd나 자체 npu 써서 학습했어야지
엄밀하게 미래수요를 일부잃을 수 있는 경우는 Heterogenous GPU학습이 가능할 경우인데 이런 썰이 돌긴 하지만 확인 된 건 없음 그리고 미래수요를 잃을 확률이 있다는 것도 여전히 엔비 칩부터 팔리고 그걸 못 사는 애들 이야기지
개선된 건 맞지만 혁신이 아닌 걸 혁신이라고 과장하면 안 되겠죠
딥씩 논문 재현되는거 확인했고 이건 스케일링 법칙 따른다고함. 실제로 1.5B보단 7B 딥씩이 답변도 더 잘하지.