난 항상 기술이 좋아지면 사람들은 거기에 만족하지 않고 그걸 기반으로 더 많은 걸 할 거라고 생각해서 하드웨어나 소프트웨어의 시장이 줄어들 것 같진 않음.
내 밥그릇은 모르겠고...
딥부이 1(125.137)2025-01-28 00:07
근데 난 이해가 안가는게, 결국 llm의 추론 능력의 두 축은 스케일과 추론 알고리즘인데, 결국 추론비용이 아무리 저렴해져도 논리는 달라지지 않는거임. 그만큼 많은 데이터센터로 훨씬 더 많은 스케일을 저렴하게 만들 수있는거임. 결국 데이터센터 큰놈이 더 좋은 모델 만드는건 다르지 않음.
컴퓨터비전(kimhappyboy)2025-01-28 00:18
답글
그럼 이번에 딥시크가 극복해냈다는 게 본질적으로 뭐야? 더 적은 파라미터 개수? 혹은 메모리로 동일한 추론 성능을 알고리즘을 통해 이뤄냈다는 건가 - dc App
익명(211.218)2025-01-28 00:28
답글
나 잘 안찾아봐서 솔직히 잘 모르는데 스케일링 이거 깼다는거 아냐? 그래서 엄청 이슈되는거고?
focalors(pytorch)2025-01-28 00:30
답글
Sft없이 rl만으로 비용혁신하고 동일한 성능이 핵심. 그니깐 스케일링 이론은 같고 비용이 극단적으로 저렴해진거 ㅇㅇ 결국 데이터센터는 많이 필요해.
컴퓨터비전(kimhappyboy)2025-01-28 00:42
답글
컴퓨터비전님 r1 모델이 비전 분야에서도 비슷하게 적용될까요?
익명(118.235)2025-01-28 00:48
답글
좀 더 연구가 필요하지만, 직관적으로 텍스트보다 비전에서 sft없이 rl만으로 학습하는게 훨씬 어렵다고 보여짐. 그래서 deepseek쪽에서도 아직 텍스트만 서비스하는게 아닐까 싶음. 뭐 이미 성공했다면 레전드지
컴퓨터비전(kimhappyboy)2025-01-28 01:01
답글
회로쟁이 문외한이라 답답했을텐데 답변 줘서 고맙다. sft에 비해 rl이 훨씬 계산비용이 적다고 보여지니, 기존에도 sft 대체한 연구들이 좀 있었겠네 ㅇㅇ 여기는 grpo란 걸 쓴 것 같은데, 이게 원래 강화학습 알고리즘인 ppo나 sac 이런거에 비해서도 뭐가 더 좋은지도 궁금하고..
밤 늦게 답변줘서 고마워 - dc App
모델 만드는 사람들한텐 호재고 하드웨어 하는 사람들한텐 악재인듯
난 항상 기술이 좋아지면 사람들은 거기에 만족하지 않고 그걸 기반으로 더 많은 걸 할 거라고 생각해서 하드웨어나 소프트웨어의 시장이 줄어들 것 같진 않음. 내 밥그릇은 모르겠고...
근데 난 이해가 안가는게, 결국 llm의 추론 능력의 두 축은 스케일과 추론 알고리즘인데, 결국 추론비용이 아무리 저렴해져도 논리는 달라지지 않는거임. 그만큼 많은 데이터센터로 훨씬 더 많은 스케일을 저렴하게 만들 수있는거임. 결국 데이터센터 큰놈이 더 좋은 모델 만드는건 다르지 않음.
그럼 이번에 딥시크가 극복해냈다는 게 본질적으로 뭐야? 더 적은 파라미터 개수? 혹은 메모리로 동일한 추론 성능을 알고리즘을 통해 이뤄냈다는 건가 - dc App
나 잘 안찾아봐서 솔직히 잘 모르는데 스케일링 이거 깼다는거 아냐? 그래서 엄청 이슈되는거고?
Sft없이 rl만으로 비용혁신하고 동일한 성능이 핵심. 그니깐 스케일링 이론은 같고 비용이 극단적으로 저렴해진거 ㅇㅇ 결국 데이터센터는 많이 필요해.
컴퓨터비전님 r1 모델이 비전 분야에서도 비슷하게 적용될까요?
좀 더 연구가 필요하지만, 직관적으로 텍스트보다 비전에서 sft없이 rl만으로 학습하는게 훨씬 어렵다고 보여짐. 그래서 deepseek쪽에서도 아직 텍스트만 서비스하는게 아닐까 싶음. 뭐 이미 성공했다면 레전드지
회로쟁이 문외한이라 답답했을텐데 답변 줘서 고맙다. sft에 비해 rl이 훨씬 계산비용이 적다고 보여지니, 기존에도 sft 대체한 연구들이 좀 있었겠네 ㅇㅇ 여기는 grpo란 걸 쓴 것 같은데, 이게 원래 강화학습 알고리즘인 ppo나 sac 이런거에 비해서도 뭐가 더 좋은지도 궁금하고.. 밤 늦게 답변줘서 고마워 - dc App