[📪정보] Deepseek 논문이 올해 최고의 논문이 될거라는 글

[익명(118.39)]

https://www.semianalysis.com/p/openai-is-doomed-et-tu-microsoft

OpenAI Is Doomed - Et tu, Microsoft?

빠르게 따라잡은 것은 거대 기술 기업들만이 아니다. 어제 중국의 DeepSeek은 Meta의 Llama 3 70B보다 실행 비용이 저렴하고 더 나은 새로운 모델을 오픈 소스로 공개했습니다. 모델은 중국어 쿼리(토크나이저/훈련 데이터 세트) 및 특정 아이디어에 대한 정부 검열에 더 적합하지만 코드(HumanEval) 및 수학(GSM 8k)의 범용 언어 에서도 승리합니다 .

게다가 가격도 엄청나게 저렴합니다. Deepseek의 모델은 다른 경쟁 모델보다 현저히 저렴합니다. 그들의 가격은 Meta 및 Mistral 모델을 제공하는 데 돈을 잃는 추론 API 제공자에 투자하는 VC의 바닥까지 계속되는 경쟁을 뛰어 넘습니다

DeepSeek은 8x H800 GPU 의 단일 노드가 초당 최대 처리량당 50,000개 이상의 디코딩 토큰(또는 disagg 사전 채우기가 있는 노드에서 100k 사전 채우기)을 달성할 수 있다고 주장합니다. 출력 토큰의 견적된 API 가격만 보면 시간당 노드당 $50.4 수익입니다. 중국의 8xH800 노드 비용은 시간당 약 15달러이므로 완벽한 활용을 가정하면 DeepSeek는 서버당 시간당 최대 35.4달러, 즉 최대 70% 이상의 총 마진을 벌 수 있습니다.

서버가 완벽하게 활용되지 않고 배치 크기가 최대 용량보다 낮다고 가정하더라도 DeepSeek가 다른 모든 사람의 추론 경제성을 무너뜨리면서 돈을 벌 수 있는 여지는 충분합니다. Mixtral, Claude 3 Sonnet, Llama 3 및 DBRX는 이미 OpenAI의 GPT-3.5 Turbo를 누르고 있었지만 이것이 관의 핵심입니다.

더욱 흥미로운 점은 DeepSeek이 시장에 선보인 새로운 아키텍처입니다. 그들은 서구 기업이 했던 것을 모방하지 않았습니다. MoE, RoPE 및 Attention에는 새로운 혁신이 있습니다. 그들의 모델에는 160명 이상의 전문가가 있으며 포워드 패스당 6명이 라우팅됩니다. 총 2,360억 개의 매개변수와 정방향 패스당 210억 개의 활성 매개변수. 또한 DeepSeek는 다른 형태의 주의보다 확장성이 뛰어나면서도 더 정확하다고 주장하는 새로운 Multi-Head Latent Attention 메커니즘을 구현했습니다

그들은 8조 1천억 개의 토큰으로 모델을 훈련했습니다. DeepSeek V2는 Meta의 Llama 3 70B 컴퓨팅 성능의 1/5 수준 으로 다른 개방형 모델보다 더 나은 모델 성능으로 놀라운 훈련 효율성을 달성할 수 있었습니다 . 추적하는 사람들을 위해 DeepSeek V2 교육에는 GPT-4 플롭의 1/20 이필요 하면서도 성능 면에서는 크게 다르지 않았습니다.

이러한 결과는 중국 기업도 이제 경쟁력을 갖추고 있음을 보여줍니다. 또한 이 논문은 공유된 정보와 세부 사항 측면에서 아마도 올해 최고의 논문일 것입니다

[익명(218.147)]

중국이 답인가?

[익명(awful1887)]

중국이 미국의 하드웨어 제재가 없었다면 지금쯤 어느정도였을까 ㄷㄷ - dc App

[특이점이온다(crew9960)]

[익명(175.206)]

오호...

[Joyful(approve1515)]

[Joyful(approve1515)]

"중국의 DeepSeek은 Meta의 Llama 3 70B보다 실행 비용이 저렴하고 더 나은 새로운 모델을 오픈 소스로 공개했습니다."