이게 맞나?
when training its V3 model, DeepSeek reconfigured Nvidia's H800 GPUs out of 132 streaming multiprocessors, it allocated 20 for server-to-server communication, possibly for compressing and decompressing data to overcome connectivity limitations of the processor and speed up transactions.
위의 글 보면 H800 에서 학습 시
Inter server communication을 최적화 한 것 같은데
그렇다면 짐작할 수 있는 게
기존의 H800은 서버간 학습이 최적화가 덜 되었던 것 같은데
물론 H100같은 Front end chip은
최적화를 최대로 해 놓았을 것 같고
그래서 질문은
1. 위와 같이 PTX레벨에서 최적화를
현업에서 실제로 해서 사용하고 있는지와
가장 알고 싶은 건
이번에 화웨이나 다른 칩들도 엮었다는 말까지 나오는데
2. NVLINK를 안 쓰는 다른 칩들은 엮어서
Heteogenous GPU학습이 효율이 나오냐 진짜??
이건 Nvidia에 다소 타격이 될 수 있을 것 같아서
물어본다
짐작이라도 답변 부탁한다
근데 링크가 금지어네
Tomshardware ptx 구글링하면 나옴
근데 리포트 출처가 미래에셋 ㅋ
www.tomshardware.com/tech-industry/artificial-intelligence/deepseeks-ai-breakthrough-bypasses-industry-standard-cuda-uses-
asse mbly-like-ptx-programming-instead?utm_source=chatgpt.com
asse mbly 가 왜 금지어인지 띄워 썼다
갤러리에서 설정한 금지어는 아니고 디시에서 금지어로 설정한듯
짱깨들 H100 수만장 썼다고 짐작하기는 하는데 이런 Heteogenous 학습까지 끌어서 썼을 수도 있다고는 보이네 필요는 발명의 아버지
이제 HW까지 알아야되는거야?