[📪정보] 엔비디아 Chatgpt 전용으로 설계된 GPU공개

[익명(156.146)]

NVIDIA는 ChatGPT 전용으로 설계된 94GB HBM3 메모리를 탑재한 새로운 Hopper H100 NVL GPU를 방금 공개했습니다.

NVIDIA, 최초의 공식 ChatGPT GPU, 94GB HBM3 메모리 탑재 Hopper H100 NVL 발표

NVIDIA Hopper GPU 기반 H100 NVL PCIe 그래픽 카드는 94GB의 HBM3e 메모리를 특징으로 하는 각 칩과 듀얼 GPU NVLINK 상호 연결을 특징으로 합니다. GPU는 최대 1,750억 개의 ChatGPT 매개변수를 이동 중에 처리할 수 있습니다. 단일 서버에 있는 이러한 GPU 중 4개는 최대 8개의 GPU가 있는 기존 DGX A100 서버에 비해 최대 10배 빠른 속도를 제공할 수 있습니다.

H100 SXM5 구성과 달리 H100 PCIe는 GH100 GPU의 풀 144개 SM과 H100 SXM의 132개 SM에서 활성화된 114개의 SM을 특징으로 하는 컷다운 사양을 제공합니다. 이와 같은 칩은 3200 FP8, 1600 TF16, 800 FP32 및 48 TFLOP의 FP64 컴퓨팅 마력을 제공합니다. 또한 456개의 Tensor & Texture Unit이 있습니다.

피크 컴퓨팅 마력이 낮기 때문에 H100 PCIe는 더 낮은 클럭에서 작동해야 하므로 SXM5 변형의 700W TDP 두 배에 비해 350W의 TDP를 제공합니다. 그러나 PCIe 카드는 5120비트 버스 인터페이스에서 특징적인 80GB 메모리를 유지하지만 HBM2e 변형(>2TB/s 대역폭)으로 제공됩니다.

H100용 non-tensor FP32 TFLOP의 정격은 48 TFLOP이고 MI210의 최대 정격 FP32 컴퓨팅 성능은 45.3 TFLOP입니다. 희소성 및 Tensor 작업을 통해 H100은 최대 800 TFLOP의 FP32 마력을 출력할 수 있습니다. H100은 또한 MI210의 64GB보다 더 높은 80GB 메모리 용량을 제공합니다. 겉으로 보기에 NVIDIA는 더 높은 AI/ML 기능에 대해 프리미엄을 부과하고 있습니다.

[대출이모(thor2018)]

10배? 흠...아직 많이 모자르네에.. 손오공은 계왕권 10배으로 프리저한테 깝죽도 못했는데..

[익명(14.6)]

fp32 800?!?!?!시발 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(138.199)]

??? 설명좀해줘라 a100에비해 어느정도인지