## **GB300 및 B300의 주요 특징**
1. **성능 향상**:
- GB300은 이전 세대인 GB200 및 B200 대비 **50% 더 높은 FLOPS(부동소수점 연산 성능)**를 제공합니다.
- TDP(열 설계 전력)는 GB300에서 1.4KW로 증가(GB200의 1.2KW 대비), 더 높은 전력을 사용하여 성능을 극대화합니다.
- 메모리는 8-Hi HBM3에서 **12-Hi HBM3E로 업그레이드**되어 GPU당 용량이 288GB로 증가했지만, 핀 속도는 동일하여 메모리 대역폭은 여전히 8TB/s입니다.
2. **아키텍처 개선**:
- CPU와 GPU 간 전력을 동적으로 재분배하는 "파워 슬로싱" 기술이 도입되었습니다.
- 이와 같은 시스템 수준의 최적화를 통해 학습 및 추론 성능이 크게 개선되었습니다.
3. **추론 모델에 특화된 설계**:
- OpenAI O3 스타일의 LLM(대규모 언어 모델) 추론 및 학습에서 긴 시퀀스를 처리할 수 있는 확장된 KVCache 메모리 용량이 제공됩니다.
- 이를 통해 배치 크기와 지연 시간을 줄이고, 사용자 경험을 개선하며, 운영 비용을 최대 **3배 절감**할 수 있습니다.
## **NVLink NVL72 및 메모리 공유**
- NVL72 아키텍처를 통해 최대 72개의 GPU가 동일한 문제를 처리할 수 있도록 메모리를 공유하며, 매우 낮은 지연 시간으로 작동합니다.
- 이는 긴 추론 체인(100k+ 토큰)을 처리할 수 있는 유일한 솔루션으로, 경제성과 성능 면에서 경쟁 제품보다 훨씬 우수합니다.
## **공급망 변화**
1. **구성 요소 분리 공급**:
- GB200에서는 Nvidia가 전체 Bianca 보드(Blackwell GPU, Grace CPU, LPDDR5X 메모리 포함)를 공급했으나, GB300에서는 GPU(B300), CPU(Grace), HMC만 Nvidia가 공급합니다.
- 나머지 구성 요소는 고객이 직접 조달하며, 메모리는 Micron의 LPCAMM 모듈로 변경됩니다.
2. **ODM/OEM 참여 확대**:
- 이전에는 Wistron과 FII만 Bianca 보드를 제조할 수 있었으나, GB300에서는 더 많은 OEM/ODM이 참여할 수 있습니다.
- 그러나 Wistron은 시장 점유율 감소로 타격을 입었으며, FII는 SXM Puck 제조 독점권을 통해 일부 손실을 상쇄했습니다.
3. **VRM(전압 조절 모듈) 조달 변화**:
- VRM 조달 방식도 변경되어 하이퍼스케일러와 OEM이 직접 구매하도록 전환되었습니다. 이는 특정 VRM 공급업체(예: Monolithic Power Systems)의 시장 점유율 감소를 초래했습니다.
## **하이퍼스케일러에 미치는 영향**
1. **맞춤화 가능성 증가**:
- GB300은 Amazon과 같은 하이퍼스케일러가 맞춤형 메인보드와 냉각 시스템을 설계할 수 있도록 허용합니다.
- Amazon은 기존 NVL36 아키텍처 대신 NVL72로 전환하여 TCO(총 소유 비용)를 크게 개선할 예정입니다.
2. **복잡성 증가**:
- GB300 플랫폼은 설계, 검증, 검증 작업이 매우 복잡하여 하이퍼스케일러에게 추가적인 부담을 줍니다.
- Microsoft와 같은 일부 기업은 설계 속도가 느려 초기 도입이 지연될 가능성이 있습니다.
## **결론**
Nvidia의 GB300과 B300은 단순한 업그레이드가 아니라 성능, 효율성 및 맞춤화 가능성을 대폭 향상시킨 혁신적인 제품입니다. 특히 추론 모델과 대규모 언어 모델 처리에서 중요한 역할을 하며, 공급망 구조와 하이퍼스케일러의 운영 방식을 재편하고 있습니다.
전력 소모량은 계속 늘어나니 역시 원전이 답인가..
50% 성능 증가 ㄷㄷㄷ 대단하다