구글 이샛끼들은 도대체 몇개로 학습을 하는거지

애초에 TPU는 광 IO활용해서 칩2칩 대역폭이 NV링크에 거의 두배라고 기사를 본 것 같음

전기도 많이 안 쳐먹고 대역폭도 넓으면 확장시키기엔 최고 아닌가


구글 말로는 실험했을땐 5만개까진 선형적으로 성능이 좋아지네요! 이러던만

칩이 만개 단위면 실성능은 이론성능의 60퍼까지 떨어지는데 5만개를 큰 손실없이 그대로 뽑아낸다는건 ㄹㅇ 개쩌는 것 같은데