TPU v7이 v5나 v6 대비 성능 떡상한건 맞는데
칩이랑 랙 단위 성능은 엔비디아 블랙웰 GB200하고 동급이라고 보면 됨
구글은 이 GB200을 작년 말부터 구매해서 드라이브사업에 쓰고 있고
일부는 강화학습에 썼을거임
그리고 GB200을 강화학습에 써봤더니 결과가 너무 좋아서
2.0플띵이 나와야 할 시기에 갑자기 2.5가 튀어나와버린거임 (뇌피셜)
결론: TPU v7은 GB200하고 성능상 동급이며, 구글은 이미 GB200을 수십만개 단위로 갖고있을 확률이 높다
따라서 연말에 TPU v7이 수급되더라도 모델이 갑자기 AGI되는 수준의 발전은 없을것
진짜 경쟁은 2026년 이후 엔비디아의 루빈 vs 알파이볼브 먹인 TPU v8 이 두 제품의 다툼이 될것
나는 루빈 세대가 되어야 AGI 감당 가능한 연산량이 확보될거라고 보고 있음
추론특화임 지금도 빠른편인데 v5p보다 10배성능임
gb200도 h100보다 5배이상 추론 빠름
tpu 추론성능업기준도 아니고 칩당 순수성능 업글로 알고있음
제미니 학습은 싹다 tpu로한다고 세르게이 피셜
엥 그런얘길 함?
일단 서비스에 tpu v7 몰빵에서 원활하게 돌리고 나머지는 엔비디아칩으로 학습 자원 더 투입가능해지긴 하니까 지금보다 더 여유 생기는건 맞지
실사용은 확 좋아질듯 적어도 속도측면에선 성능에서 크게 개선은 솔찌 기대안하고
일단 실사용 서비스 품질은 확 좋아지긴 할테니까
후....
제미니학습은 TPU로 한다는거 순다르 피차이도 인터뷰에서 얘기했음
제미나이 애초에 다 tpu로 한다는데 뭔 개소리여