GPU ve TPU: İşte temel farklar

GPU ve TPU: İşte temel farklar

Investing.com — Grafik çip devi Nvidia ’nın en yeni Blackwell Ultra GPU’ları ve arama devi Google ’ın TPU v7 Ironwood işlemcileri, yapay zeka bilişiminde keskin farklılıklar sunuyor. BofA Securities analistlerine göre, mimari, performans ve maliyet açısından kritik varyasyonlar içeren bu yaklaşımlar, yapay zeka altyapı ortamını yeniden şekillendirebilir.

Fiziksel özellikler incelendiğinde, Nvidia’nın GB300’ü daha büyük bir çip olarak karşımıza çıkıyor. TSMC’nin 4NP sürecini kullanan 1.600 milimetrekarelik bir die üzerinde 208 milyar transistör bulunuyor. Buna karşılık Google’ın TPU v7’si, TSMC’nin daha gelişmiş N3P sürecini kullanan 1.200-1.500 milimetrekarelik bir die üzerinde 50 milyardan fazla transistör içeriyor.

GB300, 8 TB/s bant genişliğine sahip 288 GB HBM3e bellek taşıyor. TPU v7 ise 7,4 TB/s bant genişliğine sahip 192 GB bellek içeriyor.

Ham hesaplama performansı, hassasiyet gereksinimlerine göre farklılık gösteriyor. FP4 yoğun iş yükleri için GB300, 15 petaflops sunarken, TPU v7 bu hassasiyeti doğal olarak desteklemiyor.

FP8 yoğun iş yükleri için GB300, 5 petaflops’a ulaşırken, TPU v7 4,614 petaflops sunuyor.

Güç tüketimi ve verimlilik metrikleri, iş yükü türlerine göre önemli ölçüde değişiyor. GB300, çip başına 1,4 kilovat çekerken, TPU başına tahmini 0,85 kilovat çekiyor. FP4 iş yükleri için GB300, watt başına 10,71 teraflops elde ederken, TPU v7 yaklaşık 5,42 teraflops sunuyor. FP8 iş yükleri için ise TPU v7, watt başına yaklaşık 5,42 teraflops sunarken, GB300 3,57 teraflops sunuyor.

Sistem mimarisi açısından Nvidia, GPU başına 1,8 TB/s sağlayan NVLink 5 ara bağlantısı ile Grace CPU’ları kullanıyor. Google ise TPU başına 1,2 TB/s sunan ICI mesh ile Marvell Axion CPU’ları tercih ediyor.

Ölçeklendirme yetenekleri farklı felsefeleri ortaya koyuyor. GB300, yaklaşık 1 megavat tüketen sekiz raf üzerinde raf başına 72 çip ve pod başına 576 çip destekliyor. Her bir raf 120-130 kilovat çekiyor.

TPU v7 ise raf başına 64 çip barındırıyor ancak 10 megavat tüketen 144 raf üzerinde pod başına 9.216 çipe kadar ölçekleniyor.

Pod seviyesinde GB300, FP4 için 8,64 eksaflops ve FP8 için 2,88 eksaflops sunarken, TPU v7 FP8 iş yükleri için 42,5 eksaflops sunuyor.

Toplam sahip olma maliyeti uygulamaya göre değişiyor. Bank of America tahminlerine göre, GB300 NVL72 çip başına saat başına yaklaşık 6,30 dolar maliyete sahipken, dahili TPU v7 kullanımı için yaklaşık 3,50 dolar veya harici müşteriler için yaklaşık 4,38 dolar maliyeti var.

Bu, GB300 FP4 iş yükleri için saatte 0,42 dolar anlamına gelirken, TPU v7 için dahili olarak 0,76 dolar veya harici olarak yaklaşık 0,95 dolar maliyeti var. GB300 FP8 iş yükleri için saatte 1,26 dolar, TPU v7 için dahili olarak 0,76 dolar veya harici olarak yaklaşık 0,95 dolar maliyeti bulunuyor.

Yazılım uyumluluğu önemli ölçüde farklılık gösteriyor. Nvidia CUDA, TensorRT-LLM, PyTorch, JAX ve Triton’u desteklerken, Google’ın TPU’su JAX/XLA, TensorFlow ve gelişmekte olan PyTorch/XLA ile çalışıyor.

Rapora göre, gerçek hayattaki performans büyük ölçüde belirli iş yüküne, optimizasyona ve ekosistem desteğine bağlı.

Bu makale yapay zekanın desteğiyle oluşturulmuş, çevrilmiş ve bir editör tarafından incelenmiştir. Daha fazla bilgi için Şart ve Koşullar bölümümüze bakın.

administrator

İlgili Makaleler