— Bernstein analistleri, Google’da eski Kıdemli Bulut Mühendisi, Yapay Zeka ve Makine Öğrenimi uzmanı Gunjan Shah ile bir web semineri düzenledikten sonra, AI veri merkezlerinin ihtiyaç duyduğu bellek miktarı hakkındaki görüşlerini paylaştı.
Firmanın ana bulgularında, AI veri merkezlerinin model eğitimi veya çalıştırma durumlarına göre çarpıcı şekilde farklı miktarlarda belleğe ihtiyaç duyduğu açıklandı.
Analist Mark Newman şöyle diyor: “Eğitim, çıkarımdan önemli ölçüde daha fazla bellek gerektirir.” Bunun nedeni model ağırlıklarını, aktivasyonları, gradyanları, optimize edici durumları ve “sık kontrol noktalarını” depolama ihtiyacıdır.
Bernstein, uzman yorumlarına dayanarak, orta büyüklükteki bir modelin bile eğitim sırasında “yaklaşık 1TB kombine bellek” tüketebileceğini belirtti. Buna karşılık, çıkarım çok daha az belleğe ihtiyaç duyar ve depolama geçici tensörler ve KV önbellekleriyle sınırlıdır.
Newman, hiper ölçekleyicilerin AI kullanımındaki ani artış karşısında hazırlıksız yakalandığını ve bunun bellek talebinde ve fiyatlandırmada keskin bir yükselişe neden olduğunu belirtiyor.
Bu dengesizliğin, HBM ve DRAM gibi temel bileşenlerin maliyetini artırdığı söyleniyor.
Bununla birlikte, firma, model mimarilerindeki iyileştirmelerin, yeni niceleme tekniklerinin ve yeni nesil çiplerin “uzun vadede bellek talebini yönetmeye” yardımcı olacağını ve sürdürülebilirliği destekleyeceğini belirtiyor.
Rapor, depolamayı bir başka darboğaz olarak vurguluyor. HDD kıtlığı, birçok operatörü SSD’lere yönlendirdi.
Bernstein, SSD’lerin HDD’lerden “beş ila on kat daha pahalı” olduğunu, ancak şirketlerin modellerini geliştirmeye devam etmek için bu maliyeti karşılamaya istekli olduklarını ekliyor.
SSD’lerin ayrıca “daha düşük işletme maliyetleri, azaltılmış güç tüketimi ve minimum soğutma gereksinimleri” dahil olmak üzere performans ve verimlilik avantajları sunduğu belirtiliyor.
Bernstein ayrıca, “daha düşük TCO, watt başına daha yüksek performans ve üstün ölçeklenebilirlik” sunan özel tasarlanmış TPU’lara işaret ediyor. Ancak GPU’lar, olgun ekosistemleri nedeniyle hızlı prototipleme için tercih edilmeye devam ediyor.
Geleceğe bakıldığında, firma, Yüksek Bant Genişliğine Sahip Flash’ın kritik bir yeni katman haline gelebileceğini, terabaytlarca hızlı, uçucu olmayan bellek ve gelecekteki AI iş yükleri için daha düşük enerji ihtiyaçları sunabileceğini söylüyor.
