Microsoft’un DirectStorage uygulama programlama arabirimi (API), Windows ortamındaki oyunlar için GPU’dan SSD’ye veri aktarımlarının verimliliğini artırmayı vaat ediyor, ancak Nvidia ve ortakları, GPU’ların özel bir API olmadan SSD’lerle sorunsuz çalışmasını sağlamanın bir yolunu buldu. Büyük Hızlandırıcı Belleği (BaM) adı verilen yöntem, çeşitli hesaplama görevleri için faydalı olmayı vaat ediyor, ancak özellikle büyük veri kümeleri kullanan yeni ortaya çıkan iş yükleri için faydalı olacak. Esasen, GPU’lar programlanabilirlik açısından CPU’lara yaklaştıkça büyük depolama cihazlarına da doğrudan erişime ihtiyaç duyarlar.
Modern grafik işleme birimleri yalnızca grafikler için değildir; analitik, yapay zeka, makine öğrenimi ve yüksek performanslı bilgi işlem (HPC) gibi çeşitli ağır iş yükleri için de kullanılırlar. Büyük veri kümelerini verimli bir şekilde işlemek için GPU’lar ya yerel olarak çok büyük miktarlarda pahalı özel amaçlı belleğe (örn. HBM2, GDDR6, vb.) ya da katı hal depolamaya verimli erişime ihtiyaç duyar. Modern hesaplama GPU’ları zaten 80 GB–128 GB HBM2E bellek taşır ve yeni nesil hesaplama GPU’ları yerel bellek kapasitesini genişletecektir. Ancak veri kümesi boyutları da hızla artıyor, bu nedenle GPU’lar ve depolama arasındaki birlikte çalışabilirliği optimize etmek önemlidir.
GPU’lar ve SSD’ler arasındaki birlikte çalışabilirliğin iyileştirilmesinin gerekli olmasının birkaç temel nedeni vardır. İlk olarak, NVMe çağrıları ve veri aktarımları, genel performans ve verimlilik açısından verimsiz olan CPU’ya çok fazla yük bindirir. İkinci olarak, CPU-GPU senkronizasyon ek yükü ve/veya G/Ç trafik amplifikasyonu, büyük veri kümelerine sahip uygulamaların gerektirdiği etkin depolama bant genişliğini önemli ölçüde sınırlar.
“Büyük Hızlandırıcı Belleğin amacı, GPU bellek kapasitesini genişletmek ve etkin depolama erişim bant genişliğini geliştirirken, GPU iş parçacıklarının genişletilmiş bellek hiyerarşisindeki büyük veri yapılarına kolayca isteğe bağlı, ince taneli erişim yapması için üst düzey soyutlamalar sağlamaktır. ,” a tanım tarafından belirtilen Nvidia, IBM ve Cornell Üniversitesi tarafından kavramın Kayıt okur.
BaM, esasen Nvidia GPU’nun CPU’yu kullanmadan doğrudan sistem belleğinden ve depolamadan veri almasını sağlar ve bu da GPU’ları bugün olduğundan daha kendi kendine yeterli hale getirir. Hesaplama GPU’ları, yerel belleği yazılım tarafından yönetilen önbellek olarak kullanmaya devam eder, ancak verileri bir PCIe arabirimi, RDMA ve SSD’lerin gerektiğinde doğrudan GPU belleği okumasına ve yazmasına olanak tanıyan özel bir Linux çekirdek sürücüsü kullanarak taşır. Gerekli veriler yerel olarak mevcut değilse, SSD’ler için komutlar GPU iş parçacıkları tarafından sıraya alınır. Bu arada BaM, sanal bellek adres çevirisi kullanmaz ve bu nedenle TLB kaçırmaları gibi serileştirme olayları yaşamaz. Nvidia ve ortakları, diğerlerinin BaM konseptlerini kullanmasına izin vermek için sürücüyü açık kaynaklı hale getirmeyi planlıyor.
Nvidia’nın belgesinde, “BaM, GPU iş parçacıklarının, hesaplama tarafından belirlendiği üzere, isteğe bağlı olarak küçük miktarlarda veri okumasını veya yazmasını sağlayarak G/Ç trafiği amplifikasyonunu azaltıyor” diyor. “GPU’larda çalışan BaM altyapı yazılımının, temel depolama cihazlarını tam olarak kullanmak için yeterince yüksek bir oranda ince taneli erişimleri tanımlayabildiğini ve iletebildiğini, tüketici sınıfı SSD’lerde bile, bir BaM sisteminin rekabetçi bir uygulama performansını destekleyebileceğini gösteriyoruz. çok daha pahalı bir yalnızca DRAM çözümüne karşı ve G/Ç amplifikasyonundaki azalma önemli performans avantajı sağlayabilir.”
Nvidia’nın BaM’i, büyük ölçüde, GPU’ların geniş bir depolama havuzu elde etmesinin ve bunu CPU’dan bağımsız olarak kullanmanın bir yoludur, bu da hesaplama hızlandırıcılarını bugünkünden çok daha bağımsız hale getirir.