GPU’lar, AI ve HPC uygulamalarının talepleriyle karşı karşıya kaldıklarında bellek sınırlamalarına sahiptir. Bu darboğazın etrafından dolanmanın yolları var. Ancak çözümler pahalı ve zahmetli olabilir. Şimdi, Güney Kore’nin Daejeon kentinde merkezlenen bir girişim, yeni bir yaklaşım geliştirdi: Kapasiteyi genişletmek için PCIe’ye bağlı bellek kullanmak. Bu çözümü geliştirmek birçok teknoloji çemberinden atlamayı gerektirdi ve önümüzde hala zorluklar var. Peki AMD, Intel ve Nvidia teknolojiyi destekleyecek mi?
Yapay zeka ve HPC bellek sınırlamalarına meydan okuyor
Yapay zeka ve HPC uygulamaları için gelişmiş veri kümelerinden kaynaklanan bellek gereksinimleri genellikle bir GPU’ya yerleştirilmiş belleği boğar. Bu belleği genişletmek genellikle pahalı yüksek bant genişliğine sahip bellek takmak anlamına gelir ve bu da genellikle mevcut GPU mimarisinde veya yazılımında değişikliklere neden oluyor. Bu darboğaza bir çözüm, Güney Kore’nin KAIST araştırma enstitüsü tarafından desteklenen bir şirket olan Panmnesia tarafından sunuluyor. Bu şirket, GPU’ların doğrudan bir Compute Express Link (CXL) arayüzü aracılığıyla sistem belleğine erişmesine olanak tanıyan yeni bir teknoloji tanıttı. Aslında, GPU’ların sistem belleğini kendi belleklerinin bir uzantısı olarak kullanmasını sağlıyor.
ABD’de hizmet veren HealthEquity bir paydaşın kişisel cihazından ‘anormal davranış’ tespit ettikten sonra tehlikeyi tespit ettiğini ve olayla ilgili bir soruşturma başlattığını söylüyor. Soruşturma, ilgili paydaşın ele geçirilen hesabından yararlanarak…
Şirket, CXL GPU Image adını verdiği PCIe bağlantılı belleğin, geleneksel SSD’lerden önemli ölçüde daha hızlı olan çift haneli nanosaniye gecikme süresine sahip olduğunu söylüyor. CXL, bir PCIe bağlantısının üstünde çalışan bir protokol. Ancak teknoloji bir ASIC ve alt sistemi tarafından tanınmalıdır. Başka bir deyişle, GPU’larda DRAM ve/veya SSD uç noktalarını destekleyen bir CXL mantık yapısı ve alt sistemi olmadığından, teknoloji yığınına basitçe bir CXL denetleyicisi eklenemez.
Ayrıca, GPU önbelleği ve bellek alt sistemleri, AI veya HPC için yeterince hızlı olmayan birleşik sanal bellek (UVM) dışında hiçbir genişlemeyi tanımaz. Panmnesia tarafından yapılan testlerde, UVM tüm test edilen GPU çekirdekleri arasında en kötü performansı gösterdi. Ancak CXL, yükleme/depolama talimatları aracılığıyla genişletilmiş depolamaya doğrudan erişim sağladı ve sayfa hataları sırasında ana bilgisayar çalışma zamanı müdahalesinden kaynaklanan ek yük ve sayfa düzeyinde veri aktarımı gibi UVM’yi engelleyen sorunları ortadan kaldırdı. Panmnesia’nın buna karşılık geliştirdiği şey, tüm temel CXL protokollerini destekleyen ve bunları tek bir denetleyicide birleştiren bir dizi donanım katmanı.
Yapay zeka ve HPC oyun kurallarını değiştiriyor yazısı ilk önce TechInside üzerinde ortaya çıktı.