N­v­i­d­i­a­,­ ­İ­l­k­ ­G­r­a­c­e­ ­H­o­p­p­e­r­ ­C­P­U­ ­S­ü­p­e­r­ ­Ç­i­p­ ­T­e­s­t­l­e­r­i­n­i­ ­M­L­P­e­r­f­’­e­ ­S­u­n­d­u­

Nvidia bugün, Grace Hopper CPU+GPU Superchip ve L4 GPU hızlandırıcıları için ilk kıyaslama sonuçlarını, AI performansını ölçmek için eşit bir oyun alanı sunmak üzere tasarlanmış endüstri standardı bir AI karşılaştırması olan MLPerf’in en yeni sürümüne sunduğunu duyurdu. farklı iş yükleri. Bugünkü kıyaslama sonuçları, MLPerf karşılaştırması için iki önemli yeni ilki işaret ediyor: Yeni bir Büyük Dil modeli (LLM) GPT-J çıkarım kıyaslaması ve yenilenen öneri modelinin eklenmesi. Nvidia, Grace Hopper Superchip’in GPT-J değerlendirmesinde pazar lideri H100 GPU’larından birinden %17’ye kadar daha fazla çıkarım performansı sunduğunu ve L4 GPU’larının Intel’in Xeon CPU’larına göre 6 kata kadar daha fazla performans sunduğunu iddia ediyor.

Sektör, daha yeni yapay zeka modellerine ve daha güçlü uygulamalara doğru hızla geliştikçe baş döndürücü bir hızla ilerliyor. Aynı doğrultuda, MLCommons kuruluşu tarafından yönetilen MLPerf kıyaslaması, yeni v3.1 revizyonuyla yapay zeka ortamının değişen doğasını daha iyi yansıtacak şekilde sürekli olarak gelişiyor.

2021’den bu yana gerçek dünyadaki iş yüklerinde kullanılan metinlere yönelik bir özetleme modeli olan GPT-J 6B, artık MLPerf paketinde çıkarım performansını ölçmek için bir referans noktası olarak kullanılıyor. GPT-J 6 milyar parametreli LLM, 175 milyar parametreli GPT-3 gibi bazı daha gelişmiş yapay zeka modelleriyle karşılaştırıldığında oldukça hafiftir ancak çıkarım kıyaslaması rolüne güzel bir şekilde uyar. Bu model, metin bloklarını özetler ve hem gecikmeye duyarlı olan çevrimiçi modda, hem de üretim açısından yoğun olan çevrimdışı modda çalışır. MLPerf paketi artık iki kat daha fazla parametre sayısına sahip daha büyük bir DLRM-DCNv2 öneri modelini, daha büyük bir çoklu sıcak veri kümesini ve gerçek dünya ortamlarını daha iyi temsil eden bir çapraz katman algoritmasını kullanıyor.

Resim 1 ile ilgili 10

Bu arka planla birlikte Nvidia’nın bazı performans iddialarını burada görebiliriz. Nvidia’nın bu kriterleri MLCommons’a kendisinin gönderdiğini unutmayın, dolayısıyla bunlar muhtemelen yüksek düzeyde ayarlanmış en iyi senaryoları temsil eder. Nvidia ayrıca MLPerf paketinde kullanılan her yapay zeka modeli için karşılaştırmalı değerlendirmeler sunan tek şirket olduğunu belirtmekten hoşlanıyor ki bu objektif olarak doğru bir ifadedir. AMD gibi bazı şirketler tamamen yok ya da Intel’in Habana ve Google’ın TPU’su gibi yalnızca seçilmiş birkaç kriteri sunuyor. Gönderim eksikliğinin nedenleri şirkete göre değişir, ancak daha fazla rakibin MLPerf ringine adım attığını görmek güzel olurdu.