NVIDIA yakın zamanda hızlandırılmış Firma artık Google’ın son teknoloji ürünü Gemma modelini geliştirirken, AI destekli RTX GPU’larıyla endüstri standardı Yüksek Lisans’ların optimize edilmesindeki gelişmeler.
[Press Release]: NVIDIA, Google ile işbirliği içinde, Google’ın her yerde çalıştırılabilen, maliyetleri azaltan ve hızlandıran son teknoloji ürünü yeni hafif 2 milyar ve 7 milyar parametreli açık dil modelleri olan Gemma için tüm NVIDIA AI platformlarında optimizasyonları bugün başlattı. Etki alanına özgü kullanım durumları için yenilikçi çalışma.
Şirketlerin ekipleri, Gemini modellerini oluşturmak için kullanılan aynı araştırma ve teknolojiden yola çıkılarak oluşturulan Gemma’nın performansını, NVIDIA üzerinde çalışırken büyük dil modeli çıkarımını optimize etmeye yönelik açık kaynaklı bir kitaplık olan NVIDIA TensorRT-LLM ile hızlandırmak için yakın bir şekilde birlikte çalıştı. Veri merkezindeki, buluttaki ve NVIDIA RTX GPU’lu PC’lerdeki GPU’lar.
Bu, geliştiricilerin dünya çapında yüksek performanslı AI bilgisayarlarda bulunan 100 milyondan fazla NVIDIA RTX GPU’dan oluşan kurulu tabanı hedeflemesine olanak tanır.
Geliştiriciler ayrıca Gemma’yı, Google Cloud’un H100 Tensor Core GPU’yu temel alan A3 örnekleri ve yakında Google’ın bunu dağıtacağı, saniyede 4,8 terabayt hızında 141 GB HBM3e belleğe sahip NVIDIA H200 Tensor Core GPU’ları da dahil olmak üzere buluttaki NVIDIA GPU’larda çalıştırabilirler. yıl.
Kurumsal geliştiriciler ayrıca Gemma’da ince ayar yapmak ve optimize edilmiş modeli üretim uygulamalarında dağıtmak için NeMo çerçeveli NVIDIA AI Enterprise ve TensorRT-LLM dahil olmak üzere NVIDIA’nın zengin araç ekosisteminden yararlanabilirler.
Yakın zamanda Gemma için destek eklenecek olan, alma destekli nesil ve TensorRT-LLM yazılımını kullanan bir NVIDIA teknoloji demosu olan Chat with RTX ile kullanıcılara yerel, RTX destekli Windows PC’lerinde üretken yapay zeka özellikleri kazandıracak. RTX ile sohbet, kullanıcıların bir bilgisayardaki yerel dosyaları büyük bir dil modeline kolayca bağlayarak bir sohbet robotunu kendi verileriyle kişiselleştirmesine olanak tanır.
Haber kaynağı: NVIDIA Blogu