Cerebras Systems, dünyanın en büyük üreticisi işlemcitek bir cihaz kullanılarak eğitilen en karmaşık yapay zeka modeli rekorunu kırdı.
birini kullanmak CS-2 sistemişirketin gofret boyutundaki çipi tarafından desteklenmektedir (WSE-2), Cerebras, yazılım düzeyindeki yeni optimizasyonlar sayesinde artık 20 milyara kadar parametreye sahip yapay zeka modellerini eğitebiliyor.
Firma, atılımın yapay zeka mühendisleri için en sinir bozucu sorunlardan birini çözeceğini söylüyor: büyük ölçekli modelleri binlerce modele bölme ihtiyacı. GPU’lar. Sonuç, yeni modeller geliştirmek ve eğitmek için gereken süreyi büyük ölçüde azaltmak için bir fırsattır.
Doğal dil işleme (NLP) gibi alt disiplinlerde, modelin performansı parametre sayısı ile doğrusal bir şekilde ilişkilidir. Başka bir deyişle, model ne kadar büyük olursa, sonuç o kadar iyi olur.
Günümüzde büyük ölçekli yapay zeka ürünleri geliştirmek, geleneksel olarak çok sayıda GPU’ya veya hızlandırıcıya bir model yaymayı içerir, çünkü ya içinde barındırılacak çok fazla parametre vardır. hafıza veya bilgi işlem performansı eğitim iş yüklerini işlemek için yetersizdir.
Cerebras, “Bu süreç acı verici, tamamlanması genellikle aylar alıyor” dedi. Daha da kötüsü, süreç her ağ hesaplama kümesi çiftine özgüdür, bu nedenle iş farklı hesaplama kümelerine veya sinir ağları üzerinden taşınabilir değildir. Tamamen özel yapımdır.”
rağmen çoğu 20 milyardan fazla parametreden oluşan karmaşık modeller, tek bir CS-2 cihazında nispeten büyük ölçekli AI modellerini eğitme yeteneği, birçokları için bu darboğazları ortadan kaldırır, mevcut oyuncular için geliştirmeyi hızlandırır ve daha önce katılamayanlar için erişimi demokratikleştirir. Uzay.
“Cerebras’ın büyük dil modellerini uygun maliyetli, kolay erişimle kitlelere ulaştırma yeteneği, yapay zekada heyecan verici yeni bir çağın kapılarını açıyor. Intersect360 Research’ün Baş Araştırma Görevlisi Dan Olds, “Bu, on milyonları harcayamayan kuruluşlara büyük lig NLP’ye geçiş için kolay ve ucuz bir rampa sağlıyor” dedi.
“CS-2 müşterilerinin GPT-3 ve GPT-J sınıfı modelleri devasa veri kümeleri üzerinde eğitirken yaptıkları yeni uygulamaları ve keşifleri görmek ilginç olacak.”
Dahası, Cerebras, CS-2 sisteminin gelecekte “trilyonlarca parametreyle” daha da büyük modelleri işleyebileceğini ima etti. Ve birden fazla CS-2 sistemini birbirine zincirlemeBu arada, insan beyninden daha büyük yapay zeka ağlarının yolunu açabilir.