C­e­r­e­b­r­a­s­ ­C­S­-­2­ ­G­o­f­r­e­t­ ­Ö­l­ç­e­k­l­i­ ­Y­o­n­g­a­,­ ­H­e­r­ ­B­i­r­ ­G­P­U­’­y­u­ ­S­ı­ç­r­a­y­ı­ş­l­a­r­ ­v­e­ ­S­ı­n­ı­r­l­a­r­l­a­ ­D­a­h­a­ ­İ­y­i­ ­P­e­r­f­o­r­m­a­n­s­ ­G­ö­s­t­e­r­d­i­,­ ­T­e­k­ ­B­i­r­ ­C­i­h­a­z­d­a­ ­E­ğ­i­t­i­l­e­n­ ­E­n­ ­B­ü­y­ü­k­ ­Y­a­p­a­y­ ­Z­e­k­a­ ­M­o­d­e­l­i­n­i­n­ ­R­e­k­o­r­u­n­u­ ­K­ı­r­d­ı­

Cerebras, dünyanın en büyük hızlandırıcı çipi olan CS-2’nin geliştirilmesini ve üretimini geliştiren ve üreten tek bir cihazda en kapsamlı küresel Doğal Dil İşleme (NLP) AI modelinin en önemli öğrenme girişimi olan şirket için bir bağlantı noktası ilan etti. Gofret Ölçekli Motor.

Cerebras tarafından eğitilen yapay zeka modeli, benzersiz ve dikkat çekici yirmi milyar parametreye ulaştı. Cerebras, iş yükünü çok sayıda hızlandırıcı arasında ölçeklendirmek zorunda kalmadan bu eylemi tamamladı. Cerebras’ın zaferi, önceki modellere kıyasla yazılım gereksinimlerinin altyapısı ve karmaşıklığının azaltılmış olması nedeniyle makine öğrenimi için kritik öneme sahiptir.

Think Silicon, Embedded World 2022 konferansında ilk düşük güçlü RISC-V 3D GPU’yu sergiliyor

Wafer Scale Engine-2, piyasadaki yüzlerce premium çipe eşit olan 7 nm’lik ayrı bir gofrete işlenmiştir ve 2,6 trilyon 7 nm transistöre sahiptir. Wafer ve transistörlerin yanı sıra, Wafer Scale Engine-2, 15kW güç tüketimi ile 850.000 çekirdek ve 40 GB entegre önbellek içerir. Tom’s Hardware, “tek bir CS-2 sisteminin tek başına bir süper bilgisayara benzediğini” belirtiyor.

Bireysel bir çipte 20 milyar parametreli bir NLP modeli kullanan Cerebras’ın avantajı, şirketin binlerce GPU, donanım ve ölçeklendirme gereksinimlerinin eğitim maliyetinde ek yükünü azaltmasına olanak tanır. Buna karşılık şirket, çeşitli modelleri çip üzerinde bölümlere ayırmanın teknik zorluklarını ortadan kaldırabilir. Şirket, bunun “NLP iş yüklerinin en acı verici yönlerinden biri olduğunu, […] tamamlanması aylar alıyor.”

Bu, yalnızca işlenmiş her bir sinir ağı, GPU spesifikasyonları ve tüm bileşenleri birleştiren genel ağ için olağandışı olmayan ve araştırmacıların eğitimin ilk bölümünden önce ilgilenmesi gereken özel bir sorundur. Eğitim ayrıca tektir ve birden fazla sistemde kullanılamaz.

Şu anda, daha az parametre kullanmak zorunda kalarak son derece iyi performans gösteren sistemler gördük. Böyle bir sistem, sürekli olarak GPT-3’ü ve Gopher’ın 70 milyar parametresini aşan Chinchilla’dır. Bununla birlikte, Cerebras’ın başarısı, araştırmacıların, yeni Wafer Scale Engine-2 üzerinde diğerlerinin yapamayacağı şekilde, kademeli olarak ayrıntılı modeller hesaplayabileceklerini ve oluşturabileceklerini keşfedecekleri için son derece önemlidir.

EVGA, GPU Piyasası Normalleşirken GeForce RTX 30 Grafik Kartları İçin Kuyruk Sistemini Sonlandırıyor

Çok sayıda uygulanabilir parametrenin arkasındaki teknoloji, şirketin Ağırlık Akışı teknolojisini kullanır ve araştırmacıların “hesaplama ve bellek ayak izlerini ayırmasına olanak tanır ve belleğin, AI iş yüklerinde hızla artan sayıda parametreyi depolamak için gereken miktara göre ölçeklendirilmesine olanak tanır” ” Buna karşılık, öğrenmeyi ayarlamak için geçen süre, yalnızca birkaç standart komutla aylardan dakikalara düşürülecek ve GPT-J ve GPT-Neo arasında kusursuz geçiş yapılmasına olanak tanıyacaktır.