Y­a­p­a­y­ ­z­e­k­a­ ­m­o­d­e­l­i­ ­P­o­r­o­,­ ­A­v­r­u­p­a­­d­a­ ­ç­o­k­ ­d­i­l­l­i­ ­y­ü­k­s­e­k­ ­l­i­s­a­n­s­ ­(­L­L­M­)­ ­i­ç­i­n­ ­y­e­n­i­ ­k­i­l­o­m­e­t­r­e­ ­t­a­ş­l­a­r­ı­ ­b­e­l­i­r­l­i­y­o­r­

Poro, İngilizce, Fince ve kodları işlemek için tasarlanmış 34,2 milyar parametreli bir modeldir. 1 trilyon tokenden oluşan bir veri kümesi üzerinde eğitilmiştir.

Silo AI'nin kurucu ortağı ve CEO'su Peter Sarlin, TNW'ye “Poro ile kanıtladığımız şey, Fince gibi düşük kaynaklı diller için rekabetçi modeller oluşturabildiğimizdir” dedi.

Sarlin, genel yüksek lisans eğitimlerinde İngilizce gibi yüksek kaynaklı dillerin hakim olduğunu, bunun da düşük kaynaklı dillerin yeteneklerinin çeviri boyutuna ulaştığı, ancak belirli bir ülkenin dilini ve kültürünü temsil etmediği anlamına geldiğini açıkladı.

Girişime göre Poro, Mistral, FinGPT, Llama ve BLUUMI 176 milyar parametre modeli dahil olmak üzere Fince'deki mevcut tüm açık kaynaklı dil modellerinden daha iyi performans gösteriyor.

Bunu başarmak için ekip, Finceyi yüksek kaynaklara sahip dillerle eşleştirerek yeni bir eğitim yaklaşımı kullandı. Düşük kaynaklı diller için optimum veri yeniden kullanım sıklıklarını belirledi ve Fince ile İngilizce arasında çevrilmiş eşleştirilmiş metinleri entegre etti. Bu yöntem, diller arasındaki bağlantıların anlaşılmasını artırmak için diller arası sinyallere dayanır ve dolayısıyla Fince performansını artırırken İngilizce performansından ödün vermez.

Poro ayrıca başka bir dönüm noktasına daha ulaştı: EuroHPC'de eğitilen ilk çok dilli model oldu Süper bilgisayar. “Bu, Yüksek Lisans'lara AMD tabanlı eğitim verebildiğimizin kanıtıdır.” LUMI süper bilgisayarıSarlin, “NVIDIA tabanlı bir süper bilgisayar yerine” dedi.

Avrupa egemenliğine doğru bir adım

Açık kaynaklı çok dilli Yüksek Lisanslar dil çeşitliliğini, kültürel temsili ve demokratik erişimi sağlamanın anahtarıdır yapay zeka. Avrupa için de kritikler Yapay zeka egemenliği.

Sarlin, “Ticari açıdan bakıldığında, bu modeller Avrupalı ​​şirketlerin en üst düzeyde yenilik yapmasına olanak tanıyan bir temel ve altyapı oluşturuyor” dedi. “Bu şekilde şirketler fikri mülkiyet yaratabilir, rekabet avantajı yaratabilir ve [create] Değerin Avrupa'da onlarla birlikte kalmasını sağlayan harika bir iş.'

Poro, hem ticari hem de araştırma amaçlı kullanıma izin veren Apache 2.0 Lisansı kapsamında ücretsiz olarak mevcuttur. SiloAI şu anda İskandinav dilleri (İsveççe, Norveççe, Danca ve İzlandaca) üzerinde çalışıyor ve AB'nin diğer tüm resmi dillerine genişlemeyi planlıyor.