Orijinal versiyon ile ilgili bu hikaye ortaya çıkan Quanta Dergisi.
Bilgisayar bilimcilerinden oluşan bir ekip, bir daha çevik, daha esnek tip makine öğrenimi modelinin İşin püf noktası: Bildiğini periyodik olarak unutması gerekir. Bu yeni yaklaşım, en büyük uygulamaları destekleyen devasa modellerin yerini almayacak olsa da, bu programların dili nasıl anladığı hakkında daha fazla bilgi verebilir.
Yeni araştırmanın “alanda önemli bir ilerlemeye” işaret ettiği belirtildi Jea KwonGüney Kore'deki Temel Bilimler Enstitüsü'nde yapay zeka mühendisi.
Günümüzde kullanılan yapay zeka dil motorları çoğunlukla yapay sinir ağları. Ağdaki her “nöron”, diğer nöronlardan sinyaller alan, bazı hesaplamalar yapan ve sinyalleri birden fazla nöron katmanına gönderen matematiksel bir fonksiyondur. Başlangıçta bilgi akışı az çok rastgeledir, ancak eğitim yoluyla, ağ eğitim verilerine uyum sağladıkça nöronlar arasındaki bilgi akışı gelişir. Örneğin bir yapay zeka araştırmacısı iki dilli bir model oluşturmak istiyorsa, modeli her iki dilden gelen büyük bir metin yığınıyla eğitir; bu, nöronlar arasındaki bağlantıları, bir dildeki metni eşdeğeriyle ilişkilendirecek şekilde ayarlar. diğerindeki kelimeler.
Ancak bu eğitim süreci çok fazla bilgi işlem gücü gerektirir. Model çok iyi çalışmıyorsa veya kullanıcının ihtiyaçları sonradan değişirse, onu uyarlamak zordur. “Diyelim ki 100 dile sahip bir modeliniz var, ancak istediğiniz dillerden birinin kapsanmadığını hayal edin” dedi Mikel ArtetxeYeni araştırmanın ortak yazarı ve yapay zeka girişimi Reka'nın kurucusu. “Sıfırdan başlayabilirsiniz ama bu ideal değil.”
Artetxe ve meslektaşları bu sınırlamaları aşmaya çalıştılar. Birkaç yıl önceArtetxe ve diğerleri, bir sinir ağını tek bir dilde eğittiler, ardından token adı verilen kelimelerin yapı taşları hakkında bildiklerini sildiler. Bunlar sinir ağının gömme katmanı adı verilen ilk katmanında depolanır. Modelin diğer tüm katmanlarını olduğu gibi bıraktılar. Birinci dilin belirteçlerini sildikten sonra, modeli ikinci dil üzerinde yeniden eğittiler; bu, yerleştirme katmanını o dilden yeni belirteçlerle doldurdu.
Model uyumsuz bilgiler içerse de yeniden eğitim işe yaradı: Model yeni dili öğrenip işleyebildi. Araştırmacılar, yerleştirme katmanının dilde kullanılan kelimelere özgü bilgileri depolarken, ağın daha derin düzeylerinin insan dillerinin ardındaki kavramlar hakkında daha soyut bilgiler depoladığını ve bunun da modelin ikinci dili öğrenmesine yardımcı olduğunu tahmin etti.
“Aynı dünyada yaşıyoruz. Aynı şeyleri farklı dillerde farklı kelimelerle kavramlaştırıyoruz” dedi. Yihong Chen, son makalenin baş yazarı. “Bu nedenle modelde aynı üst düzey mantığa sahipsiniz. Elma sadece bir kelimeden ziyade tatlı ve sulu bir şeydir.”
Kaynak bağlantısı