DeepMind’ın “Gato” sinir ağı, blokları yığan robotik kolları kontrol etmek, Atari 2600 oyunlarını oynamak ve resimlere altyazı eklemek dahil olmak üzere birçok görevde üstündür. Resim: Derin Akıl.
Dünya, derin öğrenmenin yapay zeka biçimlerindeki en son gelişmelerle ilgili manşetleri görmeye alıştı. Bununla birlikte, Google’ın DeepMind bölümünün en son başarısı, “birçok açıdan vasat bir iş yapan bir AI programı” olarak özetlenebilir.
DeepMind programının adı Gato, yakın zamanda sunuldu video oyunları oynayabilen, sohbet edebilen, kompozisyon yazabilen, resimlere alt yazı yazabilen ve blokları istifleyen robotik bir kolu kontrol edebilen sözde multimodal bir program gibi. Birden çok türde görevi gerçekleştirmek için birden çok veri türüyle çalışabilen bir sinir ağıdır.
“Yalnızca bir ağırlık seti ile Gato sohbet edebilir, resimlere yazı yazabilir, gerçek bir robot koluyla blokları istifleyebilir, Atari oyunlarında insanları geride bırakabilir, simüle edilmiş 3B ortamlarda gezinebilir, yönergeleri takip edebilir ve daha fazlasını yapabilir. baş yazar Scott Reed ve meslektaşlarını yazın “Bir Generalist Ajan” başlıklı makaleleri.
Emsal oluştur
DeepMind kurucu ortağı Demis Hassabis ekibi teşvik etti, tweet atarak : “Bugüne kadarki en genel temsilcimiz! Ekipten harika bir çalışma! Tek yakalama, Gato’nun birden fazla görevde o kadar iyi olmamasıdır.
Bir yandan program, blokları istifleyen bir Sawyer robot kolunu kontrol etmek için özel bir makine öğrenme programından daha iyisini yapabilir. Ancak diğer yandan, çoğu durumda oldukça zayıf olan resim açıklamaları üretir. Bir insan muhatap ile sohbet ederek diyalog kurma yeteneği aynı derecede vasat, bazen çelişkili ve saçma ifadelere yol açıyor.
Ve Atari 2600 video oyunlarını oynama yeteneği, Arcade Learning Environment karşılaştırmasında rekabet etmek için tasarlanmış çoğu özel makine öğrenimi programından daha düşüktür.
Neden bazı şeyleri oldukça iyi yapan ve diğer birçok şeyi o kadar iyi yapmayan bir program yaratalım? Yazarlara göre bu bir beklentidir. Yapay zekada en son teknoloji haline gelecek daha genel program türlerinin emsalleri vardır ve artan miktarlarda bilgi işlem gücünün gelecekte boşlukları doldurması beklenmektedir.
Çoklu Görev Aracısı
Genellik, yapay zekada (AI) zafer kazanma eğiliminde olabilir. Yazarların belirttiği gibi, konu uzmanı Richard Sutton’dan alıntı yaparak, “Tarihsel olarak, hesaplamalardan en fazla yararlanan genel modeller, belirli bir alanda daha özel yaklaşımlardan daha iyi performans gösterme eğilimindeydi.”
Richard Sutton’ın yazdığı gibi kendi blog yazısında“70 yıllık yapay zeka araştırmasından öğrenilebilecek en büyük ders, hesaplamadan yararlanan genel yöntemlerin nihayetinde açık ara en etkili yöntemler olduğudur.”
Resmi bir tezde, Scott Reed ve ekibi, “genel olarak çok sayıda görevi yerine getirebilen bir aracıyı eğitmenin mümkün olduğu ve bu genel aracının daha fazla sayıda başarılı olmak için çok az veri ile uyarlanabileceği hipotezini test ediyor. görevleri”.
Bu durumda model gerçekten çok geneldir. GPT-3 de dahil olmak üzere birçok programın temeli haline gelen, dikkat temelli modelin baskın türü olan “Transformer”ın bir versiyonudur. Bir Transformer, etrafındaki öğelere verilen belirli bir öğenin olasılığını modeller – örneğin bir cümledeki kelimeler.
1,18 milyar ağ parametresi
Gato’nun durumunda, DeepMind bilim adamları, birçok veri türünde aynı koşullu olasılık aramasını kullanabilirler.
“Gato’nun eğitim aşamasında, farklı görevlerden ve modalitelerden gelen veriler, düz bir belirteç dizisine serileştirilir, toplu hale getirilir ve büyük bir dil modeline benzer bir Transformer sinir ağı tarafından işlenir. Kayıp maskelenir, bu nedenle Gato yalnızca eylem ve metin hedeflerini tahmin eder, ”diyor Scott Reed ve meslektaşları, programın eğitim göreviyle ilgili.
Başka bir deyişle, Gato, bir sohbetteki kelimeler veya bir blok istifleme alıştırmasındaki hareket vektörleri olsun, belirteçlere farklı davranmaz. Hepsi aynı.
Scott Reed ve ekibinin hipotezinin bir sonucu var, yani her zamankinden daha fazla bilgi işlem gücünün sonunda galip geleceği. Şimdilik Gato, blok istifleme yapan bir Sawyer robot kolunun tepki süresi ile sınırlıdır. 1,18 milyar ağ parametresiyle Gato, GPT-3 gibi çok büyük AI modellerinden çok daha küçüktür. Derin öğrenme modelleri büyüdükçe, çıkarım, gerçek dünyadaki bir robotun deterministik olmayan dünyasında başarısız olabilen gecikmeye yol açar.
Ancak Scott Reed ve meslektaşları, AI donanımının işlenmesi daha hızlı hale geldikçe bu sınırın aşılmasını bekliyor. “Eğitimimizi, şu anda Gato’nun durumunda yaklaşık 1,2 milyar parametre olan gerçek dünyadaki robotların gerçek zamanlı kontrolünü sağlayan model ölçekli çalışma noktasına odaklıyoruz” diye yazıyorlar. “Donanım ve model mimarileri geliştikçe, bu çalışma noktası doğal olarak ulaşılabilir model boyutunu artıracak ve genel amaçlı modelleri ölçekleme yasası eğrisinde daha yükseğe itecektir. »
Genelci bir programın potansiyel tehlikeleri?
Bu nedenle Gato, genel amaçlı modelleri daha da büyüterek, makine öğrenimi geliştirme için birincil itici güç olmaya devam edecek olan hesaplama ölçeğinin gerçekten bir modelidir. Başka bir deyişle, daha büyük daha iyidir.
Ve yazarların buna dair bazı kanıtları var. Gato, boyu arttıkça gerçekten iyileşiyor gibi görünüyor. 79 milyon, 364 milyon parametreye ve 1,18 milyar ana modele göre üç model boyutu için kıyaslama görevlerindeki ortalama puanları karşılaştırırlar. Yazarlar, “Eşit sayıda token için, artan ölçekle performansın önemli ölçüde arttığını görebiliriz” diye yazıyor.
Gelecek için ilginç bir soru, genel amaçlı bir programın diğer AI programlarından daha tehlikeli olup olmadığıdır. Yazarlar, makalelerinde henüz tam olarak anlaşılmayan potansiyel tehlikeler olduğunu tartışarak çok zaman harcıyorlar.
Birden fazla görevi yerine getirebilen bir program fikri, meslekten olmayanlara bir tür insan uyarlanabilirliği önerir, ancak bu tehlikeli bir yanılgı olabilir. Scott Reed ve ekibi, “Örneğin, fiziksel düzenleme, bir sistem arızası durumunda yanlış güvene yol açabilecek veya kötü aktörler tarafından istismar edilebilecek, kullanıcıların aracıyı antropomorfize etmesine neden olabilir,” diye yazıyor Scott Reed ve ekibi.
“Ayrıca, alanlar arası bilgi aktarımı genellikle makine öğrenimi araştırmalarında bir hedef olsa da, belirli davranışlar (örneğin, atari oyunu dövüşü) yanlış bağlama aktarılırsa, beklenmedik ve istenmeyen sonuçlar yaratabilir. »
Bu nedenle, “genelci sistemler ilerledikçe bilgi aktarımının etik ve güvenlik hususlarının önemli ölçüde yeni araştırmalar gerektirebileceğini” belirtiyorlar.
robotik alanı
Gato, genelleme eğiliminde hiçbir şekilde benzersiz değildir. Genelleme ve çok fazla güç kullanan daha büyük modellere yönelik genel eğilimin bir parçasıdır. Benzerleri arasında Pathways Dil Modeli olan PaLM, bu yıl Google uzmanları tarafından tanıtıldı. Binlerce çipi koordine etmek için yeni teknolojiyi kullanan 540 milyar parametreli bir modeldir. Yollar olarak bilinenayrıca Google tarafından icat edildi.
Görünüşe göre Gato’daki yenilikler, robotik olmayan görevler için kullanılan yapay zekayı alıp robotik alanına itme niyeti. Pathways ve diğer genelci yaklaşımların başarılarına dikkat çeken Gato’nun yaratıcıları, nihai başarıyı gerçek dünyada her türlü görev için çalışabilen bir yapay zeka olarak görüyor.
“Gelecekteki çalışma, bu metinsel yeteneklerin, gerçek dünyada, çeşitli ortamlarda ve enkarnasyonlarda gerçek zamanlı olarak da hareket edebilen tamamen genelci bir ajanda nasıl birleştirileceğini düşünmelidir. »
Bu nedenle, Gato’yu yapay zekadaki en zor problem olan robotik sorununu çözme yolunda önemli bir adım olarak düşünebilirsiniz.
Kaynak : ZDNet.com