2022’nin sonunda DALL-E 2’nin piyasaya sürülmesinden bu yana, anlık tabanlı görüntü oluşturucular çok revaçta ve birçok kaliteli rakip pazara giriyor. Ancak artık yeni bir teknolojinin şafağındayız: Yapay zekayla video üretimi.
Geçtiğimiz Salı günü, Google Araştırma bir rapor yayınladı Araştırma kağıdı Metin istemlerinden ve diğer görüntülerden çok gerçekçi videolar oluşturabilen Lumiere’de.
Makaleye göre model, video oluşturma sentezindeki önemli bir zorluğu, yani “gerçekçi, çeşitli ve tutarlı hareketler” yaratmayı ele almak üzere tasarlandı. Video oluşturma modellerinin genellikle dalgalı videolar ürettiğini fark etmiş olabilirsiniz ancak aşağıdaki videoda da gösterildiği gibi Google’ın yaklaşımı daha sorunsuz bir izleme deneyimi sağlıyor.
Bu video oluşturma yöntemi diğer mevcut modellerden farklıdır
Video klipler sadece pürüzsüz görünmekle kalmıyor, aynı zamanda hiper gerçekçi görünüyorlar; bu da diğer modellere göre çok büyük bir gelişme. Lumiere bunu, bir videonun zamansal süresini tek seferde üreten Uzay-Zaman U-Net mimarisi aracılığıyla başarıyor.
Bu video oluşturma yöntemi, uzak anahtar kareleri sentezleyen diğer mevcut modellerden farklıdır. Makaleye göre bu yaklaşım, doğası gereği videonun tutarlı kalmasını zorlaştırıyor.
Lumiere, normal bir görüntü oluşturucu gibi çalışan ve bir metin isteminden video oluşturan metinden videoya ve bir görüntüyü alıp beraberindeki istemi kullanarak görüntüyü getiren görüntüden videoya dahil olmak üzere farklı girdilerden videolar oluşturabilir. bir videoda hayata fotoğraf.
ImagenVideo, Pika, ZeroScope ve Gen2 ile rekabet
Şablon aynı zamanda kullanıcıdan gelen bir istemi kullanarak hedef tarzda bir video oluşturmak için tek bir referans çerçevesi kullanan stil oluşturma ile video oluşturma sürecine eğlenceli bir yön de verebilir.
Şablon, video oluşturmanın yanı sıra, bir videoyu belirli bir istemi yansıtacak şekilde değiştiren çeşitli görsel stilizasyonlar aracılığıyla mevcut videoları düzenlemek için de kullanılabilir. sinemagraflar bir fotoğrafın belirli bir alanını canlandıran ve videonun eksik veya hasarlı alanlarını dolduran boya.
Google, makalesinde Lumiere’in performansını ImagenVideo, Pika, ZeroScope ve Gen2 dahil olmak üzere diğer önde gelen metinden videoya dağıtım modellerine göre ölçtü ve bir grup testçiden görsel kalite ve hareket açısından en iyi olduğuna karar verdikleri videoyu seçmelerini istedi. , her videoyu hangi modelin oluşturduğunu bilmeden.
Fikir edinmek için çok sayıda demo
Google’ın modeli, videoya karşı metin kalitesi, videoya karşı metin hizalaması ve videoya karşı görüntü kalitesi dahil olmak üzere her kategoride diğerlerinden daha iyi performans gösterdi.
Işık
Model henüz genel kullanıma sunulmadı; Ancak daha fazla bilgi edinmek veya modelleri çalışırken izlemek isterseniz Lumiere web sitesini ziyaret edebilirsiniz; burada modelin farklı görevleri yerine getirdiği çok sayıda gösterimi görebilirsiniz.
Kaynak : “ZDNet.com”