Google araştırmacıları, makine öğrenimi yardımıyla, internetten alınan fotoğrafları kullanarak dünya çapındaki ünlü yapıları inanılmaz derecede ayrıntılı 3 boyutlu videolara dönüştürdü. Araştırmacılar projenin GitHub sayfasında, Brandenburg Kapısı'nın, Trevi Çeşmesi'nin ve Sacré-Cœur'un 3 boyutlu görüntülerini paylaştı. Üstelik bu görüntüleri oluşturma için Flickr gibi online sitelerden alınan fotoğraflar kullanıldı. Sonuçlar, kameradan gelen görüntünün hareket ettirilebildiği ve sahnenin görünümünün farklı ışık efektleriyle değiştirilebildiği etkileyici görseller olarak karşımıza çıkıyor.
Araştırmacılar kısa süre önce yöntemlerini "NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections" başlıklı bir makalede bir araya getirdi. NeRF-W olarak adlandırdıkları yöntem, bir fotoğraf koleksiyonundan 3 boyutlu sahneleri yeniden oluşturmak için de kullanılabilen, ancak fotoğrafların kontrollü bir ortamın dışında çekilmesi durumunda zorlanabilen Nöral Parlaklık Alanları (NeRF) üzerine inşa ediliyor.
Our paper, “NeRF in the Wild”, is out! NeRF-W is a method for reconstructing 3D scenes from internet photography. We apply it to the kinds of photos you might take on vacation: tourists, poor lighting, filters, and all. https://t.co/lawLB4eEup (1/n) pic.twitter.com/UuvUm4eVzm
— Daniel Duckworth (@duck) August 6, 2020
Bu yaklaşım, bir sahnenin parlaklık alanını ve yoğunluğunu bir sinir ağının ağırlıkları içinde örtük olarak modelliyor. Araştırmacılar makalelerinde yazdıkları gibi, doğrudan hacim sunumunu yeni görünümleri sentezlemek için kullanılıyor ve ortaya çıkan sonuçta görseller, şimdiye kadar görülmemiş düzeyde bir aslına uygunluk gösteriyor. Ancak bu yöntem ışık efektlerinin sabit kaldığı ve sahnedeki tüm içeriğin statik olduğu durumlarda işe yarıyor; kısacası yalnızca kontrollü ortamlarda iyi çalışıyor.
Araştırmacılar, NeRF'ün bu parametrelerin dışında kalan görüntüleri kullanırken zorlanacağının altını çiziyor. Sonuç olarak kullanılacak görüntülerin hemen hemen aynı zaman diliminde çekilmiş olması ve fotoğrafı bozabilecek uçak, kuş, bisiklet, araba gibi nesneleri içermemesi gerekiyor.