Stanford İnternet Gözlemevi (SIO) tarafından 20 Aralık’ta açıklanan bir araştırma, bir veri kümesinde küçüklere yönelik cinsel istismarı vurgulayan yüzlerce görselin varlığını ortaya çıkardı. İkincisi, birçok şirket tarafından üretken yapay zeka (AI) modellerini eğitmek için kullanılıyor.
Şok edici veriler kullanılarak eğitilmiş Kararlı Difüzyonun birden fazla sürümü mü var?
LAION-5B olarak bilinen bu geniş veri kümesi, Kasım ayı itibarıyla on milyondan fazla kullanıcı tarafından kullanılan Stabil Difüzyon makine öğrenimi modelinin geliştirilmesi için kullanıldı. İnternetten alınan her türden beş milyardan fazla görsel, altyazı ve metin içeren bu kitapta, çocuklara yönelik cinsel istismar eylemlerini içeren en az 1.008 illüstrasyon bulunacak.
SIO, araştırmasını yürütmek için Microsoft tarafından geliştirilen PhotoDNA gibi karma araçlarını kullandı. Bu çözümler, çevrimiçi olarak küçüklerin cinsel istismarına ilişkin raporları alan ve işleyen kuruluşlar tarafından oluşturulan veritabanlarındaki bir görüntünün parmak izinin ilişkilendirilmesini mümkün kılar.
Bu içeriği keşfeden SIO araştırmacıları, Kanada Çocuk Koruma Merkezi’nin yanı sıra Amerika Birleşik Devletleri merkezli Uluslararası Kayıp ve Cinsel İstismara Uğrayan Çocuklar Merkezi’ni derhal uyardı. İki kuruluş şu anda LAION-5B’deki bu şok edici görüntülerin kaldırılması için gerekli prosedürleri yürütüyor. SIO’nun bir blog yazısında belirttiği gibi, ” Modeller, üzerine inşa edildikleri bazı temel veriler nedeniyle şok edici görüntüler oluşturabilecek. Rapor, Stabil Difüzyon 1.5’i temel alan modellerin kullanımdan kaldırılmasını ve mümkün olan her yerde dağıtımın durdurulmasını öneriyor “.
Stable Diffusion’ı finanse eden ve yaygınlaştıran İngiliz start-up Stable AI, yapay zekasının 1.5 versiyonunun, orijinal modelin geliştirilmesine katkıda bulunan başka bir kuruluş olan Runway tarafından yayınlandığını belirtmekte istekliydi. O zamandan beri yazılımın daha yeni bir sürümü olan 2.0’ın oluşturulduğu bildirildi. Saldırgan ve tehlikeli içeriklerden filtrelenmiş veri kümelerini kullanma “.
Start-up’ın bir sözcüsü şirketin devreye gireceğini söyledi ” AI’nın kötüye kullanımını önlemek ve görüntü modellerinin, küçüklerin cinsel istismarını tasvir eden içeriği değiştirme veya oluşturma girişimleri de dahil olmak üzere yasa dışı faaliyetler için kullanılmasını yasaklamak “. Platformda oluşturulan görüntüleri tanımlamak ve böylece yapay zekanın kötü niyetli kişiler tarafından olası kötüye kullanımını belirlemek için çeşitli içerik etiketleme özellikleri tanıtıldı.