Y­a­p­a­y­ ­z­e­k­a­ ­g­ü­v­e­n­l­i­ğ­i­n­d­e­n­ ­s­o­r­u­m­l­u­ ­O­p­e­n­A­I­ ­s­ü­p­e­r­ ­h­i­z­a­l­a­m­a­ ­e­k­i­b­i­ ­n­e­d­e­n­ ­ç­ö­k­t­ü­?­

OpenAI aylardır, emin olmaya önem veren çalışanlarını kaybediyor. yapay zeka güvenlidir. Şimdi şirket olumlu bir şekilde kan kaybediyor.

Ilya Sutskever ve Jan Leike Salı günü ChatGPT'nin yapımcısı OpenAI'den ayrıldıklarını duyurdular. Onlar şirketin liderleriydi süper hizalama ekip — öngörülemeyen şekilde hareket etmek yerine yapay zekanın yaratıcılarının hedefleriyle uyumlu kalmasını sağlamakla görevli ekip ve insanlığa zarar vermek.

Geriye kalanlar sadece onlar değil. Geçen Kasım ayından bu yana – OpenAI yönetim kurulu CEO Sam Altman'ı kovmaya çalıştı sadece onun hızla iktidara geri döndüğünü görmek için – şirketin güvenlik konusunda en bilinçli çalışanlarından en az beşi daha ya istifa etti ya da ihraç edildi.

Burada neler oluyor?

Efsaneyi sosyal medyada takip ediyorsanız OpenAI'nin gizlice büyük bir teknolojik atılım yaptığını düşünebilirsiniz. meme “İlya ne gördü?” Eski baş bilim adamı Sutskever'in, insanlığı yok edebilecek bir yapay zeka sistemi gibi korkunç bir şey gördüğü için ayrıldığını tahmin ediyor.

Ancak asıl yanıtın teknoloji hakkındaki karamsarlıktan çok, insanlara ve özellikle de bir insana ilişkin karamsarlıkla ilgisi olabilir: Altman. Şirketi tanıyan kaynaklara göre güvenlik odaklı çalışanlar ona olan güvenini kaybetmiş durumda.

Şirketin içeriden bilgisine sahip bir kişi bana, isminin açıklanmaması kaydıyla, “Bu, domino taşlarının birer birer düşmesi gibi, yavaş yavaş çöken bir güven sürecidir” dedi.

Pek çok çalışan bu konuyu kamuya açık bir şekilde konuşmaya istekli değil. Bunun nedeni kısmen OpenAI'nin çalışanlarına, aşağılayıcı olmayan hükümler içeren işten çıkarma anlaşmaları imzalamasını sağlamasıdır. ayrılırken. Eğer bir sözleşmeyi imzalamayı reddederseniz, şirketteki sermayenizden vazgeçmiş olursunuz, bu da potansiyel olarak milyonlarca doları kaybetmeniz anlamına gelir.

Ancak eski bir çalışan, şirketi özgürce eleştirebilmek için işten çıkarma anlaşmasını imzalamayı reddetti. OpenAI'yi yapay zekanın güvenli bir şekilde konuşlandırılmasına yönlendirmek umuduyla 2022'de katılan Daniel Kokotajlo, geçen ay istifa edene kadar yönetim ekibinde çalıştı.

“OpenAI, sonunda insan zekasını her alanda aşma hedefiyle giderek daha güçlü yapay zeka sistemlerini eğitiyor. Bu, insanlığın başına gelen en iyi şey olabilir ama aynı zamanda dikkatli davranmazsak en kötüsü de olabilir,” dedi Kokotajlo bu hafta bana.

OpenAI, birçok alanda insan veya insanüstü seviyelerde performans gösterebilen varsayımsal bir sistem olan yapay genel zeka (AGI) oluşturmak istediğini söylüyor.

“OpenAI'nin bu duruma ayak uyduracağına ve AGI'ye yaklaştıkça daha sorumlu davranacağına dair büyük bir umutla katıldım. Yavaş yavaş çoğumuz bunun olmayacağını anlamaya başladık” dedi Kokotajlo. “OpenAI liderliğine ve onların AGI'yi sorumlu bir şekilde yönetme becerilerine olan güvenimi yavaş yavaş kaybettim, bu yüzden istifa ettim.”

Ve Leike, şöyle açıklıyor: X üzerinde bir konu süper hizalama ekibinin eşbaşkanlığından neden ayrıldığını Cuma günü çok benzer bir tablo çizdi. “Sonunda bir kırılma noktasına ulaşana kadar, uzun süredir şirketin temel öncelikleri konusunda OpenAI liderliğiyle aynı fikirde değildim” diye yazdı.

OpenAI, yorum talebine yayınlanma zamanında yanıt vermedi.

OpenAI'nin güvenlik ekibi neden Sam Altman'a güvenmemeye başladı?

Neler olduğunu anlamak için geçen Kasım ayına dönmemiz gerekiyor. İşte o zaman Sutskever, OpenAI yönetim kuruluyla birlikte çalışarak Altman'ı kovmaya çalıştı. Kurul dedi ki Altman “iletişimlerinde tutarlı bir şekilde samimi değildi.” Tercüme: Biz ona güvenmiyoruz.

Devrilme olağanüstü derecede başarısız oldu. Altman ve müttefiki şirket başkanı Greg Brockman, OpenAI'nin en üst düzey yeteneğini almakla tehdit etti. Microsoft – Altman yeniden göreve getirilmediği sürece OpenAI'yi etkili bir şekilde yok etmek. Bu tehditle karşı karşıya kalan yönetim kurulu pes etti. Altman, yeni, daha destekleyici yönetim kurulu üyeleriyle ve şirketi yönetme konusunda daha özgür bir el ile her zamankinden daha güçlü bir şekilde geri döndü.

Şaha ateş edip ıskaladığınızda işler garipleşmeye başlar.

Kamuoyunda Sutskever ve Altman, devam eden bir dostluğun görüntüsünü veriyordu. Ve Sutskever ne zaman duyuruldu Bu hafta ayrılışının ardından, “benim için kişisel olarak çok anlamlı olan bir projeyi” takip etmek üzere yola çıktığını söyledi. Altman X'te yayınlandı iki dakika sonra “Bu benim için çok üzücü; İlya… sevgili bir arkadaşım.”

Ancak Sutskever OpenAI ofisinde görülmedi. yaklaşık altı ay – darbe girişiminden bu yana. Gelecekteki YGZ'nin hilekarlık yerine insanlığın hedefleriyle uyumlu olmasını sağlamakla görevlendirilen süper hizalama ekibine uzaktan eş liderlik yapıyor. Bu yeterince hoş bir tutku, ancak Altman'ın liderliği altında ürünleri ticarileştirme yarışına giren şirketin günlük operasyonlarından kopmuş bir tutku. Ve Altman'ın görevine iade edilmesinden kısa bir süre sonra atılan ve hemen silinen şu tweet vardı:

Dolayısıyla, kamuoyuna karşı olan dostluğa rağmen, Sutskever ve Altman'ın, Altman'ın ikincisini devirmeye çalışmasının ardından arkadaş olduklarına şüpheyle yaklaşmak için nedenler var.

Ve Altman'ın kovulmaya verdiği tepki, karakteriyle ilgili bir şeyi açığa çıkarmıştı: Yönetim kurulu onu yeniden işe almadığı sürece OpenAI'yi boşaltma tehdidi ve yönetim kurulunu kendi lehine çarpık yeni üyelerle doldurma konusundaki ısrarı, İktidarı elinde tutma ve gelecekte kontrol edilmesinden kaçınma kararlılığını gösterdi. Eski iş arkadaşları ve çalışanlar öne çıktı onu bir manipülatör olarak tanımla Ağzının her iki yanından konuşan biri; örneğin güvenliğe öncelik vermek istediğini iddia eden ancak davranışlarında bununla çelişen biri.

Mesela Altman otokratik rejimlerle bağış toplama Suudi Arabistan gibi, yeni bir yapay zeka yongası üreten şirket kurabilmek için, bu da ona en son teknolojiye sahip yapay zeka oluşturmak için ihtiyaç duyulan, imrenilen kaynakların büyük bir kaynağını sağlayacaktı. Bu, güvenlik bilincine sahip çalışanlar için endişe vericiydi. Eğer Altman, yapay zekayı mümkün olan en güvenli şekilde oluşturmayı ve dağıtmayı gerçekten önemsiyorsa, neden mümkün olduğu kadar çok çip biriktirmek için çılgınca bir koşu içinde görünüyordu ki bu sadece teknolojiyi hızlandıracaktı? Bu bağlamda, dijital gözetimi veya insan hakları ihlallerini güçlendirmek için yapay zekayı kullanabilecek rejimlerle çalışmanın güvenlik riskini neden alıyordu?

Şirketin içeriden bilgisine sahip bir kaynak bana, tüm bunların çalışanların kademeli olarak “OpenAI bir şey yapacağını söylediğinde veya bir şeye değer verdiğini söylediğinde bunun gerçekten doğru olduğuna dair inanç kaybına” yol açtığını söyledi.

Bu kademeli süreç bu hafta zirveye ulaştı.

Süper hizalama takımının eş lideri Jan Leike, iyi oynama zahmetine girmedi. “İstifa ettim,” X'te paylaştıSutskever'in ayrılışını duyurmasından sadece birkaç saat sonra. Sıcak vedalar yok. Şirketin liderliğine güven oyu yok.

Güvenliği düşünen diğer eski çalışanlar, Leike'nin açık sözlü istifasını kalp emojileri ekleyerek tweet attılar. Bunlardan biri de Leopold AschenbrennerGeçen ay OpenAI'den kovulan bir Sutskever müttefiki ve süper hizalama ekibi üyesi. Medya raporları kayıt edilmiş kendisi ve aynı ekipten başka bir araştırmacı olan Pavel Izmailov'un bilgi sızdırdığı için kovulduğu iddia edildi. Ancak OpenAI sızıntıya dair hiçbir kanıt sunmadı. Herkesin OpenAI'ye ilk katıldığında imzaladığı katı gizlilik sözleşmesi göz önüne alındığında, Silikon Vadisi'nde derin bir ağa sahip olan ve bir uzman olan Altman için bu kolay olacaktır. basında çalışmak – Sutskever'in müttefiklerinden kurtulmak istiyorsa, en zararsız bilgiyi bile paylaşmayı “sızıntı” olarak göstermek.

Aynı ay yani Aschenbrenner ve Izmailov zorla ihraç edildi; başka bir güvenlik araştırmacısı Cullen O'Keefe de şirketten ayrıldı.

Ve iki hafta önce başka bir güvenlik araştırmacısı William Saunders şunu yazdı: şifreli bir yazı AI güvenliği konusunda yoğun bir şekilde yer alan etkili fedakarlık hareketinin üyeleri için çevrimiçi bir buluşma yeri olan EA Forum'da. Saunders, süper hizalama ekibinin bir parçası olarak OpenAI'de yaptığı çalışmaları özetledi. Sonra şunu yazdı: “15 Şubat 2024'te OpenAI'den istifa ettim.” Bir yorumcu bariz soruyu sordu: Saunders bunu neden yayınladı?

Saunders, “Yorum yok” diye yanıtladı. Yorumcular onun muhtemelen bir aşağılama yasağı anlaşmasına bağlı olduğu sonucuna vardı.

Tüm bunları şirket içerisindeki kişilerle yaptığım görüşmelerle bir araya getirdiğimizde, OpenAI'yi içeriden daha fazla güvenliğe itmeye çalışan, ancak sonuçta karizmatik liderine olan güvenini o kadar yitirmiş ve konumlarını savunulamaz hale getiren en az yedi kişinin resmini elde ediyoruz.

“Sanırım şirkette güvenliği ve sosyal etkiyi ciddiye alan pek çok kişi, bunun açık bir soru olduğunu düşünüyor: OpenAI gibi bir şirket için çalışmak iyi bir şey mi?” dedi şirket hakkında içeriden bilgi sahibi olan kişi. “Ve OpenAI'nin yaptığı şey konusunda gerçekten düşünceli ve sorumlu olacağı ölçüde cevap yalnızca 'evet' olacaktır.”

Güvenlik ekibinin içi boşaltılmışken OpenAI'nin çalışmasının güvenli olduğundan kim emin olacak?

Leike artık süper hizalama ekibini yönetmek için orada olmadığından OpenAI, onun yerini aldı şirketin kurucu ortağı John Schulman ile.

Ama takımın içi boşaltıldı. Ve Schulman'ın işleri halihazırda OpenAI'nin mevcut ürünlerinin güvenliğini sağlayan tam zamanlı işiyle dolu. OpenAI'de gelecekte ne kadar ciddi, ileriye dönük güvenlik çalışması bekleyebiliriz?

Muhtemelen pek fazla değil.

İçeriden bilgi sahibi bir kişi bana, “Süper hizalama ekibini kurmanın asıl amacı, şirketin AGI oluşturmada başarılı olması durumunda aslında farklı türde güvenlik sorunlarının ortaya çıkmasıydı” dedi. “Yani bu, geleceğe yönelik özel bir yatırımdı.”

Ekip tam kapasiteyle çalıştığında bile, bu “özel yatırım” OpenAI araştırmacılarının küçük bir kısmına ev sahipliği yapıyordu ve yalnızca söz verilmişti. yüzde 20 bilgi işlem gücünün belki de en önemlisi kaynak bir yapay zeka şirketinde. Şimdi, bu bilgi işlem gücü diğer OpenAI ekiplerine aktarılabilir ve gelecekteki AI modellerinden kaynaklanan felaket risklerinden kaçınmaya çok fazla odaklanılıp odaklanılmayacağı belli değil.

Açık olmak gerekirse, bu, OpenAI'nin şu anda piyasaya sürdüğü ürünlerin – ChatGPT'nin GPT-4o olarak adlandırılan ve kullanıcılarla doğal bir diyalog kurabilen yeni sürümü gibi – insanlığı yok edeceği anlamına gelmiyor. Ama ne oluyor?

“'Şu anda güvenli olmayan yapay zeka sistemleri oluşturup dağıtıyorlar mı?' arasındaki ayrımı yapmak önemli. İçeriden bilgi sahibi bir kaynak, “YGZ'yi veya süper istihbaratı güvenli bir şekilde oluşturup dağıtma yolundalar mı?” sorusunu yanıtladı. “İkinci sorunun cevabının hayır olduğunu düşünüyorum.”

Leike de aynı endişeyi dile getirdi X'teki Cuma konusu. Ekibinin işini yapmak için yeterli bilgi işlem gücü elde etmekte zorlandığını ve genel olarak “rüzgara karşı yelken açtığını” belirtti.

Leike en çarpıcı şekilde şunları söyledi: “Genişlik, izleme, hazırlıklı olma, güvenlik, rakiplere karşı sağlamlık, (süper) hizalama, gizlilik, toplumsal etki ve ilgili konular için bant genişliğimizin çok daha fazlasının gelecek nesil modellere hazırlanmak için harcanması gerektiğine inanıyorum. konular. Bu sorunları düzeltmek oldukça zor ve oraya ulaşacak bir yolda olmadığımızdan endişeleniyorum.”

Yapay zeka güvenliği konusunda dünyanın önde gelen beyinlerinden biri, dünyanın önde gelen yapay zeka şirketinin doğru yolda olmadığını söylediğinde hepimizin endişelenmesi için neden var.