Bunu sağlayan temel bileşenlerden biri SohbetGPT müthiş bir başarı, insan eğitmenlerden oluşan bir ordunun verdiği eğitimdi. yapay zeka İyi ve kötü çıktıların nelerden oluştuğuna dair bot rehberliğinin arkasındaki model. OpenAI Şimdi diyor İnsan eğitmenlerine yardımcı olmak için karışıma daha fazla yapay zeka eklemek, yapay zeka yardımcılarının daha akıllı ve daha güvenilir olmasına yardımcı olabilir.
OpenAI, ChatGPT'yi geliştirirken insan geri bildirimi veya RLHF ile takviyeli öğrenmenin kullanılmasına öncülük etti. Bu teknik, çıktısının daha tutarlı, daha az itiraz edilebilir ve daha doğru olduğuna karar verilmesi amacıyla bir yapay zeka modeline ince ayar yapmak için insan test uzmanlarından gelen girdileri kullanır. Eğitmenlerin verdiği derecelendirmeler, modelin davranışını yönlendiren bir algoritmayı besliyor. Tekniğin, hem sohbet robotlarını daha güvenilir ve kullanışlı hale getirme hem de hatalı davranışlarını önleme açısından hayati önem taşıdığı kanıtlandı.
Yeni çalışmayla ilgilenen OpenAI araştırmacılarından Nat McAleese, “RLHF çok iyi çalışıyor ancak bazı önemli sınırlamaları var” diyor. Öncelikle insanların geri bildirimleri tutarsız olabilir. İkincisi, karmaşık yazılım kodları gibi son derece karmaşık çıktıları derecelendirmek yetenekli insanlar için bile zor olabilir. Süreç aynı zamanda bir modeli, gerçekte doğru olmaktan ziyade ikna edici görünen çıktılar üretecek şekilde optimize edebilir.
OpenAI, kodu değerlendirmekle görevli insan eğitmenlere yardımcı olmak için en güçlü teklifi olan GPT-4'te ince ayar yaparak yeni bir model geliştirdi. Şirket, CriticGPT adı verilen yeni modelin insanların gözden kaçırdığı hataları yakalayabildiğini ve insan yargıçların kod eleştirilerinin yüzde 63 oranında daha iyi olduğunu buldu. OpenAI gelecekte yaklaşımı kodun ötesindeki alanlara genişletmeye çalışacak.
McAleese, “Bu tekniği RLHF sohbet yığınımıza entegre etmek için çalışmaya başlıyoruz” diyor. CriticGPT'nin halüsinasyon yoluyla da hata yapabilmesi nedeniyle yaklaşımın kusurlu olduğunu belirtiyor ancak tekniğin, insan eğitimindeki hataları azaltarak OpenAI modellerinin yanı sıra ChatGPT gibi araçların daha doğru hale getirilmesine yardımcı olabileceğini de ekliyor. Bunun aynı zamanda yapay zeka modellerinin çok daha akıllı hale gelmesine yardımcı olma açısından da önemli olabileceğini, çünkü insanların kendi yeteneklerini aşan bir yapay zekanın eğitilmesine yardımcı olabileceğini ekliyor. McAleese, “Modeller giderek daha iyi olmaya devam ettikçe insanların daha fazla yardıma ihtiyaç duyacağından şüpheleniyoruz” diyor.
Yeni teknik, büyük dil modellerini geliştirmek ve bunlardan daha fazla yetenek elde etmek için geliştirilmekte olan birçok teknikten biri. Bu aynı zamanda yapay zekanın daha yetenekli hale gelse bile kabul edilebilir şekillerde davranmasını sağlama çabasının bir parçasıdır.
Bu ayın başlarında, eski OpenAI çalışanları tarafından kurulan OpenAI'nin rakibi Anthropic, daha yetenekli bir versiyonunu duyurdu Modelin eğitim rejimindeki ve beslendiği verilerdeki iyileştirmeler sayesinde Claude adlı kendi sohbet robotunun. Anthropic ve OpenAI her ikisi de var yakın zamanda lanse edilen yeni denetim yöntemleri Aldatma gibi istenmeyen davranışları daha iyi önlemek için çıktılara nasıl ulaştıklarını anlamak için yapay zeka modelleri.
Yeni teknik, OpenAI'nin gittikçe daha güçlü hale gelen yapay zeka modellerini eğitmesine yardımcı olurken, özellikle de şirket bunu koddan daha fazla alanda başarılı bir şekilde dağıtırsa, çıktılarının daha güvenilir ve insani değerlerle uyumlu olmasını sağlayabilir. OpenAI, bir sonraki büyük yapay zeka modelini eğittiğini ve şirketin bu modelin düzgün çalışmasını sağlama konusunda ciddi olduğunu göstermeye istekli olduğunu söyledi. Bu aşağıdakileri takip eder önemli bir ekibin dağılması yapay zekanın oluşturduğu uzun vadeli riskleri değerlendirmeye adanmıştır. Ekip, şirketin kurucu ortağı ve eski yönetim kurulu üyesi olan Ilya Sutskever tarafından yönetildi ve CEO Sam Altman'ı kısaca şirketten uzaklaştırdı, ardından geri çekildi ve kontrolü yeniden kazanmasına yardımcı oldu. O zamandan bu yana bu ekibin birçok üyesi Şirketi riskli hareket ettiği için eleştirdi güçlü yapay zeka algoritmaları geliştirmek ve ticarileştirmek için acele ediyor.
Dylan Hadfield-MenellMIT'de yapay zekayı hizalamanın yollarını araştıran bir profesör, yapay zeka modellerinin daha güçlü modellerin yetiştirilmesine yardımcı olması fikrinin bir süredir ortalıkta dolaştığını söylüyor. “Bu oldukça doğal bir gelişme” diyor.
Hadfield-Menell, orijinal olarak RLHF için kullanılan teknikleri geliştiren araştırmacıların tartışıldı birkaç yıl önce ilgili fikirler. Genel olarak ne kadar uygulanabilir ve güçlü olduğunun zamanla görüleceğini söylüyor. “Bu, bireysel yeteneklerde büyük sıçramalara yol açabilir ve uzun vadede daha etkili geri bildirimlere doğru bir basamak olabilir” diyor.
Kaynak bağlantısı