ChatGPT’nin dikkat çekici yetenekleri, Scientific Reports’ta yayınlanan yakın tarihli bir çalışmayla kanıtlandı. Araştırma, ChatGPT’nin bilgisayar bilimi, politik çalışmalar, mühendislik ve psikoloji dahil olmak üzere çeşitli konularda üniversite düzeyinde değerlendirme sorularını çözme yeteneğini araştırıyor. ChatGPT üniversite öğrencilerini geride bırakarak daha başarılı sonuçlar elde edebiliyor.
Araştırmacılar Talal Rahwan ve Yasir Zaki, New York Üniversitesi Abu Dabi’den (NYUAD) çeşitli dersler veren öğretim üyeleriyle işbirliği yaparak benzersiz bir araştırmaya başladı. Bu eğitimciler, formüle ettikleri on değerlendirme sorusunun her biri için öğrencilerin yazdığı üç sunumla katkıda bulundu. Çalışma aynı on soruya yanıt üretmede ChatGPT’yi içeriyordu. Oluşturulan bu cevaplar, üç sınıf öğrencisinin yer aldığı bir panel tarafından gerçek öğrenci cevaplarıyla birlikte değerlendirildi. Etkileyici bir şekilde, ChatGPT’nin yanıtları, öğrencilerin otuz iki dersin dokuzunda gösterdiği performansla karşılaştırıldığında eşdeğer veya daha yüksek bir ortalama not elde etti.
İlginç bir şekilde, ChatGPT’nin hakimiyeti en çok “Kamu Politikasına Giriş” dersinde belirgin oldu Burada ortalama notu öğrencilerin ortalamasını büyük ölçüde gölgede bıraktı. ChatGPT için 9,56’ya karşılık öğrenciler için 4,39 oldu. Ancak, yalnızca matematik ve ekonomi derslerinin sürekli olarak öğrencilerin ChatGPT tarafından oluşturulan yanıtlardan daha iyi performans gösterdiğini görmesi dikkat çekici.
Araştırma, ChatGPT’nin performansını değerlendirmenin ötesinde, akademik ödevler için ChatGPT gibi yapay zeka araçlarının kullanılmasına yönelik tutumları da inceledi. Bir ankete Brezilya, Hindistan, Japonya, ABD ve Birleşik Krallık’tan 1.601 katılımcı katıldı. Bunların arasında her ülkeden öğrenci ve eğitimcilerin önemli bir temsili de vardı. Öğrencilerin yüzde 74’ü ChatGPT’yi akademik çalışmalarına dahil etmeye istekliydi. Bu da yapay zeka destekli yardımdan yararlanmaya büyük ilgi duyduklarını gösteriyor. Tam tersine, ankete katılan tüm ülkelerdeki eğitimcilerin ChatGPT’nin akademideki rolü hakkında çekinceleri var gibi görünüyordu. Eğitimcilerin çoğunluğu (yaklaşık yüzde 70), ChatGPT’nin ödevler için kullanılmasının intihal olarak sınıflandırılması gerektiğine inanıyor. Öğrencilerin kabulü ile eğitimcilerin şüpheciliği arasındaki bu ikilem, yapay zeka araçlarının eğitim ortamlarına entegrasyonu konusundaki potansiyel çatışmalara işaret ediyor.
Çalışmanın sonuçları, yapay zeka tarafından oluşturulan metni tanımlamak için tasarlanan araçların etkinliğine kadar uzanıyor. GPTZero ve AI metin sınıflandırıcı, amaçlarına rağmen, ChatGPT tarafından oluşturulan yanıtlar ile insan tarafından yazılan yanıtlar arasında tutarlı bir şekilde ayrım yapma konusunda dikkate değer bir yetersizlik gösterdi. Yanlış sınıflandırma oranları önemliydi. GPTZero, yapay zeka tarafından oluşturulan yanıtları yüzde 32 oranında insan tarafından yazılmış olarak yanlış sınıflandırırken, yapay zeka metin sınıflandırıcısı yüzde 49 ile daha kötü bir performans sergiledi.