Başlangıç olarak, tüm RAG'lar aynı kalibrede değildir. Özel veritabanındaki içeriğin doğruluğu, katı çıktılar için kritik öneme sahiptir, ancak tek değişken bu değildir. Global Global Başkanı Joel Hron, “Sorun yalnızca içeriğin kalitesi değil” diyor. Thomson Reuters'te yapay zeka. “Bu, aramanın kalitesi ve soruya dayalı olarak doğru içeriğin alınmasıdır.” Bir yanlış adım modeli tamamen bozabileceğinden, süreçteki her adıma hakim olmak kritik öneme sahiptir.
Stanford profesörü ve aynı zamanda kıdemli araştırma görevlisi Daniel Ho şöyle diyor: “Araştırma motorlarından birinde doğal dil araması yapmayı deneyen herhangi bir avukat, anlamsal benzerliğin sizi tamamen ilgisiz materyallere götürdüğü örneklerin sıklıkla olduğunu görecektir.” İnsan Merkezli Yapay Zeka Enstitüsü. Ho'nun araştırması Yapay zeka yasal araçları RAG'a güvenen şirketler, çıktılarda bulunan modelleri oluşturan şirketlere göre daha yüksek oranda hata buldu.
Bu da bizi tartışmanın en zorlu sorusuna getiriyor: Bir RAG uygulamasında halüsinasyonları nasıl tanımlarsınız? Bu sadece chatbot'un alıntısız bir çıktı üretmesi ve bilgi oluşturması durumunda mı oluyor? Bu aynı zamanda aracın ilgili verileri gözden kaçırabileceği veya bir alıntının bazı yönlerini yanlış yorumlayabileceği bir durum mu?
Lewis'e göre RAG sistemindeki halüsinasyonlar, çıktının, veri alımı sırasında model tarafından bulunanlarla tutarlı olup olmadığına bağlı. Ancak Stanford'un avukatlara yönelik yapay zeka araçlarına yönelik araştırması, çıktının sağlanan verilere dayanıp dayanmadığını ve gerçekte doğru olup olmadığını inceleyerek bu tanımı biraz genişletiyor. hukuk profesyonelleri için yüksek çıta Genellikle karmaşık vakaları ayrıştıran ve karmaşık emsal hiyerarşilerinde gezinen kişiler.
Yasal konulara uyum sağlayan bir RAG sistemi, içtihatlarla ilgili soruları yanıtlamada OpenAI'nin ChatGPT'sinden veya Google'ın Gemini'sinden açıkça daha iyi olsa da, yine de daha ince ayrıntıları gözden kaçırabilir ve rastgele hatalar yapabilir. Konuştuğum yapay zeka uzmanlarının tümü, alıntıların tekrar kontrol edilmesi ve sonuçların genel doğruluğunun doğrulanması için süreç boyunca düşünceli, insan etkileşiminin devam etmesi gerektiğini vurguladı.
Hukuk, RAG tabanlı yapay zeka araçları etrafında çok fazla faaliyetin olduğu bir alandır, ancak sürecin potansiyeli tek bir beyaz yakalı işle sınırlı değildir. “Herhangi bir mesleği veya işi alın. Gerçek belgelere dayalı yanıtlar almanız gerekiyor” diyor Arredondo. “Dolayısıyla RAG'ın, en azından yakın ve orta vadede, temelde her profesyonel uygulamada kullanılan temel malzeme haline geleceğini düşünüyorum.” Riskten kaçınan yöneticiler, hassas bilgileri standart, halka açık bir sohbet robotuna yüklemek zorunda kalmadan, özel verilerini daha iyi anlamak için yapay zeka araçlarını kullanma olasılığı konusunda heyecanlı görünüyor.
Ancak kullanıcıların bu araçların sınırlamalarını anlaması ve yapay zeka odaklı şirketlerin yanıtlarının doğruluğu konusunda aşırı taviz vermekten kaçınması kritik önem taşıyor. Bir yapay zeka aracı kullanan herkes yine de çıktıya tamamen güvenmekten kaçınmalı ve yanıt RAG aracılığıyla iyileştirilse bile yanıtlarına sağlıklı bir şüphecilik duygusuyla yaklaşmalıdır.
Ho, “Halüsinasyonlar kalıcıdır” diyor. “Halüsinasyonları gerçekten ortadan kaldıracak hazır yollara henüz sahip değiliz.” RAG hataların yaygınlığını azaltsa bile insan muhakemesi her şeyden önemlidir. Ve bu yalan değil.
Kaynak bağlantısı