RAG nedir? Belgelerle desteklenen yapay zekâ yanıtları
Bir dil modelini kurumsal belgelerle buluştururken kaynak, güncellik ve yetki sınırlarını nasıl koruyabiliriz?
Sorunun kaynağı
Büyük dil modeli, kuruma özgü her belgeyi eğitim aşamasında görmez. Görmüş olsa bile verinin en son sürümünü bilmeyebilir. Retrieval-Augmented Generation (RAG), kullanıcı sorusu ile ilgili parçaları arayıp yanıta bağlam olarak sunar.
Bileşenleri ayrı değerlendirin
Belge alma, parçalama, arama, izin denetimi, cevap üretme ve kaynak gösterme ayrı aşamalardır. Arama yanlış parçayı seçtiğinde güçlü model bile yanlış cevap üretebilir. Sadece model seçimini değil geri getirme doğruluğunu da ölçün.
Ölçüm yaklaşımı
Önceden cevapları bilinen soru seti hazırlayın. Arama sonucunun doğru belgeyi bulma oranını, yanıtın belgeden çıkıp çıkmadığını ve sistemin 'bilmiyorum' deme davranışını ayrı ayrı değerlendirin. Bu üç ölçüyü tek başarı puanına indirmeyin.
Yetkilendirme ve maliyet
Bir kullanıcının erişemediği belge, model bağlamına da girmemelidir. Sık sorulan talepler için uygun önbellek kullanın; fakat kişiye özel sonuçların başka kullanıcıya sızmamasına dikkat edin.
Örnek mimari: soru, arama ve kanıt
Bir kullanıcı şirketin iade politikasını sorduğunda büyük dil modelinin bu bilginin güncel sürümünü eğitim verisinden bilmesi beklenemez. RAG sistemi önce kullanıcının erişim yetkisini kontrol eder, ilgili belgelerde arama yapar ve güvenilir parçaları modele bağlam olarak verir. Yanıt hazırlanırken hangi paragrafın hangi belgeden geldiğini işaretlemek gerekir. Bu ayrım, araştırma sonuçlarının kullanıcıya gösterilebilir olmasını sağlar. Bir belge bulunamadığında uydurma cevap yerine kaynak yetersizliğini açıkça ifade etmek doğru davranıştır.
Arama kalitesini nasıl ölçersiniz?
Önce yanıtı bilinen yirmi veya daha fazla gerçek soru içeren bir deneme seti oluşturun. Arama motorunun doğru belgeyi ilk birkaç sonuç arasında bulma oranını, modelin bu belgeden desteklenen doğru cevap üretmesini ve kanıt yokken çekimser kalmasını ayrı puanlayın. Benzer başlıklı ama eski politika dosyaları özellikle teste dahil edilmelidir. Parçalama boyutu büyüdüğünde bağlam artabilir fakat gereksiz metin maliyeti de yükselir. En iyi ayar gerçek belge koleksiyonuna ve soru çeşitliliğine göre ölçülmelidir.
Güvenlik, güncellik ve maliyet
Arama katmanı bir kullanıcının yetkisiz olduğu belgeyi modele gönderirse, model cevapta göstermese bile güvenlik sınırı ihlal edilmiş olabilir. Bu nedenle izin filtresi yalnız son HTML çıktısında değil veri alımında ve sorgulamada uygulanmalıdır. Kaynak belgenin sürümü, son değişim tarihi ve silinme durumu takip edilmelidir. Sık ve genel sorular için uygun önbellek maliyeti düşürebilir; kişiye özel sonuçlar ortak önbelleğe karıştırılmamalıdır. Her soruda getirilen parça sayısı ve büyüklüğü ölçülerek gecikme ve kullanım gideri kontrol altında tutulabilir.
Yorumlar
0 gerçek yorumHenüz gerçek okuyucu yorumu yok.
✎ Yorum yaz