GÜNDEMDE

DÜNYADAN TEKNOLOJİ HABERLERİ

→
Yapay Zekâ

RAG nedir? Belgelerle desteklenen yapay zekâ yanıtları

Bir dil modelini kurumsal belgelerle buluştururken kaynak, güncellik ve yetki sınırlarını nasıl koruyabiliriz?

Yazılımcının GünlüğüYayımlanma: 15 Kas 20263 dk okuma

Sorunun kaynağı

Büyük dil modeli, kuruma özgü her belgeyi eğitim aşamasında görmez. Görmüş olsa bile verinin en son sürümünü bilmeyebilir. Retrieval-Augmented Generation (RAG), kullanıcı sorusu ile ilgili parçaları arayıp yanıta bağlam olarak sunar.

Bileşenleri ayrı değerlendirin

Belge alma, parçalama, arama, izin denetimi, cevap üretme ve kaynak gösterme ayrı aşamalardır. Arama yanlış parçayı seçtiğinde güçlü model bile yanlış cevap üretebilir. Sadece model seçimini değil geri getirme doğruluğunu da ölçün.

Kavramsal iş akışı — editöryal çizim

Ölçüm yaklaşımı

Önceden cevapları bilinen soru seti hazırlayın. Arama sonucunun doğru belgeyi bulma oranını, yanıtın belgeden çıkıp çıkmadığını ve sistemin 'bilmiyorum' deme davranışını ayrı ayrı değerlendirin. Bu üç ölçüyü tek başarı puanına indirmeyin.

Yetkilendirme ve maliyet

Bir kullanıcının erişemediği belge, model bağlamına da girmemelidir. Sık sorulan talepler için uygun önbellek kullanın; fakat kişiye özel sonuçların başka kullanıcıya sızmamasına dikkat edin.

Örnek mimari: soru, arama ve kanıt

Bir kullanıcı şirketin iade politikasını sorduğunda büyük dil modelinin bu bilginin güncel sürümünü eğitim verisinden bilmesi beklenemez. RAG sistemi önce kullanıcının erişim yetkisini kontrol eder, ilgili belgelerde arama yapar ve güvenilir parçaları modele bağlam olarak verir. Yanıt hazırlanırken hangi paragrafın hangi belgeden geldiğini işaretlemek gerekir. Bu ayrım, araştırma sonuçlarının kullanıcıya gösterilebilir olmasını sağlar. Bir belge bulunamadığında uydurma cevap yerine kaynak yetersizliğini açıkça ifade etmek doğru davranıştır.

Arama kalitesini nasıl ölçersiniz?

Önce yanıtı bilinen yirmi veya daha fazla gerçek soru içeren bir deneme seti oluşturun. Arama motorunun doğru belgeyi ilk birkaç sonuç arasında bulma oranını, modelin bu belgeden desteklenen doğru cevap üretmesini ve kanıt yokken çekimser kalmasını ayrı puanlayın. Benzer başlıklı ama eski politika dosyaları özellikle teste dahil edilmelidir. Parçalama boyutu büyüdüğünde bağlam artabilir fakat gereksiz metin maliyeti de yükselir. En iyi ayar gerçek belge koleksiyonuna ve soru çeşitliliğine göre ölçülmelidir.

Güvenlik, güncellik ve maliyet

Arama katmanı bir kullanıcının yetkisiz olduğu belgeyi modele gönderirse, model cevapta göstermese bile güvenlik sınırı ihlal edilmiş olabilir. Bu nedenle izin filtresi yalnız son HTML çıktısında değil veri alımında ve sorgulamada uygulanmalıdır. Kaynak belgenin sürümü, son değişim tarihi ve silinme durumu takip edilmelidir. Sık ve genel sorular için uygun önbellek maliyeti düşürebilir; kişiye özel sonuçlar ortak önbelleğe karıştırılmamalıdır. Her soruda getirilen parça sayısı ve büyüklüğü ölçülerek gecikme ve kullanım gideri kontrol altında tutulabilir.

0 okunma

Yorumlar

0 gerçek yorum

Henüz gerçek okuyucu yorumu yok.

✎ Yorum yaz

Yorumlar yayımlanmadan önce incelenir.