RAG sisteminde kaynak sürümleme: doğru belgeyi bulmak neden cevap üretmekten önce gelir?
Belge parçalama, kaynak kimliği, güncel sürüm, erişim kontrolü ve kaynaklı cevap değerlendirmesi için uygulanabilir çerçeve.
RAG iki ayrı sistemin birlikte çalışmasıdır
Retrieval-augmented generation yaklaşımında bir arama bileşeni ilgili belge parçalarını bulur, dil modeli ise bu bağlamdan yararlanarak yanıt hazırlar. İyi yazılmış bir prompt, yanlış veya eski belgenin bulunmasını düzeltemez. Dolayısıyla sistemin kalitesini yalnız model yanıtına göre değil, arama isabeti ve belgenin gerçekten güncel olup olmadığına göre de değerlendirmek gerekir.
Belgelerin kimliği ve sürümü korunmalı
Aynı doküman güncellendiğinde eski ve yeni parçalar birlikte arama dizininde kalırsa yanıtlar çelişkili olabilir. Her parçada doküman kimliği, sürüm veya zaman damgası, kaynak URL ve erişim seviyesi taşımak kullanışlıdır. İndeks güncellemesini atomik veya kontrollü geçişle yapın; eski sürümü silmeden önce yeni dizinin sorgulanabilir ve izinlerinin doğru olduğunu doğrulayın. Birleştirilmiş kaynaklar geriye doğru izlenebilmelidir.
Parçalama boyutu her görevde aynı olmamalı
Çok küçük parçalar bağlamı koparabilir; çok büyük parçalar ilgisiz bilgiyi getirip modelin dikkatini dağıtabilir. Başlık ve bölüm sınırlarını koruyarak parçalama, kaynak konumunu takip etmeyi kolaylaştırır. Deneyde farklı parça boyutlarını, örtüşme miktarını ve arama yöntemlerini aynı soru kümesinde ölçün. Benzer görünen iki belgeyi yalnız metin yakınlığı nedeniyle aynı kimlik saymayın.
Yanıtın başarısını kaynakla değerlendirin
Test kümesine doğru yanıtı olmayan sorular, eski sürümü bulunan belgeler ve yetkisiz kaynakları gerektiren örnekler ekleyin. Sonuçta yalnız metin kalitesini değil, alıntıların gerçek sayfaya işaret etmesini, yanlış kaynağa dayanmamayı ve gerektiğinde 'bilmiyorum' diyebilmeyi değerlendirin. Yetki kontrolü arama sırasında uygulanmalı; kaynak döküldükten sonra modele 'bu bilgiyi kullanma' demek güvenlik sınırı değildir.
Yorumlar
0 gerçek yorumHenüz gerçek okuyucu yorumu yok.
✎ Yorum yaz