RAG sisteminde doğru cevap nasıl ölçülür? Kaynak kalitesi, sürümleme ve test kümesi
Belge arayan bir yapay zekâ sistemini yalnız güzel cevap verdiği için başarılı sayamayız. Alıntı güvenilirliği, erişim izni, kapsam ve maliyet üzerine uygulamalı yaklaşım.
Akıcı cevap neden yeterli bir başarı ölçüsü değil?
RAG, yani retrieval augmented generation, dil modelinin soruya yanıt üretmeden önce ilgili belgeleri aradığı mimariyi ifade eder. Ama sistem bir paragrafı düzgün yazdığı için doğru kaynağı bulmuş sayılmaz. Bir iç yönetmeliğin eski sürümünü kullanabilir, birbirine benzeyen iki müşterinin kayıtlarını karıştırabilir veya yetkisiz bir belgeyi istemeden yanıta katabilir. Bu nedenle ilk adım soruları sınıflara ayırmaktır: belgede doğrudan yanıtı bulunan sorular, birden fazla kaynağın birleştirilmesini gerektiren sorular, belgenin cevaplamadığı sorular ve yetki nedeniyle reddedilmesi gereken sorular. Test kümesi gerçek iş süreçlerinden örnekler içermelidir. Yalnız doğru cevap oranını değil, bulunamayan kaynak oranını ve modelin bilmediği sorularda gereksiz emin konuşup konuşmadığını da ölçmeliyiz.
Belge kimliği, sürümü ve yetkisi birlikte saklanmalı
Bir arama sonucunu yalnız düz metin olarak modele göndermek denetlenebilirlik için zayıftır. Her parça hangi belgeye, hangi sürüme ve hangi bölüm aralığına ait olduğunu bilmelidir. Belge güncellendiğinde eski parçaların hâlâ indekste durması çelişkili yanıtlara yol açabilir. Belgeleri içerik özeti, son güncelleme tarihi, kaynak URL'si ve erişim etiketleriyle ilişkilendirin. Kullanıcı sorgu yaptığında arama katmanı kimlik ve rol filtresini modele çağrı yapmadan önce uygulamalıdır. Böylece modelin yanlışlıkla gizli bir belgeyi gördükten sonra onu cevapta saklamasına güvenmek zorunda kalmazsınız. Alıntı bağlantılarını yanıtın sonunda dinamik üretirken gerçekten kullanılan parçalara bağlayın; benzer başlıklı ama farklı sürümlü belgeler sahte doğrulama hissi yaratabilir.
Arama kalitesini modelden ayrı değerlendirin
Sistem yanlış cevap verdiğinde sebep her zaman dil modeli değildir. Önce arama sonuçlarında doğru parçanın bulunup bulunmadığını inceleyin. Recall@k gibi ölçütler, beklenen kanıtın ilk k sonuç arasına girme oranını izlemek için kullanılabilir. Ancak yalnız kelime benzerliği, bir sözleşmede yanlış tarafın ya da tarihin seçilmesini engellemez. Belge bölme yöntemi, başlıkların korunması ve hibrit anahtar kelime-vektör araması gerçek sorularla karşılaştırılmalıdır. Arama doğru kanıtı getiriyorsa bu kez modelin onu kullanıp kullanmadığını değerlendirin. Sayılar, tarihler ve adlar için metne geri bağlanan küçük doğrulama kuralları kurulabilir. Ölçüm raporunda arama hatası, kaynakta olmayan iddia ve doğru yanıt kategorilerini ayrı tutmak iyileştirme yönünü netleştirir.
Güncelleme ve önbellek senaryosu
Belgeler sürekli değişiyorsa birkaç saat önce doğru olan yanıt bugün yanlış olabilir. Kaynak sürümünü bilmeyen önbellek sistemi, yeni bilgi indekslenmiş olsa bile eski metni sunabilir. Önbellek anahtarına yalnız soru metnini değil gerekli yetki kapsamı ve belge koleksiyonu sürümünü de dahil etmek değerlendirilebilir. Ancak her belgede tüm önbelleği temizlemek yüksek maliyet üretir; sıcak içerik için sürüm bazlı geçersizleştirme ve ölçülü saklama süresi daha iyi olabilir. Güncelleme hattında belge alındı, ayrıştırıldı, parçalara bölündü, indekslendi ve test edildi adımlarını birbirinden ayırın. Kısmi başarısızlıkta hangi eski sürümün hâlâ hizmet verdiğini bilmek güvenilirlik açısından önemlidir. Kaynak bağlantısı silinmişse cevap vermek yerine belirsizliği göstermek çoğu zaman daha güvenlidir.
Yayına çıkmadan önce kıyaslama
Küçük bir test kümesinde her soru için beklenen cevap, izin verilen kaynaklar, kabul edilebilir alıntı ve 'bilmiyorum' koşulunu yazın. Model ya da arama algoritması değiştiğinde aynı testleri yeniden çalıştırın. Ortalama doğruluğun artması, birkaç kritik gizlilik sorusunun başarısız olmasını kabul edilebilir kılmaz; risk seviyesi yüksek durumlar ayrıca raporlanmalıdır. Yanıt süresini arama, model çağrısı ve ağ gecikmesi olarak ayırmak performans darboğazını anlamaya yardımcı olur. Gereksiz uzun bağlam hem maliyeti hem hata ihtimalini artırabilir. Kullanıcıya son yanıtın yanında kaynak ve tarih gösterildiğinde sistemin nasıl doğrulanabileceği daha anlaşılır olur. Ama etiket tek başına kanıt değildir; alıntının gerçekten iddiayı desteklediği test edilmelidir.
Yanıtların değerlendirilmesi için örnek soru seti
Bir destek botunun ürün belgelerinden yanıt verdiğini varsayalım. 'Hangi sürümde hangi API kaldırıldı?' gibi açık tarihli soruların yanında 'İki farklı dokümanda çelişen limitlerden hangisi geçerli?' gibi bağlam gerektiren sorular hazırlayın. Bir de özellikle belgede bulunmayan bir rakam isteyin; doğru davranış sayı uydurmak yerine kaynakta bilgi olmadığını söylemek olmalıdır. Her soru için beklenen kaynak kimliğini, sürümünü ve desteklenen sonucu not edin. Modelin nihai cümlesi doğru görünüp yanlış belgeye atıf yapıyorsa değerlendirme başarısız sayılmalıdır. Arama indeksi değiştiğinde aynı soru setini çalıştırmak, görünen gelişmenin yalnız yanıt üslubundan mı yoksa gerçek kaynak isabetinden mi kaynaklandığını ayırır. Özellikle erişim izni olmayan bir belgeyi talep eden soruları ayrıca test edin; güvenlik hatası ortalama başarı oranının arkasında saklanmamalıdır.
İşletim metrikleriyle kaliteyi birlikte ölçme
Yanıt süresini tek sayı olarak göstermek kolaydır ancak sistemin nerede zaman kaybettiğini açıklamaz. Arama süresi, belge filtreleme, model çağrısı ve son yanıt üretimi ayrı ölçülmelidir. Çok büyük bir bağlam sunmak doğru cevabı garanti etmediği gibi token maliyetini artırabilir. Kaynak güncellemesi, önbellek geçersizleştirmesi ve kullanıcı yetkisinin değişmesi hâlinde hangi önceki yanıtların geçersiz olacağını tanımlayın. Başarısız sorgular için tekrar deneme sayısını sınırlamak, hem yanıt gecikmesini hem faturayı kontrol altında tutar. Raporlarda doğrulanmış alıntı oranı, reddedilmesi gereken sorularda doğru ret oranı ve kaynağı bulunamayan isteklerin sayısı ayrı tutulmalıdır. Böylece güzel konuşan bir modelin gerçekten güvenilir bir bilgi hizmetine dönüşüp dönüşmediğini görebilirsiniz.
Yorumlar
Henüz yorum yok. İlk katkıyı sen yapabilirsin.
Okuyucu tartışması nasıl görünebilir?Temsili
Aşağıdaki adlar, yorumlar ve editör yanıtı temsildir; gerçek ziyaretçi yorumu değildir. Etkileşimler kaydedilmez. Gerçek görüşünüzü aşağıdaki formdan paylaşabilirsiniz.
“RAG sisteminde doğru cevap nasıl ölçülür? Kaynak kalitesi, sürümleme ve test kümesi” başlıklı makalede özellikle şu noktayı düşündüm: kullanıcı onayı ve veri mahremiyetinin nasıl korunacağını merak ettim.
Editörün notu: Bu noktada faydayı ilan edilen özelliklerden ayrı değerlendirmek gerekir. Önce küçük bir kullanım senaryosu ve ölçüm yöntemi tanımlamak yerinde olur.
Bence maliyet ve bakım yükü ayrıca tartışılmalı. İlk kurulumun kolay olması, sonraki sürümlerin de sorunsuz çalışacağı anlamına gelmiyor.
Bunu küçük ölçekte denemek isterdim. Ölçülebilir bir başarı kriteri belirlemeden uygulamaya geçmek riskli.
✎ Yorum yaz