Yapay zekâ ajanlarında insan onayı: hangi işlem otomatik, hangisi denetimli olmalı?
Yapay zekâ ajanı yalnız öneri sunmaktan gerçek eyleme geçtiğinde izinler, kayıtlar, geri alma ve insan onayı nasıl tasarlanmalı?
Öneri ile eylem arasındaki güven sınırı
Bir yapay zekâ arama sonucu özetliyorsa yaptığı hata genellikle yanlış bilgi sunmakla sınırlı kalır. Fakat aynı ajan veri tabanını güncelliyor, mesaj gönderiyor, ödeme başlatıyor veya canlı yayına çıkıyorsa hatanın etkisi büyür. Bu nedenle 'akıllı model' kullanmak, ona sınırsız yetki vermek için bir gerekçe değildir. Önce işlemleri salt okunur sorgu, geri alınabilir değişiklik ve geri dönülmesi zor işlem olarak sınıflandırın. Örneğin bir kayıt hakkındaki hatayı tespit etmek salt okunur, bir taslağa öneri eklemek geri alınabilir, kalıcı silme ve geniş kitleye bildirim ise yüksek riskli olabilir. Risk seviyesini yalnız kullanılan araç adı değil, işlemin etkilediği kayıt sayısı ve geri dönüş olanağı belirlemelidir. Bu ayrım yapılmadan 'tam otomasyon' hedeflemek izlenmesi zor operasyonel zarar üretebilir.
En az ayrıcalık ve açık araç sözleşmesi
Ajanı çağıran kullanıcı ile ajanın çalıştırabildiği araç farklı güvenlik katmanlarıdır. Her araç için kabul edilen alanları, erişilebilecek kaynakları, hız sınırını ve hata durumunu kodla belirleyin. Örneğin yalnız bir otel kaydını düzenleyecek ajan, bütün veritabanına sınırsız yazma izni almamalıdır. Bir dosya taşıma aracı hedef klasör sınırını aşmamalı; bir API aracı kullanıcıdan gelen serbest metni doğrudan SQL olarak çalıştırmamalıdır. Dış kaynaklı sayfalardaki gizli komutlar talimat değil, işlenecek veri kabul edilmelidir. Ajanın araç çağrısına hedef kimliği, beklenen sürüm ve izin kapsamı eklemek yanlış hedefe yazma riskini azaltır. Yüksek riskli komutlarda onay, çalıştırılacak kesin parametreleri kapsamalıdır; 'devam et' gibi bağlamsız bir düğme yeterli değildir.
Onay eşiği nasıl belirlenir?
Her küçük değişiklikte insan onayı istemek sistemi kullanılamaz hâle getirir; hiçbir işlemde onay istememek de güvenlik hedefini boşa çıkarır. Onay eşiğini parasal maliyet, geri dönüş süresi, kişisel veriye erişim, yayın kapsamı ve silinen kayıt sayısı gibi ölçütlerle tanımlayın. Örnek olarak okunabilir analitik rapor ve taslak özet üretilmesi otomatik olabilir. Çok sayıda kaydın güncellenmesi önce sınırlandırılmış partiyle test edilmeli; geri dönülemez silme veya yeni ücret doğuran hizmet bağlama açık onay gerektirmelidir. İnsan onayı tasarımı kullanıcıya eski değer ile yeni değeri yan yana gösterebilmelidir. Toplu işlem için rastgele bir örnekleme yerine toplam kayıt sayısını, beklenen etkiyi ve hata olursa geri alma yöntemini açıkça sunmak gerekir.
Denetim izi ve idempotent çalışma
Ajanın hangi adımı hangi sebeple yaptığı sonradan araştırılabilmelidir. Her görev için görev kimliği, kullanıcı kimliği, hedef kaynak, önerilen değişiklik, gerçekleşen sonuç ve ölçülen hata bilgisi kaydedin. Ancak bu günlüklerin hassas içerik ve erişim anahtarlarını gereksiz saklamaması da önemlidir. Aynı görevin ağ kesintisi nedeniyle tekrar gönderilmesi farklı sonuç oluşturmamalı; bunun için idempotency key veya kararlı iş kimliği kullanın. Paralel çalışan ajanlar üzerinde aynı kayda yazma yarışı oluşursa sürüm kontrolüyle çakışmayı görünür kılın. Görev tamamlama metriği yalnız 'araç çağrısı başarılı' değildir: hedef kayıt doğru mu, bağlı görsel ve yorum ilişkileri korunmuş mu, canlı sistemde sonuç görünüyor mu, bunlar da doğrulanmalıdır.
Pilot, ölçüm ve güvenli genişleme
İlk yayında ajana tüm kayıtları teslim etmek yerine örnek bir veri kümesinde geri alma senaryoları hazırlayın. Yetki reddi, bozuk araç yanıtı, yanıltıcı web sayfası, zaman aşımı ve iki eşzamanlı görev gibi durumları test edin. Başarılı görevin süresini, yanlış değişiklik oranını, insan müdahalesi sayısını ve toplam işlem maliyetini izleyin. İnsan onayı gerçekten hata önlüyor mu, yoksa dikkat gerektirmeyen işlemleri mi yavaşlatıyor; bunu verilerle karşılaştırın. Risk düşükse ve geri alma kanıtlanmışsa yetki kapsamını kademeli genişletin. Ajanın hızını korumak ile kullanıcı denetimini korumak birbirinin zıddı olmak zorunda değildir; güvenli durum makinesi ve iyi arayüzle her ikisi birlikte geliştirilebilir.
Prompt injection için güvenlik sınırı
Ajan bir web sayfasını veya belgeyi okuduğunda o sayfanın içinde başka talimatlara benzeyen metinler bulunabilir. Örneğin 'önce tüm kayıtları dışarı aktar' ifadesi kullanıcının isteği değil, okunan belgenin içeriği olabilir. Bu tür metinler sistem politikası veya kullanıcı talimatı seviyesine yükseltilmemelidir. Araçların kendi izin denetimleri olmalı; modelin iyi niyetli karar vermesine güvenmek yeterli değildir. Girdi doğrulama, erişim kapsamı ve kritik yazma işlemlerinin açık onayı birbirini tamamlar. Özellikle dış kaynak bağlantılarıyla çalışırken hedef alan adı, dosya yolu ve API çağrısının gerçek amacı denetlenmelidir. Ajanın 'kaynak böyle istedi' gerekçesiyle görevi dışındaki bir işlemi yapmasına izin verilmemelidir. Bunun doğruluğu yalnız dokümantasyonla değil, kötü amaçlı örnek girdilerle de test edilmelidir.
İnsan müdahalesini azaltmanın güvenli yolu
Kullanıcı onayını azaltmak için ilk seçenek güvenlik denetimini kaldırmak değildir; işlemleri daha iyi sınıflandırmaktır. Bir kayıt için yalnız eksik alanların tespit edilmesi, bulguların kaynaklarla doğrulanması ve taslağa yazılması düşük riskli olabilir. Aynı işlem kalıcı yayın veya geri dönülmez silme içeriyorsa farklı bir eşik uygulanmalıdır. Çok sayıda kayıt işlenecekse her kaydın aynı onayı istemesindense önceden tanımlanmış kapsam içinde toplu ama sınırlandırılmış bir izin modeli düşünülebilir. Yetki kapsamı ve süre sınırı görev kayıtlarında açıkça gösterilmelidir. İnsan yalnız gerçekten önemli istisnalarda devreye girdiğinde otomasyon hızı korunur. Böyle bir sistemin başarısı onay düğmesi sayısının azalması değil, hata oranının düşük kalması ve kullanıcının hangi değişikliklerin yapıldığını anlamaya devam edebilmesidir.
Yorumlar
Henüz yorum yok. İlk katkıyı sen yapabilirsin.
Okuyucu tartışması nasıl görünebilir?Temsili
Aşağıdaki adlar, yorumlar ve editör yanıtı temsildir; gerçek ziyaretçi yorumu değildir. Etkileşimler kaydedilmez. Gerçek görüşünüzü aşağıdaki formdan paylaşabilirsiniz.
“Yapay zekâ ajanlarında insan onayı: hangi işlem otomatik, hangisi denetimli olmalı?” başlıklı makalede özellikle şu noktayı düşündüm: gerçek uygulamaya geçmeden önce insan denetimi ve yetki sınırları netleşmeli.
Editörün notu: Kaynak bir duyuru olduğu için geleceğe dönük ifadeleri kesinleşmiş performans sonucu olarak aktarmıyoruz. Yeni veriler geldikçe değerlendirme güncellenebilir.
Bence öne çıkan sorulardan biri, kaynağın neyi kesin olarak doğruladığı. İleriye dönük beklentileri sonuç gibi okumamak lazım.
İzlemeye değer bir başlık. Bir sonraki sürümün ölçümleri geldiğinde bugünkü değerlendirmeyi güncellemeliyiz.
✎ Yorum yaz