Log, metrik ve trace: üretim hatasını gerçekten bulmak için gözlemlenebilirlik tasarımı
Binlerce satırlık log yerine anlamlı hata sınıfları, uçtan uca izleme ve SLO hedefleriyle sistemin neden yavaşladığını keşfedin.
Log çokluğu görünürlük sağlamaz
Üretim ortamında bir Worker hata verdiğinde binlerce satırlık çıktı toplamak ilk anda faydalı görünebilir. Fakat her isteğin bütün ayrıntısını kaydetmek hem maliyet hem mahremiyet riski üretir. Önce hangi sorulara cevap vermek istediğinizi belirleyin: istek neden başarısız oldu, hangi bağımlılık yavaşladı, hangi kullanıcı yolculuğu etkilendi ve sorun ne zaman başladı? Bu sorulara karşılık gelen olay ve alanları standartlaştırın. İşlem kimliği, rota, hata sınıfı, gecikme ve bağımlı hizmet gibi alanlar yararlıdır; ham erişim anahtarı ve kişisel metinler çoğu zaman gerekli değildir. Log satırlarını insan tarafından aranabilir bir şemada üretmek, otomasyonun belirli bir sorunu diğerlerinden ayırmasını kolaylaştırır. Hedef her şeyi saklamak değil, karar vermeye yetecek kanıtı tutmaktır.
Metrikler ve neden-sonuç ayrımı
İkinci katmanda sistemin genel davranışını ölçen metrikler yer alır. Toplam istek sayısı, başarı oranı ve ortalama gecikme başlangıçtır, fakat ortalama değer kötü deneyimi gizleyebilir. 95'inci ve 99'uncu yüzdelik gecikmeler uzun kuyruktaki kullanıcı sorunlarını gösterebilir. Yalnız trafik arttı diye hata oranının yükseldiğini varsaymayın; dağılım, yeni sürüm ve bağımlı servislerin performansı da etkili olabilir. Bir hata metrikte yükselince önce hangi uç noktada, hangi coğrafyada veya hangi sürümde yoğunlaştığını inceleyin. Başarısızlık metriğini iş sonucu metriğiyle de ilişkilendirin: '200 yanıtı verdi' ama veri kaydı güncellenmedi gibi durumlar operasyonel başarısızlığı gizler. Ölçülen korelasyon ile kanıtlanmış kök neden aynı şey değildir.
Trace ile işlem yolunu görmek
Dağıtık izleme, tek bir ziyaretçi isteğinin Worker, veri tabanı, nesne deposu ve dış API arasında nasıl dolaştığını gösterebilir. Trace kimliği bileşenlerin loglarına taşındığında parçalanmış olayları birleştirmek kolaylaşır. Ancak her ayrıntıyı her istekte toplamak maliyet ve veri koruma sorunları yaratabilir. Örnekleme yaklaşımını yoğun trafik altında ayarlayın; özellikle hatalı ve yavaş isteklerin daha fazla incelenmesini sağlayın. Span sürelerinin doğru ölçülmesi için zamanlamanın tutarlı olması gerekir. Bir ekranın geç açılmasının sebebi belki SQL sorgusu değil, dış görsel hizmetinin gecikmesidir. Trace, 'hangi adım zaman aldı' sorusuna cevap sunar; neden o adımın yavaşladığını anlamak için daha hedefli deneyler gerekebilir.
SLO ve alarm yorgunluğunu azaltma
Service Level Objective, yani SLO, hizmetin kabul edilen çalışma kalitesini ölçülebilir hedefe dönüştürür. Bir portal için örneğin başarılı içerik açma oranı veya kritik sayfanın yanıt süresi seçilebilir. Hedefi belirlerken her küçük gecikmeye alarm üretmek yerine kullanıcıyı gerçekten etkileyen hatalara odaklanın. Error budget yaklaşımı, belirlenen hata toleransının ne kadarının tüketildiğini görünür kılar. Yüksek öncelikli alarmın sahibi ve yapılacak ilk üç kontrol açık olmalıdır; yalnız Discord'a sayı gönderip kimsenin incelemediği uyarı akışı fayda sağlamaz. Yineleyen aynı hatalar tek bir olayda gruplandırılmalı, gereksiz tekrarlı bildirimler sınırlanmalıdır. Alarmlar gerçek bir karara veya müdahaleye yol açabiliyorsa değerlidir.
Kök neden araştırması ve yayın doğrulaması
Bir sorun çıktığında zaman çizelgesini kurun: ilk ne zaman görüldü, o tarihte hangi kod veya veri değişiklikleri yapıldı, bağımlılıkların durumu neydi? En son yapılan değişiklik her zaman sebep değildir; yalnız şüpheyi daraltan bir ipucudur. Sorunu küçük bir test ortamında tekrar üretip tek değişkeni değiştirerek hipotezi sınayın. Düzeltmeden sonra testlerin geçtiğini görmekle yetinmeyin; gerçek kullanıcı yolculuğunda hata oranı ve gecikmenin düzeldiğini doğrulayın. İlgili veritabanı kayıtları, görseller ve önbellek durumları da kontrol edilmelidir. Bir raporda neyin ölçüldüğünü, neyin tahmin edildiğini ve hâlâ doğrulanmamış kalan noktaları açıkça ayırın. Böylece gözlemlenebilirlik panosu yalnız canlı sayı gösteren bir ekran olmaktan çıkar, mühendislik kararlarını destekleyen bir sisteme dönüşür.
Örnek olay: aniden yavaşlayan haber portalı
Bir teknoloji sitesinde ana sayfa gecikmesi aniden artmış ve bazı haber görselleri boş gelmeye başlamış olsun. İlk tepki olarak daha büyük sunucu satın almak yerine hatanın hangi katmanda başladığını araştırın. Worker yanıt süresi artarken D1 sorguları hızlı kalıyorsa sorun veri tabanından kaynaklanmayabilir. R2 nesne isteklerinin hata oranı yükseliyorsa medya anahtarları veya erişim politikası incelenmelidir. Bir sürüm değişikliğinin ardından yalnız bazı ekran genişliklerinde hata oluşuyorsa ağ değil istemci davranışı sorumlu olabilir. Bu hipotezleri ayrı ayrı ölçmek yanlış kapasite kararını önler. İstek kimliği, kullanılan kod sürümü, rota ve bağımlılık süreleri birlikte tutulduğunda her başarısız kullanıcı yolculuğunun nerede koptuğu daha hızlı anlaşılır. Tek bir genel başarı yüzdesi bu ayrımı göstermez.
İyi bir operasyon raporu nasıl görünür?
Günlük raporda en çok hata veren üç rota, hata türleri, son başarılı veri yenilemesi, gerçekleşen değişiklik sayısı ve gerçek ziyaretçiye görünen sonuçlar birlikte yer almalıdır. Örneğin otomasyon 500 kaydı taradıysa bunların kaçında gerçekten alan tamamlandığı, kaçında kaynak eksikliği bulunduğu ve kaçının doğrulanamadığı ayrı gösterilmelidir. Bekleyen işler yalnızca sayıyı artıran bir kuyruk olarak kalmamalı, hedeflenen hizmet seviyesiyle ilişkilendirilmelidir. Alarm raporu ayrıca en son başarılı canlı yayın sürümünü ve hata başladığında kullanılan konfigürasyonu belirtmelidir. Yönetici bu bilgiyle tekrar denemenin mi, kod düzeltmesinin mi yoksa kaynak yenilenmesini beklemenin mi gerekli olduğunu anlayabilmelidir. Operasyon raporunun başarısı veri miktarı değil, doğru aksiyona ne kadar hızlı ulaştırdığıdır.
Yorumlar
Henüz yorum yok. İlk katkıyı sen yapabilirsin.
Okuyucu tartışması nasıl görünebilir?Temsili
Aşağıdaki adlar, yorumlar ve editör yanıtı temsildir; gerçek ziyaretçi yorumu değildir. Etkileşimler kaydedilmez. Gerçek görüşünüzü aşağıdaki formdan paylaşabilirsiniz.
“Log, metrik ve trace: üretim hatasını gerçekten bulmak için gözlemlenebilirlik tasarımı” başlıklı makalede özellikle şu noktayı düşündüm: mevcut kodla uyumluluk ve hata ayıklama süreçlerine etkisini merak ettim.
Editörün notu: Bu noktada faydayı ilan edilen özelliklerden ayrı değerlendirmek gerekir. Önce küçük bir kullanım senaryosu ve ölçüm yöntemi tanımlamak yerinde olur.
Bence maliyet ve bakım yükü ayrıca tartışılmalı. İlk kurulumun kolay olması, sonraki sürümlerin de sorunsuz çalışacağı anlamına gelmiyor.
Bunu küçük ölçekte denemek isterdim. Ölçülebilir bir başarı kriteri belirlemeden uygulamaya geçmek riskli.
✎ Yorum yaz