GÜNDEMDE

DÜNYADAN TEKNOLOJİ HABERLERİ

→
Yazılım2017

Kubernetes sağlıklı görünüyor ama hizmet neden kesiliyor? Probe tasarımı

2017 Kubernetes dönemi üzerinden liveness ve readiness farkını, başlatma sürecini, trafik yönlendirmeyi ve yanlış probe ayarlarının zincirleme kesinti üretmesini inceliyoruz.

Yazılımcının GünlüğüYayımlanma: 17 Kas 20264 dk okuma
Okuma ilerlemesi0%

Çalışan süreç, çalışan hizmet değildir

Konteynerin işletim sistemi tarafından çalışıyor görülmesi, ziyaretçinin başarılı yanıt aldığı anlamına gelmez. Uygulama süreci kilitlenmiş, bağlantı havuzu tükenmiş veya henüz kritik verileri yüklememiş olabilir. Kubernetes'in sağlık denetimleri bu belirsizliği azaltmak için tasarlanmıştır. Ancak ölçtükleri soruları karıştırırsanız yararlı mekanizma bir kesinti kaynağına dönüşebilir. 2017 döneminin liveness ve readiness yaklaşımını bugün incelerken o günün ürün özellikleriyle sonraki sürümlerde olgunlaşan seçenekleri ayırmak gerekir. Bir probe'un verdiği HTTP 200 yanıtı, tüm dış servislerin ve kullanıcı akışlarının kusursuz olduğu garantisi değildir. Sağlık uç noktaları yalnızca belirli, açıkça tanımlanmış davranışı ölçmelidir. Ölçüm sonuçları sürüm notlarıyla birlikte değerlendirilmelidir.

Liveness ne zaman yeniden başlatmalı?

Liveness, uygulama artık ilerleme sağlayamıyorsa yeniden başlatma kararı vermek içindir. Örneğin bir worker iç döngüsünde kilitlenmiş ve hiçbir yeni işi işlemiyorsa, süreç PID'si yaşamaya devam etse bile kendi kendine iyileşemeyebilir. Böyle bir durumda restart işe yarayabilir. Buna karşılık veritabanı kısa süre ulaşılamadığında uygulamayı sürekli yeniden başlatmak çoğu zaman yanlıştır. Her yeni süreç tekrar bağlantı kurmaya, önbellek hazırlamaya ve ilk istekleri almaya çalışır. Bu ek yük zaten zorlanan bağımlılığı daha da sıkıştırabilir. Liveness uç noktası hafif olmalı, kendi sürecinin ilerleyebilirliğini sınamalı ve geçici dış hizmet arızalarını gereksiz yere kalıcı süreç hatası gibi yorumlamamalıdır.

Uygulama akışıKavramsal şema · makalenin teknik akışını özetler

Readiness trafiği ne zaman keser?

Readiness ise uygulamanın o anda kullanıcı isteği almaya uygun olup olmadığını bildirir. Örneğin başlatılırken şema uyumluluğunu kontrol eden, yapılandırma yükleyen veya kritik önbelleğini hazırlayan bir servis henüz hazır değildir. Hazır değilse Kubernetes ilgili Pod'u Service uç noktaları listesinden çıkarabilir; çalışan diğer örnekler trafiği karşılar. Bu, süreç öldürmekten daha yumuşak bir davranıştır. Ancak readiness denetiminin maliyetli ve çok sık yapılması yeni bir darboğaz doğurabilir. Sadece gerçekten istek işleme kabiliyetini değiştiren koşulları kontrol edin; geçici yük sırasında readiness'in kısa aralıklarla açılıp kapanmasının da trafikte dalgalanma yaratabileceğini ölçün. Amaç sistemi kararlı tutmak ve kullanıcıya yansıyacak hataları azaltmaktır.

Kavramsal akış: gerçek uygulamanın yapısına göre yorumlayın.

Başlangıç süreci için güncel startup probe farkı

Yavaş başlayan bir uygulamada liveness için kısa bekleme seçmek, servis düzgün çalışabilecek durumdayken onu tekrar tekrar öldürebilir. Güncel Kubernetes sürümlerinde startup probe, başlangıç aşamasının tamamlanmasını ayrı bir denetimle beklemeye imkân verir; başarılı olana kadar liveness ve readiness çalıştırılmaz. Bu özelliği 2017'deki tüm kümelerde varmış gibi değerlendirmek tarihsel olarak yanlıştır; eski kümelerde sürümün desteklediği başlangıç gecikmesi ve eşik alanları kullanılmalıdır. Bugün tasarım yaparken ise başlangıç süresinin normal dağılımını ölçün, yüksek yüzdeliklerdeki gecikmeleri hesaba katın ve belirsizliği fazla uzun toleranslarla gizlemeyin. Bir kez tamamlanan başlatma ile sonradan ortaya çıkan işlev kaybının ayrı alarmlara bağlanması daha anlaşılırdır.

Örnek: üç örnekten biri bozulduğunda

Üç Pod ile çalışan bir web API düşünelim. İkinci Pod zaman zaman veritabanı bağlantısını yenileyemiyor ve kullanıcı isteklerinde hata üretiyor. Readiness bu durumu saptayıp yalnız sorunlu örneği trafikten çıkarırsa kalan ikisi belirli kapasite sınırları içinde hizmeti sürdürebilir. Aynı duruma liveness yanıtı verip üç Pod'u peş peşe yeniden başlatırsa sistem tamamen boşalabilir. Bunu önlemek için maxUnavailable, PodDisruptionBudget, rolling update ve kaynak limitlerini birlikte düşünün; tek bir probe ayarı izole olarak yeterli değildir. Test ortamında veritabanını kısa süre durdurup Pod restart sayısını, endpoint değişimini, p95 gecikmeyi ve başarısız istekleri ölçün. Kurtarmanın kullanıcıya maliyetini rakamla görün.

Uygulanabilir üretim kontrol listesi

İlk adım, her denetimin tek cümlelik amacını yazmaktır: liveness süreç ilerleyebilir mi, readiness güvenle istek alabilir mi, startup başlatma tamamlandı mı? Ardından periodSeconds, timeoutSeconds, failureThreshold ve initialDelaySeconds gibi alanları gerçek ölçümlerden türetin. Sağlık uç noktalarının kimlik doğrulama ve ağ politikaları altında erişilebilir olduğunu, fakat hassas yapılandırma bilgisini dökmediğini doğrulayın. Değişiklikten önce ve sonra yeniden başlatma sayısını, endpoint dalgalanmasını, yanıt süresini ve hata oranını kaydedin. Üretim kesintisine benzeyen yük testlerinde eşiklerin davranışını gözlemleyin. En önemlisi, bir sağlık kontrolünün hata üretmesi durumunda sistemin daha kötü bir duruma düşmediğini kanıtlayacak geri dönüş planı hazırlayın.

İlk okuyan sen ol ✎ Yorum yaz

Yorumlar

Henüz yorum yok. İlk katkıyı sen yapabilirsin.

Deniz Yalçın

“Kubernetes sağlıklı görünüyor ama hizmet neden kesiliyor? Probe tasarımı” başlıklı makalede özellikle şu noktayı düşündüm: mevcut kodla uyumluluk ve hata ayıklama süreçlerine etkisini merak ettim.

Editörün örnek yanıtı

Editörün notu: Bu noktada faydayı ilan edilen özelliklerden ayrı değerlendirmek gerekir. Önce küçük bir kullanım senaryosu ve ölçüm yöntemi tanımlamak yerinde olur.

İrem Kaplan

Bence maliyet ve bakım yükü ayrıca tartışılmalı. İlk kurulumun kolay olması, sonraki sürümlerin de sorunsuz çalışacağı anlamına gelmiyor.

Fatma Demir

Bunu küçük ölçekte denemek isterdim. Ölçülebilir bir başarı kriteri belirlemeden uygulamaya geçmek riskli.

✎ Yorum yaz

Adın ve soyadın yorumunla birlikte herkese açık görünecek.