Hadoop 2.2 ve YARN: büyük veride iş kuyruğunu kim yönetir?
Apache Hadoop 2.2.0, 15 Ekim 2013’te 2.x serisinin genel kullanıma uygun sürümü olarak duyuruldu. YARN, yalnız MapReduce işlerine bağlı olmayan daha genel bir kaynak yönetimi yaklaşımı getirdi.
Arşiv incelemesi · Konu yılı 2013
Hadoop 2.2 ve YARN
Apache Hadoop 2.2.0, 15 Ekim 2013’te 2.x serisinin genel kullanıma uygun sürümü olarak duyuruldu. YARN, yalnız MapReduce işlerine bağlı olmayan daha genel bir kaynak yönetimi yaklaşımı getirdi. Dağıtık işlemde işleri çalıştırmakla hangi işe ne kadar kaynak verileceğini kararlaştırmak farklı sorumluluklardır. Bu ayrım veri platformlarının büyümesi için önemliydi. Ortak kümeyi kullanan iki ekip aynı önceliğe sahip olmayabilir. Birinin kısa etkileşimli işi, diğerinin saatler süren toplu işlemi arkasında beklerse kaynak kullanımı yüksek görünürken kullanıcı deneyimi kötüleşebilir. Bu nedenle kaynak planlamasında adalet, öncelik ve bekleme süresi açık politika olarak ele alınmalıdır.
Kaynak yönetimini iş modelinden ayırmak
Bir kümeye aynı anda raporlama, toplu veri işleme ve başka hesaplama işleri gönderildiğinde işlemci ve bellek kapasitesi paylaşılır. YARN kaynak tahsisi ile iş yürütme görevlerini ayrıştırır. Böylece farklı uygulama modellerinin ortak altyapıyı kullanmasına olanak açılır. Ancak bir işin başlatılabilir olması, kaynak ve veri yerelliği nedeniyle beklemeyeceği anlamına gelmez. YARN tarafındaki kaynak yönetimi işin tamamlanmasıyla birlikte tüm kalıcı veri sorumluluğunu üstlenmez. HDFS üzerinde saklanan çıktıların doğru dizine, beklenen sürümle ve tam olarak yazılması ayrı bir veri akışı kararıdır. Görevin yeniden denenmesi aynı sonucu ikinci kez ekliyorsa veri bütünlüğü bozulabilir.
Kuyruk ve kapasite kararları
HDFS yüksek erişilebilirlik, federasyon ve anlık görüntü özellikleri aynı sürümde dikkat çeken başlıklardı. Bunlar kaynak yönetiminden ayrı veri saklama sorumluluklarıdır. Yanlış kapasite planı, başarısız düğüm veya hatalı tekrar deneme davranışı tüm kümeyi etkileyebilir. Büyük veride başarı yalnız biten iş sayısı değil, başarısızlık sonrası tutarlı veri elde edilmesidir. Kaynakları yalnız işlemci üzerinden düşünmek de yetersizdir. Bellek baskısı, ağ aktarımı ve depolama altyapısı farklı işlerde farklı darboğazlar yaratabilir. Bir işin sıradan çıkması, hızla tamamlanacağı anlamına gelmez. Kaynak tahsisi ile gerçek işlem süresi ayrı metrik olarak tutulmalıdır.
Tahsis süresini gözlemek
Deney için farklı boyuttaki iki iş kümesini aynı altyapıda sıraya koyun. Kuyruk süresini, gerçek çalışmayı, kaynak tüketimini ve hata sonrası tekrar denemeyi ayrı ölçün. Üretilen kayıtların sayısı ve doğruluğu da denetlenmelidir. Sadece yüksek toplam işlem hacmi gösteren bir grafik, bir kullanıcının neden çok beklediğini veya ne kadar kaynağın boşa harcandığını açıklamaz. Örnek yük testinde büyük toplu iş çalışırken küçük işlerin kaç saniye beklediğini gözleyin. Kuyruk önceliğini değiştirip bekleme süreleri ile toplam işlem hacmi arasındaki dengeyi karşılaştırın. Bu bir test önerisidir; burada gerçek bir Hadoop kümesi üzerinde ölçüm yapılmadı.
Küme işletiminden çıkarılacak ders
Hadoop 2.2’nin tarihsel katkısı yürütme çerçevesini kaynak tahsisinden ayrı düşünmeyi yaygınlaştırmasıdır. Güncel veri platformları farklı araçlar kullansa da iş kabulü, kota, bekleme ve iptal kararları aynı ölçüde önemlidir. Bu yazı eski sürümü kurmaya çağrı değil; YARN ile görünür hale gelen işletim sorumluluklarını değerlendirmedir. Modern sistemlerde Kubernetes veya başka bir zamanlayıcı kullanılması, geçmişteki YARN derslerini geçersiz kılmaz. Her yerde benzer soru vardır: kimin işine ne kadar kaynak, ne kadar süreyle ve hangi başarısızlık politikasına göre verilecek? Bu kararlar belgelenmedikçe otomasyon kapasite sorununu çözemez.
Yorumlar
Henüz yorum yok. İlk katkıyı sen yapabilirsin.
Yorum yaz
Örnek yorumlar ve editör yanıtı
Tartışma örneği — gerçek kullanıcı yorumu değildir. Bu alandaki isimler ve konuşmalar örnek olarak hazırlanmıştır. Beğeniler ve yanıtlar kaydedilmez; gerçek etkileşim sayılarına eklenmez.
Örnek sayaçlar: 11.449 okunma · 169 beğeni — gerçek ölçüm değildir
Küme boş görünürken iş kuyrukta bekliyor. Yalnız toplam işlemci kullanımına bakmak yeterli mi?
Bellek isteği, kuyruk politikası ve işin talep ettiği kaynak biçimi de incelenmeli. Toplam boş kapasite tek bir iş için uygun kaynak bulunduğunu kanıtlamaz. Küçük, tanımlı bir iş yüküyle tahsis ve bekleme sürelerini ayrı izleyin.
Açıklanan özellikler kadar güvenlik ve veri gizliliği de önemli. Yetki ve hata durumları netleşmeden sonuç çıkarmamak gerekir.
Ekip içinde karar verirken yalnız tanıtımı değil, bağımsız karşılaştırmaları da görmek isterim.
Bu konuyu bugün okurken dönem koşullarını da görmek isterim. “Hadoop 2.2 ve YARN: büyük veride iş kuyruğunu kim yönetir?” için o gün geçerli olan hangi sınırlamalar hâlâ önemli?
Dönem bilgisi yazının konu yılıyla belirtiliyor. Arşivdeki bir sonucu bugüne uygularken kaynak tarihini ve güncel sürüm koşullarını yeniden kontrol etmek gerekir.
Konuya yeni başlayanlar için kaynaklardan hangisiyle başlamayı önerirsiniz? Özellikle yazilim başlığındaki teknik terimler için kısa bir açıklama yararlı olur.
Yazıdaki sonucu farklı bir ortamda karşılaştırırken hangi değişkenleri sabit tutmak gerekir? Yalnız tek bir ölçüme bakmak eksik kalabilir.
Arşivde aynı konuya farklı açıdan bakan bir yazıya bağlantı eklenebilir mi? Gelişimin zaman içindeki yönünü birlikte okumak isterim.
İlgili okumalar için yazının kaynakları ve arşiv bağlantıları başlangıç olabilir. Aynı başlık altındaki iddiaları karşılaştırırken yöntem ve kapsam farklarını da dikkate almak gerekir.
Burada kesinleşen bulgularla henüz yanıt bekleyen soruları ayırmak faydalı. Özellikle “Hadoop 2.2 ve YARN: büyük veride iş kuyruğunu kim yönetir?” başlığındaki sonucun sınırlarını merak ediyorum.