Veri aktarımında hız kadar bütünlük: batch, tekrar deneme ve tekilleştirme
Bir aktarımın hızlı bitmesi doğru kaydedildiği anlamına gelmez. Tekil kaynak kimliği, atomik işlem ve yeniden başlatılabilir işaretçi birlikte olmalıdır.
Kaynak kimliğiyle başlayın
E-ticaret sisteminden bir veri ambarına sipariş aktarıldığını düşünün. Kaynakta bulunan OrderId, hedefte benzersiz eşleşme anahtarı olmalıdır. Aynı aktarım iki kez çalıştırıldığında kayıt sayısı ikiye katlanmamalıdır. İsim veya tarih benzerliğine göre geçici tekilleştirme yerine kaynak kimliği ve uygun benzersiz indeks kullanmak hataları azaltır.
Parti büyüklüğü ve checkpoint
Kayıtları yönetilebilir partilere bölün; parti sınırını API kota, transaction süresi ve bellek kullanımı ölçümlerine göre seçin. Bir parti başarılı olduğunda son işlenen işaretçiyi güvenli biçimde kaydedin. İşlem yarıda kesilirse aynı partinin tekrar çalışması sorun oluşturmamalıdır. Hedefe yazma ile ilerleme işaretçisi mümkünse aynı atomik işlem içinde güncellenmelidir.
Hata ve veri eşleştirme testi
Testte aynı OrderId'yi iki kez gönderin, bir partide kasıtlı geçersiz değer kullanın ve bağlantıyı tam yazma sırasında kesin. Başarılı kayıt, reddedilen kayıt ve yeniden denenen partileri ayrı sayın. Yalnız toplam satır sayısını karşılaştırmayın; tutar toplamları, boş alanlar ve kaynak/ hedef kimlikleriyle uzlaşma kontrolü yapın. Sessiz başarısızlıkları 'başarılı' saymayın.
2021 döneminin bakım dersi
Bu yazı 2021 döneminden veri aktarımı problemlerini bugünkü mühendislik ölçütleriyle inceler. Ayrı bir hata kuyruğu oluşturmak tek başına çözüm değildir; işletim ekibinin hataları inceleyeceği bir süreç yoksa kayıt biriktirir. Önce sınırlı otomatik tekrar, görünür durum özeti ve güvenli geri alma mekanizması kurun. Kota ve işlem maliyetlerini gerçek ölçümlerle değerlendirin.
Yorumlar
Henüz yorum yok. İlk katkıyı sen yapabilirsin.
✎ Yorum yaz