GÜNDEMDE

DÜNYADAN TEKNOLOJİ HABERLERİ

→
Veri aktarımında hız kadar bütünlük: batch, tekrar deneme ve tekilleştirme
Yazılım · 2021
Yazılım2021

Veri aktarımında hız kadar bütünlük: batch, tekrar deneme ve tekilleştirme

Bir aktarımın hızlı bitmesi doğru kaydedildiği anlamına gelmez. Tekil kaynak kimliği, atomik işlem ve yeniden başlatılabilir işaretçi birlikte olmalıdır.

Yazılımcının GünlüğüYayımlanma: 16 Kas 20263 dk okuma

Kaynak kimliğiyle başlayın

E-ticaret sisteminden bir veri ambarına sipariş aktarıldığını düşünün. Kaynakta bulunan OrderId, hedefte benzersiz eşleşme anahtarı olmalıdır. Aynı aktarım iki kez çalıştırıldığında kayıt sayısı ikiye katlanmamalıdır. İsim veya tarih benzerliğine göre geçici tekilleştirme yerine kaynak kimliği ve uygun benzersiz indeks kullanmak hataları azaltır.

Parti büyüklüğü ve checkpoint

Kayıtları yönetilebilir partilere bölün; parti sınırını API kota, transaction süresi ve bellek kullanımı ölçümlerine göre seçin. Bir parti başarılı olduğunda son işlenen işaretçiyi güvenli biçimde kaydedin. İşlem yarıda kesilirse aynı partinin tekrar çalışması sorun oluşturmamalıdır. Hedefe yazma ile ilerleme işaretçisi mümkünse aynı atomik işlem içinde güncellenmelidir.

Hata ve veri eşleştirme testi

Testte aynı OrderId'yi iki kez gönderin, bir partide kasıtlı geçersiz değer kullanın ve bağlantıyı tam yazma sırasında kesin. Başarılı kayıt, reddedilen kayıt ve yeniden denenen partileri ayrı sayın. Yalnız toplam satır sayısını karşılaştırmayın; tutar toplamları, boş alanlar ve kaynak/ hedef kimlikleriyle uzlaşma kontrolü yapın. Sessiz başarısızlıkları 'başarılı' saymayın.

2021 döneminin bakım dersi

Bu yazı 2021 döneminden veri aktarımı problemlerini bugünkü mühendislik ölçütleriyle inceler. Ayrı bir hata kuyruğu oluşturmak tek başına çözüm değildir; işletim ekibinin hataları inceleyeceği bir süreç yoksa kayıt biriktirir. Önce sınırlı otomatik tekrar, görünür durum özeti ve güvenli geri alma mekanizması kurun. Kota ve işlem maliyetlerini gerçek ölçümlerle değerlendirin.

0 okunma

Yorumlar

Henüz yorum yok. İlk katkıyı sen yapabilirsin.

✎ Yorum yaz

Yorumun gönderildiğinde görünür; spam ve tekrarlı gönderimler engellenir.