Veritabanında mükerrer kayıtları kalıcı olarak önlemek
Aynı kaynağı on kez okuduğunuzda on kopya üretmemek için idempotent veri modellemesi.
Sorunu en başta tanımlayın
Bir kaynağın tekrar taranması normaldir. Anormal olan, değişmeyen bir kaydın her taramada yeni bir kayıt gibi saklanmasıdır. Kaynağın sunduğu sabit ID varsa onu kullanın; yoksa güvenilir alanlardan türetilmiş bir anahtar ve eşleşme kuralları belirleyin.
Unique index, sadece son savunma değil
Veritabanı benzersizlik koşulu, paralel işlemlerde bile son kontrol noktasıdır. Uygulama tarafında 'önce baktım, yoktu' denetimi aynı anda çalışan iki Worker için yeterli değildir.
CREATE UNIQUE INDEX IF NOT EXISTS idx_reviews_source
ON comments (source, source_review_id);
INSERT INTO comments (source, source_review_id, body)
VALUES ('google', ?, ?)
ON CONFLICT(source, source_review_id) DO UPDATE SET
body = excluded.body;İşlem sonucu ve izlenebilirlik
Okunan kayıt sayısı, eleme sayısı ve kaydedilen tekil kayıt sayısı ayrı metriklerdir. Kuyruğun kaç kez çalıştığı kullanıcı açısından bir başarı metriği değildir. Her iş sonunda hangi kaydın değiştiğini ve neden değiştiğini kaydedin.
Silme ve güncelleme politikası
Bir kaynağın artık görünmeyen kaydı hemen silinmemelidir. Geçici kaynak hatası ile gerçek silinmeyi ayırın. Durum alanları, güncelleme zamanları ve kontrollü temizleme işleri veri bütünlüğünü korur.
Kimlik kuralları net değilse veri katlanır
Bir yorum toplayıcısını aynı tesis için beş kez çalıştırmak, on gerçek yorumu elli yoruma dönüştürmemelidir. Önce kayıt kimliğinin ne olduğunu tanımlayın. Kaynaktan gelen kararlı yorum kimliği varsa onu kullanın; yoksa tesis, kaynak, yazar, zaman ve normalize edilmiş metin gibi özelliklerin dikkatle seçildiği birleşik anahtar gerekebilir. İki metnin aynı olması her zaman aynı olaya ait olduğu anlamına gelmez. Normalizasyon ve eşleme kurallarını kaydedin, belirsiz eşleşmeleri otomatik olarak birleştirmeyin. Veri kalitesi, yalnız tekrar eden satırı silmekten daha geniş bir konudur.
Eşzamanlı çalışan işçiler için veritabanı garantisi
İki Worker aynı anda önce kayıt var mı diye sorgulayıp sonra ekleme yaparsa ikisi de yok sonucu alarak mükerrer kayıt yazabilir. Uygulama seviyesindeki kontrol tek başına yeterli değildir; en sağlam sınır UNIQUE indeks veya benzersiz kısıttır. Uygun yerde INSERT ... ON CONFLICT ile tekil kayıt korunabilir. İşlem tekrarlandığında veri zaten mevcutsa kontrollü güncelleme yapılmalı; işlem girişine kararlı bir idempotency anahtarı eklenmelidir. Bu tasarım, ağ zaman aşımı sonrası yeniden deneme durumlarında da aynı kaydın çoğalmasını önler.
Silme ve senkronizasyon tuzakları
Kaynakta bir yorumun geçici olarak görünmemesi silindiği anlamına gelmez; sayfalama, robot kontrolü veya erişim sınırı eksik sonuç üretmiş olabilir. Fiziksel silme yerine son görüldüğü zaman, kaynak durumu ve yayında/pasif işareti tutulabilir. Önce eşleşme güvenini, sonraki okumalarla tutarlılığı ve varsa hukukî saklama gereksinimlerini kontrol edin. Yönetim ekranında keşfedilen yorum sayısını, benzersiz kayıt sayısını ve elenen kayıt sayısını ayrı gösterin. Yüksek tarama sayısı yüksek veri kalitesi göstergesi değildir.
Yorumlar
0 gerçek yorumTekrarlı kayıtları yalnız ekranda gizlemek yeterli değil. Veritabanında benzersiz kısıt ve güvenli upsert birlikte tasarlanmalı.
Temsili okuyucu görüşü ve tarih; gerçek yorum değildir.✎ Yorum yaz