GÜNDEMDE

DÜNYADAN TEKNOLOJİ HABERLERİ

→
Yazılım

Veritabanında mükerrer kayıtları kalıcı olarak önlemek

Aynı kaynağı on kez okuduğunuzda on kopya üretmemek için idempotent veri modellemesi.

Yazılımcının GünlüğüYayımlanma: 15 Kas 20264 dk okuma

Sorunu en başta tanımlayın

Bir kaynağın tekrar taranması normaldir. Anormal olan, değişmeyen bir kaydın her taramada yeni bir kayıt gibi saklanmasıdır. Kaynağın sunduğu sabit ID varsa onu kullanın; yoksa güvenilir alanlardan türetilmiş bir anahtar ve eşleşme kuralları belirleyin.

Unique index, sadece son savunma değil

Veritabanı benzersizlik koşulu, paralel işlemlerde bile son kontrol noktasıdır. Uygulama tarafında 'önce baktım, yoktu' denetimi aynı anda çalışan iki Worker için yeterli değildir.

CREATE UNIQUE INDEX IF NOT EXISTS idx_reviews_source
ON comments (source, source_review_id);

INSERT INTO comments (source, source_review_id, body)
VALUES ('google', ?, ?)
ON CONFLICT(source, source_review_id) DO UPDATE SET
  body = excluded.body;

İşlem sonucu ve izlenebilirlik

Okunan kayıt sayısı, eleme sayısı ve kaydedilen tekil kayıt sayısı ayrı metriklerdir. Kuyruğun kaç kez çalıştığı kullanıcı açısından bir başarı metriği değildir. Her iş sonunda hangi kaydın değiştiğini ve neden değiştiğini kaydedin.

Kavramsal iş akışı — editöryal çizim

Silme ve güncelleme politikası

Bir kaynağın artık görünmeyen kaydı hemen silinmemelidir. Geçici kaynak hatası ile gerçek silinmeyi ayırın. Durum alanları, güncelleme zamanları ve kontrollü temizleme işleri veri bütünlüğünü korur.

Kimlik kuralları net değilse veri katlanır

Bir yorum toplayıcısını aynı tesis için beş kez çalıştırmak, on gerçek yorumu elli yoruma dönüştürmemelidir. Önce kayıt kimliğinin ne olduğunu tanımlayın. Kaynaktan gelen kararlı yorum kimliği varsa onu kullanın; yoksa tesis, kaynak, yazar, zaman ve normalize edilmiş metin gibi özelliklerin dikkatle seçildiği birleşik anahtar gerekebilir. İki metnin aynı olması her zaman aynı olaya ait olduğu anlamına gelmez. Normalizasyon ve eşleme kurallarını kaydedin, belirsiz eşleşmeleri otomatik olarak birleştirmeyin. Veri kalitesi, yalnız tekrar eden satırı silmekten daha geniş bir konudur.

Eşzamanlı çalışan işçiler için veritabanı garantisi

İki Worker aynı anda önce kayıt var mı diye sorgulayıp sonra ekleme yaparsa ikisi de yok sonucu alarak mükerrer kayıt yazabilir. Uygulama seviyesindeki kontrol tek başına yeterli değildir; en sağlam sınır UNIQUE indeks veya benzersiz kısıttır. Uygun yerde INSERT ... ON CONFLICT ile tekil kayıt korunabilir. İşlem tekrarlandığında veri zaten mevcutsa kontrollü güncelleme yapılmalı; işlem girişine kararlı bir idempotency anahtarı eklenmelidir. Bu tasarım, ağ zaman aşımı sonrası yeniden deneme durumlarında da aynı kaydın çoğalmasını önler.

Silme ve senkronizasyon tuzakları

Kaynakta bir yorumun geçici olarak görünmemesi silindiği anlamına gelmez; sayfalama, robot kontrolü veya erişim sınırı eksik sonuç üretmiş olabilir. Fiziksel silme yerine son görüldüğü zaman, kaynak durumu ve yayında/pasif işareti tutulabilir. Önce eşleşme güvenini, sonraki okumalarla tutarlılığı ve varsa hukukî saklama gereksinimlerini kontrol edin. Yönetim ekranında keşfedilen yorum sayısını, benzersiz kayıt sayısını ve elenen kayıt sayısını ayrı gösterin. Yüksek tarama sayısı yüksek veri kalitesi göstergesi değildir.

0 okunma

Yorumlar

0 gerçek yorum
KURGUSAL ÖRNEKDeniz · 2026 (temsili)

Tekrarlı kayıtları yalnız ekranda gizlemek yeterli değil. Veritabanında benzersiz kısıt ve güvenli upsert birlikte tasarlanmalı.

Temsili okuyucu görüşü ve tarih; gerçek yorum değildir.
✎ Yorum yaz

Yorumlar yayımlanmadan önce incelenir.