GÜNDEMDE

DÜNYADAN TEKNOLOJİ HABERLERİ

→
2012 BigQuery dönemi: Veri ambarında sorgu başına maliyeti anlamak
İş Zekâsı · 2012
İş Zekâsı2012

2012 BigQuery dönemi: Veri ambarında sorgu başına maliyeti anlamak

Bulut analitiğinin yaygınlaşmaya başladığı döneme bakıp sorgu bütçesini, rapor tazeliğini ve veri sahipliğini birlikte tasarlıyoruz.

Arşiv incelemesi · Konu yılı 2012

Yazılımcının GünlüğüYayımlanma: 18 Kas 20263 dk okuma
Okuma ilerlemesi0%

Bulut ambarı maliyeti farklı bir yere taşıdı

2012 döneminde BigQuery, ekiplerin büyük veri taramalarını kendi donanımlarını işletmeden yapabilmesi açısından önemli bir örnekti. Yönetimin gördüğü fatura, tek seferlik sunucu yatırımından farklı değişkenlerle şekillenebilir. Rapor ne sıklıkta yenileniyor, hangi alanlar taranıyor ve aynı soru kaç farklı ekip tarafından tekrar çalıştırılıyor? Bu sorular teknik sorgu incelemesiyle finans yönetimi arasında ortak bir zemin oluşturur. Dönem analizi güncel fiyat veya paket koşulu iddiası içermez. İlgili hizmetin bugünkü faturalama modelini ayrıca incelemek gerekir.

Satış panosu üzerinden bütçe kurmak

Bölge ve ürün bazında günlük gelir isteyen bir panoyu düşünün. Her açılışta tüm sipariş tablosunu yeniden taramak yerine günlük özet tablosu kullanmayı değerlendirin. Özetin gün içinde gecikmesi tolere edilebiliyorsa sorgu ve çalışma sıklığı azalabilir. Gerçek zamanlı bir kontrol gerekiyorsa yalnız gereken ölçüler için daha sık yenileme planlayın. Panonun yanında veri tarihi göstermek bu kararı kullanıcıya açıklar. Ham verinin hangi ekip tarafından düzeltileceği ve özetin ne zaman tekrar oluşturulacağı da sorumluluk listesine girsin.

Uygulama akışıKavramsal şema · makalenin teknik akışını özetler

Tüketimi tek bir kullanıcıya yüklememek

Bir fatura artışı, tek bir kişinin verimsiz SQL yazdığını göstermek zorunda değildir. Yeni bir gösterge, otomatik yenileme veya günlük sorgu çalıştırma artışı aynı sonucu doğurabilir. Sorguları ürün, ekip ve zaman penceresine ayırmayı sağlayan etiket ve kayıtlar tasarlayın. Yükü önce en sık çalışan rapordan başlayarak inceleyin. Ürün sahibiyle maliyetin karşılığında hangi kararın daha hızlı verildiğini konuşun. Kazanım netse bütçe artışı rasyonel olabilir. Harcama değişikliği ile veri doğruluğundaki sapmayı ayrı izleyin.

Finans ve veri ekibi için ortak kabul ölçütü

Bir rapor iyileştirmesinden sonra toplam faturayı tek sayı olarak karşılaştırmak yanıltıcı olabilir. Kullanıcı ve veri hacmi değişirken aynı sorgunun taradığı veriyi, yenileme gecikmesini ve tutarların tutarlılığını birlikte ölçün. Veri sahipliği açısından takımdan biri boyut alanını değiştirdiğinde hangi panoların etkileneceği belli olmalıdır. Ay sonunda bir örnek maliyet döngüsünü tekrar gözden geçirin. Pano daha ucuz ama karar vermek için gereğinden fazla eskiyse sonuç kısmi başarıdır. Teknik bir iyileştirmeyi iş ihtiyacının yanında değerlendirin.

Önce veri sözleşmesini ve sınırları tanımlayın

SQL Server veya kurumsal veri tabanı üzerinde değişiklik yaparken sorgunun yalnızca örnek veriyle doğru çalışması yeterli değildir. Birincil anahtar, tekillik, NULL davranışı, tarih alanlarının zaman dilimi ve işlem sırası açıkça belirlenmelidir. Aynı olayın tekrar gönderildiği veya iki işçinin aynı anda çalıştığı senaryolarda mükerrer kayıt oluşup oluşmadığını test edin. Veri taşıma işlemlerinde önce sayım ve kontrol toplamı alıp sonra hedefi güncellemek, geri dönüş gerektiğinde hangi verinin değiştiğini anlamayı kolaylaştırır. Üretim veritabanında silme veya şema değişimi öncesi geri alma planı bulunmalıdır.

Sorgu planını gerçek yük altında ölçün

İndeks, sorgu süresini sihirli biçimde her durumda azaltmaz. Sorgu planı, okunan satır sayısı, indeks seçimi, istatistik güncelliği ve yazma maliyeti birlikte değerlendirilmelidir. Bir raporda saniyelik iyileştirme sağlarken yoğun aktarım işlemlerini yavaşlatan tasarımlar olabilir. Test verisi üretim dağılımını temsil etmiyorsa seçilen plan yanıltıcı olur. Değişiklikten sonra gecikme yüzdeliklerini ve kaynak tüketimini gözlemleyerek gerektiğinde geri dönülebilecek şekilde sürümü koruyun.

İlk okuyan sen ol ✎ Yorum yaz

Yorumlar

Henüz yorum yok. İlk katkıyı sen yapabilirsin.

Editörden tartışma sorusu Bir yönetim panosunda hangi ölçümü daha sık yenilemenin gerçekten maliyetine değdiğini nasıl belirliyorsunuz?

Elif Aksoy

“2012 BigQuery dönemi: Veri ambarında sorgu başına maliyeti anlamak” başlıklı makalede özellikle şu noktayı düşündüm: iş kararlarının hangi veriyle desteklendiğini görmek isterim.

Editörün örnek yanıtı

Editörün notu: Katılıyorum; veri güvenliği ve hata senaryoları, ürün duyurusundan farklı kanıtlar gerektirir. Kaynak güncellenirse incelemeyi de yenilemek gerekir.

Emre Aydın

Açıklanan özellikler kadar güvenlik ve veri gizliliği de önemli. Yetki ve hata durumları netleşmeden sonuç çıkarmamak gerekir.

Ece Çetin

Ekip içinde karar verirken yalnız tanıtımı değil, bağımsız karşılaştırmaları da görmek isterim.

✎ Yorum yaz

Adın ve soyadın yorumunla birlikte herkese açık görünecek.