Big Data Nedir?
İngilizce: Big Data
Big data, hacmi, hızı veya çeşitliliği geleneksel araçları aşan veri setlerini işleme ve analiz etme yaklaşımıdır.
Big Data Nedir?
Big data, klasik veritabanı ve raporlama araçlarının rahatça yönetemeyeceği hacim, hız veya çeşitlilikteki verilerle çalışma yaklaşımıdır. Buradaki büyüklük yalnızca terabayt sayısı değildir; saniyede akan olay verisi veya yapılandırılmamış log/metin/veri karışımı da big data ihtiyacı doğurabilir.
Temel Özellikler
Big data genellikle 3V ile açıklanır: volume (hacim), velocity (hız) ve variety (çeşitlilik). Bazı projelerde doğruluk, değer ve değişkenlik gibi ek boyutlar da değerlendirilir. Veriler dosya, olay akışı, log, sensör, işlem kaydı veya kullanıcı davranışı olarak gelebilir.
Mimaride veri gölü, dağıtık işleme, kuyruk veya stream altyapısı, kolon bazlı depolama ve analitik motorlar kullanılabilir. Batch ve gerçek zamanlı işleme ihtiyaçları ayrı tasarlanmalıdır.
İş Dünyasında Kullanımı
Perakende talep tahmini, finansal risk analizi, üretim sensörleri, web davranış analitiği, dolandırıcılık tespiti ve müşteri segmentasyonu big data örnekleridir. ETL veriyi dönüştürme ve yükleme sürecidir; data pipeline ise verinin kaynaktan hedef sisteme güvenilir akışını yönetir.
Big data projesinde en büyük risk, iş sorusu netleşmeden teknoloji yığını kurmaktır. Önce karar ihtiyacı, veri kalitesi ve işletme maliyeti tanımlanmalıdır.
İlgili Terimler
BI, şirket verisini rapor, gösterge paneli ve analiz modellerine dönüştürerek karar alma süreçlerini görünür kılar.
Data LakeData lake, ham ve işlenmiş verileri ölçeklenebilir depoda tutarak analitik, makine öğrenmesi ve arşiv ihtiyaçlarını besleyen mimaridir.
Veri Boru HattıData pipeline, veriyi kaynaktan alıp temizleyen, dönüştüren ve raporlama ya da analitik için hedef sisteme taşıyan otomatik akıştır.
ETLETL, farklı kaynaklardan alınan veriyi dönüştürüp veri ambarı veya raporlama sistemine düzenli biçimde yükleyen süreçtir.
Süreç MadenciliğiSüreç madenciliği, ERP, CRM ve iş akışı loglarından gerçek süreç adımlarını çıkarıp darboğazları ve sapmaları görünür kılan analiz tekniğidir.