• Tutarlılık: Farklı kişiler veya farklı zamanlarda yapılan temizleme işlemlerinde standart bir yaklaşım sağlar, bu da sonuçların tutarlılığını artırır.
• Verimlilik: Her seferinde sıfırdan başlamak yerine, önceden tanımlanmış adımları takip ederek zamandan tasarruf sağlar.
• Hata Azaltma: Manuel hataları en aza indirir ve veri kalitesi sorunlarının gözden kaçırılma olasılığını düşürür.
• Dokümantasyon: Yapılan her adımın belgelenmesini kolaylaştırır, bu da süreçlerin anlaşılabilirliğini ve denetlenebilirliğini artırır.
• Tekrarlanabilirlik: Benzer veri setleri veya yeni projeler için temizleme sürecinin kolayca tekrarlanabilmesini sağlar.
• Bilgi Transferi: Ekip üyeleri arasında en iyi uygulamaların ve süreç bilgilerinin kolayca paylaşılmasına olanak tanır.

• Proje Adı/ID
• Veri Sorumlusu/Ekip
• Temizleme Tarihi
• Veri Seti Adı/Açıklaması
• Veri Kaynağı (URL, Veritabanı Adı, Dosya Yolu vb.)
• Veri Seti Boyutu (Satır, Sütun, Dosya Boyutu)
• Veri Seti Formatı (CSV, Excel, JSON, SQL Tablosu vb.)

• Eksik Veriler: Hangi sütunlarda eksik değerler var ve bu eksikliklerin yüzdesi nedir?
• Tekrarlanan Kayıtlar: Tamamen aynı satır veya belirli anahtar sütunlara göre tekrar eden kayıtlar.
• Aykırı Değerler (Outliers): Veri dağılımının dışında kalan, potansiyel hatalı veya istisnai değerler.
• Tutarsız Formatlar: Tarih, saat, para birimi veya metin alanlarındaki standart dışı biçimler (örn. "12/01/2023" yerine "Ocak 12, 23").
• Yazım Hataları ve Yanlış Girdiler: İsimlerde, kategorilerde veya serbest metin alanlarındaki tipografik hatalar.
• Yapısal Hatalar: Yanlış sütun başlıkları, yanlış ayrılmış veriler veya birleştirilmesi gereken hücreler.

• Silme: Satırın veya sütunun tamamen silinmesi (çok fazla eksik veri olduğunda veya ilgili veriler kritik olmadığında).
• Doldurma (Imputation): Eksik değerleri ortalama, medyan, mod, önceki/sonraki değer veya regresyon gibi istatistiksel yöntemlerle tahmin ederek doldurma.
• İşaretleme: Eksik değerleri belirli bir 'null' veya 'bilinmiyor' etiketiyle işaretleme.

# Python'da eksik değer doldurma örneği
import pandas as pd
df = pd.DataFrame({'sutun': [1, 2, None, 4, 5]})
df['sutun'].fillna(df['sutun'].mean(), inplace=True)
print(df)

# SQL'de NULL değer kontrolü
SELECT * FROM tablom WHERE sutun IS NULL;

• Tamamen aynı olan satırları tespit etme ve sadece birini koruyarak diğerlerini silme.
• Belirli anahtar sütunlara (örn. müşteri ID, sipariş numarası) göre tekrar eden kayıtları bulma ve işleme alma.

• Tespit: IQR (Çeyrekler Arası Aralık), Z-skor, Boxplot, Mahalanobis mesafesi gibi yöntemlerle aykırı değerleri belirleme.
• İşleme: Silme, değerleri belirli bir aralığa kırpma (capping), logaritmik veya karekök gibi dönüşümler uygulama, veya aykırı değerleri ayrı olarak inceleme.

• Tarih ve saat formatlarını 'YYYY-MM-DD' veya 'HH:MM:SS' gibi standart bir biçime dönüştürme.
• Metin verilerini küçük harfe veya büyük harfe çevirme, gereksiz boşlukları kaldırma, özel karakterleri temizleme.
• Sayısal verilerde ondalık ayırıcıları (virgül/nokta) standartlaştırma.

• Aynı anlama gelen farklı ifadeleri standart bir forma dönüştürme (örn. 'ABD', 'Amerika Birleşik Devletleri', 'USA' -> 'ABD').
• Kategori isimlerindeki yazım hatalarını düzeltme.

• Sütunların beklenen veri tipinde (sayısal, metinsel, tarih, boolean) olup olmadığını kontrol etme ve dönüştürme.

• Programlama Dilleri (Python Pandas, R dplyr vb.)
• Veritabanı Araçları (SQL sorguları, ETL araçları)
• Elektronik Tablo Yazılımları (Microsoft Excel, Google Sheets)
• Özel Veri Temizleme Yazılımları (OpenRefine, Trifacta, DataRobot)

• Temizleme adımlarının sırası ve açıklamaları.
• Yapılan değişikliklerin (silinen satır sayısı, güncellenen değerler) özetleri.
• Karşılaşılan özel durumlar ve alınan kararlar.
• Sürecin çıktı logları.
• Örnek Log Girişi: "2023-10-26: 'MüşteriAdı' sütunundaki tüm boşluklar kaldırıldı ve baş harfleri büyütüldü. 1500 satır etkilendi."

"Veri temizliği süreci, bir dedektiflik soruşturması gibidir; her ipucu, her değişiklik titizlikle belgelenmeli ve iz bırakılmalıdır. İyi bir dokümantasyon, gelecekteki problemlerde size yol gösterecek en değerli araçtır."

Genişletmek için tıkla ...

• Temizlenen veri üzerinde temel istatistiksel kontroller yapmak (min/max, ortalama, medyan).
• Eksik değerlerin, tekrarların ve aykırı değerlerin gerçekten giderildiğini doğrulamak.
• Verinin nihai kullanım amacına (örn. makine öğrenimi modeli eğitimi) uygunluğunu test etmek.
• Veri profilleme araçları kullanarak temizlik sonrası durumu karşılaştırmak.

1. İhtiyaç Analizi ve Kapsam Belirleme: Hangi verilerin temizleneceğini, temizliğin amacını ve hedef veri kalitesi standartlarını belirleyin. Paydaşlarla görüşerek beklentileri anlayın.
2. Veri Keşfi ve Profilleme: Ham veriyi derinlemesine inceleyin. Veri profilleme araçları (pandasa-profiling, great_expectations vb.) kullanarak eksik değerler, aykırı değerler, veri tipleri, benzersiz değerler gibi temel istatistikleri çıkarın. Bu adım, şablonda ele alınacak sorunları tanımlamanın temelidir.
3. Veri Kalitesi Sorunlarını Belirleme ve Sınıflandırma: Keşif aşamasında bulunan tüm veri kalitesi sorunlarını listeleyin ve her birini kategorize edin (eksik, tekrarlı, hatalı format, aykırı vb.).
4. Temizleme Stratejileri Geliştirme: Her sorun türü için uygulanacak belirli temizleme yöntemlerini ve kuralları tanımlayın. Bu, şablonun 'uygulanacak adımlar' bölümünü oluşturacaktır.
5. Şablonu Oluşturma: Belirlenen bileşenleri (proje bilgileri, sorun tespiti, temizleme adımları, araçlar, dokümantasyon, doğrulama) içeren resmi bir şablon belgesi oluşturun. Bu belgeyi Word, Excel, Markdown veya özel bir veri yönetimi platformunda tutabilirsiniz.
6. Uygulama ve Otomasyon: Şablonda belirlenen adımları uygulayın. Mümkün olduğunca, tekrarlayan görevler için komut dosyaları (Python, R) veya ETL araçları kullanarak otomasyon sağlayın.
7. Belgeleme ve Güncelleme: Temizleme sürecinde yapılan her adımı, karşılaşılan sorunları ve alınan kararları şablon üzerinde veya ayrı bir log dosyasında detaylıca belgeleyin. Şablonu, yeni veri kaynakları veya değişen iş ihtiyaçlarına göre düzenli olarak güncelleyin.
8. Doğrulama ve İyileştirme: Temizlenen verinin kalitesini sürekli olarak doğrulayın. Süreçle ilgili geri bildirimleri toplayın ve şablonu sürekli iyileştirin.

• Sürüm Kontrolü: Şablonunuzu (ve temizleme kodlarınızı) Git gibi sürüm kontrol sistemlerinde saklayın. Bu, değişiklikleri izlemenize ve gerektiğinde önceki sürümlere geri dönmenize olanak tanır.
• Otomasyon: Mümkün olduğunca çok temizleme adımını otomatikleştirin. Bu, insan hatasını azaltır ve süreci hızlandırır.
• Küçük Adımlarla İlerleme: Büyük bir veri setini veya karmaşık bir sorunu tek seferde temizlemeye çalışmayın. Adım adım ilerleyin ve her adımın etkisini doğrulayın.
• Yedekleme: Temizleme işlemine başlamadan önce her zaman orijinal ham verinin bir yedeğini alın. Bu, beklenmeyen bir durumda geri dönmenizi sağlar.
• Takım Çalışması ve İletişim: Ekip üyeleri arasında şablon ve temizleme kararları hakkında sürekli iletişim kurun. Herkesin aynı standartları uyguladığından emin olun.
• Veri Kaynağını Anlama: Verinin nereden geldiğini, nasıl toplandığını ve potansiyel hataların neden kaynaklandığını anlamak, daha etkili temizleme stratejileri geliştirmenizi sağlar.