Landasan Akademik • Bahasa Awam & Mendalam

Konsep Fundamental: Pengolahan & Pembersihan Data

Sebelum data dapat dimasukkan ke dalam algoritma Machine Learning atau Artificial Intelligence, 80% waktu seorang data scientist dihabiskan pada tahap persiapan data (Data Preprocessing). Halaman ini membedah teori, dimensi kualitas data, hingga algoritma deteksi outlier dengan bahasa yang lugas dan mudah dipahami.

1

Apa itu Data Mining & Mengapa Data Harus Dibersihkan?

Konsep KDD (Knowledge Discovery in Databases) & Metodologi Standar

Data Mining (Penambangan Data) adalah disiplin ilmu komputasi untuk mengekstraksi pola tersembunyi, korelasi, dan wawasan berharga dari tumpukan data yang berukuran besar.

Analogi Bahasa Awam: Bayangkan Anda ingin memasak sup ayam yang lezat. Jika Anda memasukkan sayuran yang masih berlumpur, ayam yang sudah basi, atau bumbu yang salah takaran, maka sup yang dihasilkan pasti tidak enak dan berbahaya bagi kesehatan. Begitu pula data di komputer: jika data mentahnya kotor (ada data kembar, data salah ketik, data bolong), maka secanggih apa pun komputernya, hasilnya akan keliru. Prinsip ini dikenal dengan istilah "Garbage In, Garbage Out" (Sampah Masuk, Sampah Keluar).

Tahapan Siklus KDD

  1. Data Cleaning: Membuang noise, duplikat, dan inkonsistensi.
  2. Data Integration: Menggabungkan berbagai sumber data menjadi satu.
  3. Data Selection: Memilih variabel/kolom yang relevan dengan tujuan analisis.
  4. Data Transformation: Normalisasi, diskretisasi, dan rekayasa fitur baru.
  5. Data Mining: Menjalankan algoritma analitik untuk mengekstraksi pola.
  6. Pattern Evaluation: Menilai keakuratan dan nilai guna pola yang ditemukan.
  7. Knowledge Presentation: Menyajikan wawasan melalui visualisasi dan laporan.

6 Dimensi Kualitas Data (Data Quality)

  • Accuracy (Akurasi): Apakah data merefleksikan nilai yang sesungguhnya di dunia nyata?
  • Completeness (Kelengkapan): Apakah seluruh observasi memiliki nilai terisi tanpa sel kosong?
  • Consistency (Konsistensi): Apakah format penulisan seragam (misal: "male" bukan campuran "Male", " Pria ")?
  • Timeliness (Ketepatan Waktu): Apakah data masih relevan dengan kondisi saat ini?
  • Believability: Seberapa dapat dipercayanya sumber data tersebut?
  • Interpretability: Seberapa mudah data dimengerti oleh manusia dan mesin?
2

Penanganan Missing Values & Data Duplikat

Teknik Eliminasi vs Imputasi pada Data Preprocessing

Missing Values (Nilai Kosong / NaN)

Terjadi ketika atribut tertentu tidak tercatat saat pengumpulan data (misal: pasien tidak mengisi berat badan).

Metode Penanganan Umum:

  • Listwise Deletion: Menghapus baris jika data hilang sangat sedikit (< 5%).
  • Imputasi Rata-rata/Median (Numerik): Mengisi nilai kosong dengan mean atau median populasi.
  • Imputasi Modus (Kategorikal): Mengisi dengan nilai yang paling sering muncul.
  • K-NN Imputation: Memprediksi nilai kosong berdasarkan profil tetangga terdekat.
Hasil Pada Dataset Asuransi Ini: Ditemukan 0 Missing Value (100% lengkap pada seluruh 1.338 observasi).

Data Duplikat (Data Kembar Identik)

Terjadi ketika satu rekam medis pasien yang sama tersimpan lebih dari sekali karena kesalahan sistem input atau sinkronisasi ganda.

Bahaya Data Duplikat:

  • Membuat penghitungan statistik (rerata dan varians) menjadi bias dan berat sebelah.
  • Menyebabkan model Machine Learning mengalami overfitting (menghafal data kembar).
Hasil Pada Dataset Asuransi Ini: Ditemukan 1 pasang data duplikat identik (indeks 195 dan 581) yang berhasil dibuang dengan perintah drop_duplicates().
3

Analisis Pencilan (Outlier) dengan Metode Interquartile Range (IQR)

Rumus Matematis, Batas Pagar Atas/Bawah, dan Mengapa Outlier Tidak Dihapus

Outlier (Pencilan) adalah nilai data yang posisinya menyimpang secara ekstrem jauh dari kumpulan data lainnya. Salah satu metode standar internasional yang paling kokoh (robust) untuk mendeteksi outlier adalah metode Tukey’s Fences menggunakan Interquartile Range (IQR).

IQR = Q3 - Q1
Batas Pagar Bawah = Q1 - (1.5 × IQR)
Batas Pagar Atas = Q3 + (1.5 × IQR)

Perhitungan Riil Pada Kolom 'charges'

  • Kuartil 1 (Q1 - Persentil 25%): $4.740,29
  • Kuartil 3 (Q3 - Persentil 75%): $16.639,91
  • Rentang Antarkuartil (IQR): $16.639,91 - $4.740,29 = $11.899,62
  • Batas Bawah: $4.740,29 - (1.5 × $11.899,62) = -$13.120,73 (teoritis $0)
  • Batas Atas: $16.639,91 + (1.5 × $11.899,62) = $34.524,79
  • Jumlah Outlier Di Atas $34.524,79: 139 baris (10,4%)

Mengapa Outlier Ini TIDAK Dihapus?

Banyak pemula yang salah mengira bahwa semua outlier harus dihapus. Ini adalah kesalahan besar!

Tagihan di atas $34.524 bukanlah salah ketik komputer, melainkan kejadian nyata di mana pasien menderita penyakit kronis, kanker, serangan jantung, atau menjalani operasi besar. Menghapus data ini berarti mengabaikan risiko klaim terbesar di industri asuransi. Oleh sebab itu data dipertahankan secara utuh.

Kalkulator Pengecekan Outlier Interaktif

Ketikkan jumlah tagihan biaya medis (USD) untuk menguji apakah angka tersebut tergolong normal atau outlier berdasarkan rumus IQR:

4

Rekayasa Fitur (Feature Engineering & Binning)

Mentransformasikan Nilai Kontinu Menjadi Kategori Bermakna

Feature Engineering adalah seni menciptakan variabel atau kolom baru dari data yang sudah ada agar komputer dan manusia lebih mudah memahami pola. Pada proyek ini kita menambahkan 2 kolom baru:

1. Kategori BMI Menurut Standar WHO

Angka desimal BMI (misal: 33.77) diubah menjadi klasifikasi medis resmi World Health Organization:

  • Underweight (Kurus): BMI < 18.5
  • Normal (Ideal): BMI 18.5 – 24.9
  • Overweight (Kelebihan BB): BMI 25.0 – 29.9
  • Obese (Obesitas): BMI ≥ 30.0

2. Segmentasi Kelompok Usia Pasien

Usia numerik pasien dikelompokkan ke dalam 3 tahapan demografi kehidupan:

  • Dewasa Muda: Rentang usia 18 sampai 30 tahun.
  • Dewasa Menengah: Rentang usia 31 sampai 45 tahun.
  • Lansia / Pra-Lansia: Rentang usia 46 sampai 64 tahun.