Pengantar Data Science
Pahami apa itu data science, mengapa itu penting, dan bagaimana bidang ini berperan dalam lanskap teknologi dan pengambilan keputusan bisnis.
1.1 Apa Itu Data Science?
Data science adalah bidang interdisipliner yang menggunakan metode ilmiah, proses, algoritma, dan sistem untuk mengekstrak pengetahuan dari data terstruktur maupun tidak terstruktur. Bidang ini menggabungkan statistika, ilmu komputer, dan pengetahuan domain.
Istilah "data science" pertama kali digunakan pada tahun 2001 oleh William S. Cleveland, namun akar bidang ini sudah ada sejak puluhan tahun lalu. Yang berubah adalah skalanya — kita kini menghasilkan lebih banyak data dalam satu hari dibandingkan seluruh sejarah manusia sebelum tahun 2000.
Ilustrasi: Tiga Pilar Data Science
Science
Statistika
Fondasi matematika
Ilmu Komputer
Algoritma & sistem
Pengetahuan Domain
Konteks & keahlian
Contoh Konkret
Sebuah rumah sakit ingin mengurangi tingkat readmisi pasien (pasien yang kembali masuk dalam 30 hari setelah pulang).
Statistika: Regresi logistik untuk menghitung probabilitas readmisi berdasarkan variabel seperti usia, riwayat penyakit, dan durasi rawat inap.
Ilmu Komputer: Pipeline ETL untuk menggabungkan data dari sistem elektronik medis (EHR), laboratorium, dan apotek. Model disajikan via API real-time.
Domain: Dokter menjelaskan bahwa pasien gagal jantung dengan tingkat natrium rendah memiliki risiko tinggi — insight yang tidak akan ditemukan algoritma tanpa konteks medis.
Ilustrasi: Ledakan Data Global (per tahun)
Sumber: IDC Global DataSphere Forecast (estimasi)
Data Science vs Bidang Terkait
| Aspek | Data Science | Statistika Tradisional | Business Intelligence |
|---|---|---|---|
| Fokus | Prediksi & preskripsi | Inferensi & penjelasan | Deskripsi & pelaporan |
| Data | Terstruktur & tidak terstruktur | Umumnya terstruktur | Terstruktur (database) |
| Skala | Big data (TB–PB) | Sampel kecil–sedang | Sedang–besar |
| Otomasi | Tinggi (pipeline ML) | Rendah (analisis manual) | Sedang (dashboard) |
1.2 Siklus Hidup Data Science
Setiap proyek data science mengikuti siklus umum. Meskipun langkah-langkahnya bisa bervariasi, tahap intinya tetap konsisten:
Ilustrasi: Alur Proyek Data Science
Perkiraan alokasi waktu proyek:
Definisi Masalah
Tentukan masalah bisnis, kriteria keberhasilan, dan bagaimana data dapat membantu. Ini langkah paling kritis — masalah yang didefinisikan dengan baik sudah setengah selesai.
Contoh
Sebuah perusahaan e-commerce ingin mengurangi churn pelanggan. Pertanyaan yang tepat bukan "Bagaimana memprediksi churn?" melainkan "Pelanggan seperti apa yang berhenti, kapan, dan apa intervensi paling efektif?"
Pengumpulan Data
Kumpulkan data dari sumber yang relevan: database, API, web scraping, survei, atau dataset yang sudah ada.
Contoh
Gabungkan data transaksi (SQL database), log klik website (Kafka), tiket support (Zendesk API), dan survei kepuasan (Google Forms). Total: 2.3 juta baris, 47 kolom.
Persiapan Data
Bersihkan, transformasi, dan strukturkan data. Tangani nilai hilang, pencilan, dan inkonsistensi. Tahap ini menghabiskan 60-80% waktu proyek.
Contoh
Tangani 12% nilai hilang di kolom "income" (imputasi median berdasarkan segmen), hapus 340 duplikat, standarisasi format tanggal (5 format berbeda!), dan encode variabel kategorikal.
Analisis Eksploratori
Pahami pola, distribusi, korelasi melalui visualisasi dan analisis statistik. Rumuskan hipotesis.
Contoh
Ditemukan: pelanggan yang menghubungi support >3x dalam 30 hari pertama memiliki churn rate 67% vs rata-rata 12%. Korelasi kuat antara waktu respons support dan retensi.
Pemodelan
Pilih dan latih algoritma yang sesuai. Feature engineering, tuning hyperparameter, dan cross-validation.
Contoh
Bandingkan Random Forest (AUC 0.89), XGBoost (AUC 0.92), dan Logistic Regression (AUC 0.81). Pilih XGBoost setelah tuning — feature terpenting: jumlah tiket support, hari sejak pembelian terakhir, dan rating produk.
Evaluasi
Asses kinerja model menggunakan metrik yang tepat. Validasi terhadap tujuan bisnis.
Contoh
AUC 0.92 bagus, tapi bisnis peduli pada: "Berapa banyak churn yang bisa dicegah dengan biaya intervensi yang masuk akal?" Analisis ROI menunjukkan menargetkan top 15% risiko menghasilkan penghematan Rp 2.1M/bulan.
Deployment
Integrasikan model ke sistem produksi: API, dashboard, atau pipeline otomatis.
Contoh
Model disajikan via FastAPI endpoint. Setiap malam, pipeline Airflow menjalankan batch prediction dan mengisi kolom "churn_score" di CRM. Tim marketing mendapat daftar "pelanggan berisiko tinggi" di dashboard.
Monitoring
Pantau kinerja model seiring waktu. Deteksi drift dan latih ulang jika diperlukan.
Contoh
Setelah 3 bulan, AUC turun ke 0.85. Data drift terdeteksi: rasio pengguna mobile meningkat dari 40% ke 65%. Model dilatih ulang dengan data baru dan AUC kembali ke 0.91.
Ilustrasi: Siklus Iteratif, Bukan Linear
Terus-menerus
Dalam praktiknya, hasil evaluasi sering mengharuskan kita kembali ke tahap sebelumnya — misalnya kembali ke persiapan data jika model underfitting.
1.3 Peran & Keahlian
Ekosistem data mencakup beberapa peran yang saling tumpang tindih. Memahami perbedaannya membantu Anda memetakan karir dan berkolaborasi secara efektif.
Ilustrasi: Profil Keahlian per Peran
Data Scientist
Data Analyst
ML Engineer
Data Engineer
| Peran | Fokus | Keahlian Utama |
|---|---|---|
| Data Scientist | Analisis & pemodelan end-to-end | Python, Statistik, ML, Komunikasi |
| Data Analyst | BI, laporan, dashboard | SQL, Tableau, Excel, Statistik |
| ML Engineer | Sistem ML produksi | Python, MLOps, Docker, Cloud |
| Data Engineer | Pipeline & infrastruktur | SQL, Spark, Airflow, Cloud |
| Research Scientist | Metode baru & publikasi | Matematika, Deep Learning, Riset |
Sehari dalam Kehidupan: Contoh Skenario
Ilustrasi: Alur Kolaborasi Tim Data
Data Engineer
Bangun pipeline & siapkan data
Data Analyst
Eksplorasi, insight, dashboard
Data Scientist
Pemodelan & eksperimen
ML Engineer
Deploy & produksi
1.4 Peralatan Data Science
Stack modern didominasi oleh Python. Berikut peta ekosistem alat yang akan Anda gunakan sepanjang kursus ini:
Ilustrasi: Arsitektur Stack Data Science
Library Inti
Deep Learning
Pengembangan
Infrastruktur
Contoh: Alur Kerja Tipikal dengan Pandas & Scikit-learn
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report
# 1. Muat data
df = pd.read_csv('customers.csv')
# 2. Persiapan data
df = df.dropna(subset=['age', 'income'])
X = pd.get_dummies(df['category'])
y = df['churned']
# 3. Split data
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
# 4. Latih model
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)
# 5. Evaluasi
print(classification_report(y_test, model.predict(X_test)))
# → precision: 0.91 recall: 0.88 f1: 0.89
Kapan Memilih Apa?
Eksplorasi cepat: Jupyter Notebook — interaktif, visual, bagus untuk EDA dan prototyping.
Kode produksi: VS Code + module Python — version control, testing, debugging yang baik.
Dataset kecil (<1GB): Pandas — simple, well-documented, ekosistem kaya.
Dataset besar (1GB–TB): Polars atau PySpark — parallel processing, lazy evaluation.
Deep learning riset: PyTorch — fleksibel, komunitas riset besar, debug mudah.
Deep learning produksi: TensorFlow/JAX — optimasi performa, deployment mobile/edge.
1.5 Aplikasi Dunia Nyata
Data science telah mengubah hampir setiap industri. Berikut contoh konkret dengan detail teknis:
E-Commerce
Sistem rekomendasi, peramalan permintaan, harga dinamis, deteksi penipuan.
Netflix menyimpan $1 miliar/tahun berkat sistem rekomendasi — 80% konten yang ditonton berasal dari rekomendasi. Shopee menggunakan collaborative filtering + content-based filtering untuk "Produk Serupa". Gojek menggunakan dynamic pricing berdasarkan permintaan real-time, cuaca, dan kepadatan lalu lintas.
Kesehatan
Prediksi penyakit, pencitraan medis, penemuan obat, stratifikasi risiko pasien.
Google DeepMind mengembangkan AlphaFold yang memprediksi struktur protein dengan akurasi 92.4% — masalah 50 tahun yang terpecahkan. Di Indonesia, Halodoc menggunakan NLP untuk triase gejala pasien sebelum konsultasi dokter. Model CNN mendeteksi retinopati diabetik dari foto retina dengan akurasi setara dokter spesialis.
Keuangan
Penilaian kredit, trading algoritmik, deteksi anomali, manajemen risiko.
Bank Jago menggunakan ML untuk credit scoring alternatif — menganalisis data transaksi, pola pengeluaran, dan riwayat pembayaran untuk menilai kredit bagi orang tanpa riwayat kredit formal. BCA mendeteksi fraud real-time dengan menganalisis ratusan fitur dalam <100ms per transaksi.
Kendaraan Otonom
Deteksi objek, perencanaan jalur, sensor fusion, pengambilan keputusan real-time.
Waymo memproses ~20 TB data per hari dari armada kendaraannya. Setiap kendaraan memiliki 29 kamera, 4 LiDAR, dan 6 radar. Pipeline:感知(deteksi objek) → 预测(prediksi perilaku) → 规划(perencanaan jalur) → 控制(kontrol kendaraan). Latensi end-to-end harus <100ms untuk keamanan.
NLP & AI Generatif
Analisis sentimen, terjemahan mesin, menjawab pertanyaan, generasi konten.
ChatGPT (OpenAI) menggunakan arsitektur Transformer dengan 175+ miliar parameter. Di Indonesia: Glair AI membuat chatbot berbahasa Indonesia untuk customer service. Kompas menggunakan NLP untuk mengkategorikan 10.000+ artikel per hari secara otomatis. Aplikasi terjemahan Google mendukung 133 bahasa termasuk Jawa, Sunda, dan Batak.
Ilustrasi: Dampak Bisnis Data Science
$1M
Dihemat Netflix/tahun dari rekomendasi
92.4%
Akurasi prediksi protein AlphaFold
<100ms
Latensi deteksi fraud real-time
20TB
Data/hari dari armada kendaraan otonom
1.6 Etika & Bias
Sebagai data scientist, kita bertanggung jawab mempertimbangkan implikasi etis dari pekerjaan kita. Bias dalam data atau algoritma dapat menghasilkan dampak berbahaya pada skala besar.
Ilustrasi: Jenis-Jenis Bias dalam Machine Learning
Sampling Bias
Data pelatihan tidak representatif terhadap populasi nyata.
Contoh: Model rekrutmen dilatih pada data karyawan saat ini (80% pria). Model "belajar" bahwa laki-laki lebih cocok — padahal ini refleksi bias historis, bukan kemampuan.
Measurement Bias
Cara pengukuran berbeda antar kelompok.
Contoh: Sistem pengenalan wajah memiliki error rate 0.8% untuk pria kulit terang, tapi 34.7% untuk wanita kulit gelap (Joy Buolamwini, MIT).
Confirmation Bias
Hanya mencari atau menampilkan data yang mendukung hipotesis awal.
Contoh: Analis yang percaya "produk A lebih baik" hanya membandingkan metrik di segmen yang menguntungkan, mengabaikan segmen lain.
Algorithmic Bias
Model meng amplifikasi bias yang ada dalam data.
Contoh: Sistem kredit otomatis menolak pinjaman dari kelurahan tertentu karena historisnya — menciptakan lingkaran setan ketidaksetaraan.
Deployment Bias
Model digunakan di konteks yang berbeda dari yang dimaksudkan.
Contoh: Model prediksi kelahiran prematur yang dikembangkan di rumah sakit AS diterapkan di rumah sakit Indonesia tanpa validasi ulang — hasilnya tidak akurat.
Ilustrasi: Framework Pengambilan Keputusan Etis
Identifikasi Dampak
Siapa yang terpengaruh? Apa konsekuensi negatif yang mungkin?
Audit Data
Apakah data merepresentasikan semua kelompok secara adil?
Evaluasi Model
Bandingkan performa lintar kelompok demografis.
Mitigasi
Terapkan teknik debiasing, tambah data underrepresented, atau batasi penggunaan.
Dokumentasi & Transparansi
Publikasikan model card, data card, dan batasan model.
Monitoring Berkelanjutan
Pantau bias dan kinerja setelah deployment.
- › Privasi Data: Hormati persetujuan pengguna, anonimkan data sensitif, patuhi regulasi (UU PDP Indonesia, GDPR Eropa). Data yang di-anonymisasi dengan buruk bisa di-deanonymize — kasus Netflix Prize 2007 membuktikannya.
- › Keadilan Algoritmik: Periksa bias pada atribut yang dilindungi (gender, ras, usia, disabilitas). Gunakan metrik keadilan seperti equalized odds, demographic parity, dan teknik debiasing seperti adversarial debiasing.
- › Transparansi: Buat keputusan model dapat diinterpretasi. Hindari model black-box di domain berisiko tinggi tanpa penjelasan. Gunakan SHAP/LIME untuk explainability. Publikasikan "model card" yang mendokumentasikan batasan.
- › Akuntabilitas: Tetapkan kepemilikan dan tanggung jawab yang jelas untuk hasil dan kegagalan model. Siapa yang bertanggung jawab jika model salah? Buat escalation path yang jelas.
Studi Kasus: Kompaas AI (Indonesia, 2021)
Sebuah startup Indonesia menawarkan "AI untuk rekrutmen" yang menganalisis video wawancara kandidat. Investigasi menemukan bahwa sistem tersebut:
- Tidak memiliki validasi ilmiah untuk klaim "membaca emosi" dari ekspresi wajah
- Menggunakan konsep pseudosains ( Pembacaan emosi otomatis / automated emotion recognition ) yang telah dibantah oleh komunitas riset
- Berpotensi mendiskriminasi kandidat berdasarkan penampilan, aksen, atau ekspresi budaya
Pelajaran: Teknologi AI tidak selalu "objektif". Validasi ilmiah dan regulasi adalah kewajiban, bukan opsional.
1.7 Latihan & Refleksi
Uji pemahaman Anda dengan pertanyaan berikut sebelum melanjutkan ke bab berikutnya.
Sebuah perusahaan ride-hailing ingin mengurangi waktu tunggu penumpang. Apa pertanyaan data science yang tepat untuk diajukan terlebih dahulu?
Petunjuk pemikiran
Pikirkan: apakah masalahnya tentang prediksi permintaan, distribusi driver, atau rute optimal? Setiap pertanyaan mengarah pada pendekatan yang berbeda.
Tahap mana dalam siklus hidup data science yang biasanya paling banyak menghabiskan waktu? Mengapa?
Petunjuk pemikiran
Jawabannya adalah persiapan data (60-80%). Tanyakan pada diri sendiri: mengapa data "kotor" dan apa saja yang perlu dibersihkan?
Apa perbedaan utama antara Data Scientist dan ML Engineer? Kapan sebuah perusahaan butuh keduanya?
Petunjuk pemikiran
Fokus pada: eksperimen vs produksi. Startup kecil mungkin butuh satu orang yang melakukan keduanya, perusahaan besar memisahkan peran ini.
Sebuah bank menggunakan model ML untuk menyetujui/menolak pinjaman. Model tersebut memiliki akurasi 95% secara keseluruhan, tapi hanya 70% akurat untuk kelompok usia di bawah 25 tahun. Apa yang salah dan bagaimana memperbaikinya?
Petunjuk pemikiran
Ini contoh algorithmic bias. Pertimbangkan: stratified evaluation, resampling, atau threshold yang berbeda per kelompok.
Anda diminta memilih antara Pandas dan PySpark untuk proyek baru. Data berukuran 500MB. Alat mana yang Anda pilih dan mengapa?
Petunjuk pemikiran
Ukuran 500MB masih sangat mudah ditangani Pandas di laptop biasa. PySpark memiliki overhead yang tidak sebanding untuk ukuran ini. Tapi pertimbangkan juga: apakah data akan tumbuh?
Proyek Mini: Observasi Data di Sekitar Anda
Sebelum memulai bab 2, coba latihan observasi ini:
- Pilih satu aplikasi yang Anda gunakan setiap hari (Gojek, Shopee, Spotify, dll.)
- Identifikasi minimal 3 tempat di mana data science digunakan (rekomendasi, pencarian, harga, dll.)
- Untuk setiap tempat, tebak: data apa yang dibutuhkan? Model apa yang mungkin digunakan? Metrik keberhasilan apa yang mungkin dipakai?
- Tuliskan jawaban Anda dalam format catatan — kita akan merevisinya di akhir kursus!
Ringkasan Bab 1
Data science = Statistika + Ilmu Komputer + Domain Knowledge. Ketiganya harus hadir.
Siklus hidup DS adalah iteratif, bukan linear. Persiapan data mendominasi waktu (60-80%).
Peran DS, DA, ML Engineer, dan Data Engineer saling melengkapi dalam tim data.
Python adalah bahasa utama. Pandas, Scikit-learn, dan PyTorch adalah tulang punggung ekosistem.
DS telah mengubah setiap industri — dari rekomendasi Netflix hingga drug discovery.
Etika bukan afterthought. Bias, privasi, dan akuntabilitas harus dipertimbangkan sejak awal.