Beginner

Introduction to Data Engineering

Memahami peran Data Engineer dalam ekosistem data modern

⏱️ 15 min read 📅 Updated Jan 2025 👤 By DataLearn Team

Cara Baca Bab Ini (Untuk Pemula)

Kalau kamu benar-benar baru: fokus dulu ke 3 bagian ini:

Apa itu Data Engineering (big picture)
Data Pipeline dan ETL/ELT (konsep inti)
Peran Data Engineer vs Analyst vs Scientist (konteks kerja)

Lihat kamus istilah: DE-GLOSSARY.md

Prasyarat Ringan

Pernah melihat data tabel (baris dan kolom)
Paham konsep dasar SQL (SELECT, WHERE) secara umum
Pernah menggunakan Python dasar (variabel, function) sangat membantu

Apa itu Data Engineering?

Data Engineering adalah bidang yang fokus pada designing, building, dan maintaining sistem untuk mengumpulkan, menyimpan, dan mengolah data dalam skala besar.

Bayangkan data engineer sebagai arsitek dan tukang pipa (pipeline) data. Mereka memastikan data mengalir dengan lancar dari berbagai sumber ke tempat di mana data dapat dianalisis oleh data scientist dan data analyst.

💡 Definisi Sederhana

Data Engineer = Orang yang membuat data dapat digunakan oleh membangun infrastruktur data yang andal dan scalable.

Istilah Penting (3 Lapis)

Istilah: Data Pipeline

Definisi awam: Jalur perpindahan data dari sumber sampai siap dipakai.

Definisi teknis: Rangkaian proses extract, transform, dan load/serve yang berjalan otomatis.

Contoh praktis: Data transaksi dari aplikasi dibersihkan lalu dimasukkan ke data warehouse setiap jam.

Istilah: ETL vs ELT

Definisi awam: Perbedaannya ada di kapan data diolah.

Definisi teknis: ETL mengolah sebelum load, ELT mengolah setelah load di warehouse/lakehouse.

Contoh praktis: ELT umum dipakai di modern cloud analytics stack dengan dbt.

Peran Data Engineer vs Data Scientist vs Data Analyst

🏗️ Data Flow Ecosystem

Raw Data Sources → (Data Engineer) → Clean Data Warehouse → (Data Analyst/Scientist) → Insights & Models

Role	Fokus Utama	Tools Umum
Data Engineer	Build & maintain data pipelines	Python, SQL, Airflow, Spark
Data Analyst	Analyze & visualize data	SQL, Excel, Tableau, PowerBI
Data Scientist	Build predictive models	Python, R, TensorFlow, Scikit-learn

Core Concepts dalam Data Engineering

1. Data Pipeline

Data pipeline adalah serangkaian proses yang memindahkan data dari sumber ke tujuan, dengan transformasi di tengahnya.

# Contoh sederhana pipeline dengan Python
def extract(source):
    # Ambil data dari sumber (API, Database, File)
    return raw_data

def transform(data):
    # Bersihkan dan transformasi data
    cleaned_data = clean(data)
    return cleaned_data

def load(data, destination):
    # Simpan ke tujuan (Data Warehouse, Database)
    destination.save(data)

# Jalankan pipeline
raw_data = extract("api_endpoint")
clean_data = transform(raw_data)
load(clean_data, "data_warehouse")
        

2. ETL vs ELT

ETL (Extract, Transform, Load): Transformasi terjadi sebelum data disimpan. Cocok untuk data kecil-menengah.
ELT (Extract, Load, Transform): Data langsung disimpan, transformasi terjadi di dalam data warehouse. Cocok untuk Big Data.

3. Data Warehouse vs Data Lake

🏢 Data Warehouse

• Data terstruktur & sudah diproses
• Optimized untuk query analytics
• Contoh: Snowflake, BigQuery, Redshift

🌊 Data Lake

• Menyimpan data dalam format mentah (structured & unstructured)
• High flexibility, lower cost
• Contoh: S3, Azure Data Lake, HDFS

Tech Stack Data Engineer Modern

Programming Languages

Python - Dominan untuk data processing (Pandas, PySpark)
SQL - Wajib untuk query database
Bash - Untuk scripting dan automation

orchestration Tools

Apache Airflow - Workflow orchestration
Prefect - Modern alternative to Airflow
Dagster - Data-aware orchestrator

Processing Frameworks

Apache Spark - Big data processing
dbt (data build tool) - Data transformation
Pandas - Data manipulation (smaller scale)

Real-World Example: E-commerce Data Pipeline

📦 Scenario: Menganalisis perilaku pembeli

Sumber Data:
• Website clickstream (JSON logs)
• Transaction database (PostgreSQL)
• Mobile app events (Firebase)

Data Engineer membangun:
1. Pipeline extract data real-time dari semua sumber
2. Transformasi: cleaning, join data, aggregasi
3. Load ke Data Warehouse untuk analytics
4. Setup monitoring & alerting

Decision Framework: Memulai Peran Data Engineer

Decision Point	Pilih Opsi A Jika...	Pilih Opsi B Jika...
Belajar tool vs konsep	Butuh hasil cepat untuk kerja saat ini	Ingin fondasi jangka panjang lintas tool
Generalist vs specialist	Tim kecil, perlu pegang end-to-end	Tim besar, fokus domain mendalam (streaming/platform)
On-prem vs cloud-first	Ada constraint regulasi/infrastruktur existing	Butuh agility tinggi dan managed services

Failure Modes & Anti-Patterns

            Anti-Patterns Beginner Data Engineer
            Tool-chasing: fokus hafal tool tanpa paham problem bisnis.
Ignoring data quality: pipeline jalan tapi output tidak bisa dipercaya.
No version control discipline: perubahan SQL/code tidak terjejak.
Underestimating operations: hanya memikirkan build, bukan maintenance.

        

Production Readiness Checklist

            Checklist Fondasi
            Python + SQL + Git dikuasai pada level kerja harian.
Paham lifecycle data dari source sampai serving.
Bisa menulis pipeline sederhana yang idempotent.
Menjalankan data validation checks dasar.
Punya kebiasaan dokumentasi dan code review.
Paham SLA dasar untuk data freshness.

        

✏️ Exercise: Identifikasi Komponen

Bayangkan kamu bekerja untuk perusahaan ride-hailing (seperti Gojek/Grab). Identifikasi:

Apa saja sumber data yang mungkin ada?
Bagaimana data harus diproses?
Tools apa yang cocok digunakan?

Jawaban akan dibahas di video pembahasan.

🎯 Quick Quiz

1. Perbedaan utama Data Engineer dan Data Scientist adalah?

A. Data Engineer lebih fokus pada machine learning algorithms

B. Data Engineer membangun infrastruktur data, Data Scientist menganalisis data

C. Data Engineer tidak perlu menguasai SQL

D. Tidak ada perbedaan, mereka sama saja

2. Dalam ELT, transformasi terjadi di mana?

A. Sebelum data disimpan

B. Di dalam data warehouse setelah data disimpan

C. Di aplikasi frontend

D. Tidak ada transformasi dalam ELT

Kesimpulan

Data Engineering adalah fondasi dari setiap data-driven organization. Tanpa data engineer yang membangun pipeline yang andal, data scientist dan analyst tidak akan memiliki data berkualitas untuk dianalisis.

Di materi selanjutnya, kita akan mulai hands-on membangun pipeline pertama kamu dengan Python dan Apache Airflow.

            🎯 Key Takeaways
            Data Engineer membangun infrastruktur data
ETL/ELT adalah pola umum dalam data pipeline
Python + SQL adalah fondasi wajib
Data Warehouse untuk structured, Data Lake untuk raw data

        

📚 References & Resources

Primary Sources

Fundamentals of Data Engineering - Joe Reis & Matt Housley (O'Reilly, 2022)
Chapters 1-2: Introduction to Data Engineering, Data Engineering Lifecycle