ETL (Extract, Transform, Load)

Sistem ETL di platform TechMaju menyediakan kemampuan integrasi data yang komprehensif, memungkinkan Anda untuk mengekstrak data dari berbagai sumber, mentransformasikannya sesuai dengan aturan bisnis, dan memuatnya ke dalam target DocTypes dalam aplikasi Frappe Anda.

Apa itu ETL?

ETL adalah singkatan dari Extract, Transform, Load - sebuah proses integrasi data yang:

Extract: Mengambil data dari database eksternal, API, atau file
Transform: Menerapkan logika bisnis, pemetaan data, dan aturan pembersihan data
Load: Menyisipkan atau memperbarui record dalam target DocTypes

Fitur Utama

Sumber Data Berganda: Dukungan koneksi ke database PostgreSQL atau MySQL
Transformasi Fleksibel: Pemetaan kolom, transformasi nilai, dan script Python khusus
Pemrosesan Bersegmen: Menangani dataset besar secara efisien dengan ukuran batch yang dapat dikonfigurasi
Penjadwalan Otomatis: Mengatur proses sinkronisasi data berulang
Logging Komprehensif: Melacak setiap operasi dengan log event yang detail
Integrasi Source Control: Semua konfigurasi ETL dikontrol versinya melalui Update Sets

Alur Kerja ETL

Konfigurasi Koneksi Data: Mengatur kredensial untuk sumber data eksternal Anda
Definisikan Sumber Data: Menentukan data apa yang akan diekstrak (tabel, query, API endpoint)
Buat Transform Map: Mendefinisikan bagaimana data sumber dipetakan ke kolom target DocType
Jalankan Ekstraksi: Mengekstrak data ke area staging dalam segmen yang dapat dikelola
Eksekusi Transform: Menerapkan pemetaan dan aturan bisnis untuk membuat/memperbarui record
Monitor Hasil: Meninjau log dan statistik untuk setiap operasi

Komponen ETL

Sistem ETL terdiri dari beberapa DocTypes utama yang dapat diakses melalui workspace Develop:

DocType	Tujuan
ETL Data Connection	Menyimpan kredensial koneksi database/API
ETL Data Source	Mendefinisikan data apa yang akan diekstrak dari koneksi
ETL Transform Map	Mengonfigurasi pemetaan kolom dan aturan transformasi
ETL Job	Menjadwalkan proses ETL otomatis
ETL Import Batch	Melacak operasi ekstraksi (dibuat sistem)
ETL Import Chunk	Menyimpan data mentah yang diekstrak (dibuat sistem)
ETL Transform Run	Mencatat hasil transformasi (dibuat sistem)

Memulai

Navigasikan ke workspace Develop → bagian ETL
Buat sebuah ETL Data Connection untuk sistem eksternal Anda
Definisikan sebuah ETL Data Source yang menentukan data apa yang akan diekstrak
Bangun sebuah ETL Transform Map untuk memetakan kolom sumber ke target DocType
Uji ekstraksi dan transformasi secara manual
(Opsional) buat sebuah ETL Job untuk penjadwalan otomatis

Keamanan & Performa

Semua password database dienkripsi menggunakan tipe kolom Password Frappe
Koneksi mendukung enkripsi SSL/TLS untuk transfer data yang aman
Pemrosesan bersegmen mencegah masalah memori dengan dataset besar
Pemrosesan background job menjaga UI tetap responsif
Penanganan error yang komprehensif