Transform Run

ETL Transform Run mencatat eksekusi ETL Transform Map terhadap ETL Import Batch. DocType ini melacak statistik transformasi dan menyediakan log event detail untuk monitoring dan troubleshooting.

Catatan: DocType ini dibuat oleh sistem ketika menjalankan transformasi. Transform run tidak dapat dibuat secara manual.

Referensi Kolom

Informasi Run

Kolom	Tipe	Deskripsi
Name	Auto	Pengenal yang dibuat sistem (TRUN-YYYY-MM-DD-#####)
Transform Map	Link	ETL Transform Map yang digunakan untuk transformasi
Import Batch	Link	ETL Import Batch yang diproses
Status	Select	Status run saat ini (Running, Complete, Failed, Skipped)
Summary	Small Text	Deskripsi singkat hasil atau error

Metrik Performa

Kolom	Tipe	Deskripsi
Duration MS	Int	Total waktu eksekusi dalam milidetik
Started At	Datetime	Waktu transformasi dimulai
Finished At	Datetime	Waktu transformasi selesai

Jumlah Operasi

Kolom	Tipe	Deskripsi
Inserts	Int	Jumlah record baru yang dibuat
Updates	Int	Jumlah record yang sudah ada yang diperbarui
Skipped	Int	Jumlah record yang dilewati (tidak ada operasi yang dilakukan)
Errors	Int	Jumlah record yang gagal diproses

Event Logging

Kolom	Tipe	Deskripsi
Transform Event	Table	Log detail event pemrosesan (child table)

Status

Status	Deskripsi
Running	Transformasi sedang berlangsung
Complete	Transformasi selesai dengan sukses (error masih bisa ada)
Failed	Transformasi berhenti karena error kritis
Skipped	Transformasi dilewati oleh On Start script

Transform Events

Setiap record child Transform Event mencatat setiap aksi pemrosesan:

Kolom	Tipe	Deskripsi
Level	Select	Tingkat keparahan event (INFO, WARN, ERROR)
Chunk Ref	Link	ETL Import Chunk yang sedang diproses
Row Index	Int	Posisi dalam chunk (dimulai dari 1)
Target Document	Data	Nama record target yang dibuat/diperbarui
Message	Small Text	Deskripsi apa yang terjadi

Tipe Event

Event INFO:

• Pembuatan record berhasil: "Successfully created Customer: CUST-001"
• Pembaruan record berhasil: "Successfully updated Customer: CUST-001"

Event WARN:

• Skip berbasis script: "Row skipped: Missing required email field"
• Tidak ada pemetaan kolom: "No values mapped from source record"
• Pembatasan operasi: "Record skipped - no insert/update allowed"

Event ERROR:

• Kegagalan parsing JSON: "Invalid JSON in source data"
• Exception pemrosesan: "Processing error: ValidationError in Customer creation"
• Error level chunk: "Chunk processing error: Database connection lost"

Monitoring Transform

Monitoring Real-time

Selama eksekusi transformasi:

• Status menunjukkan "Running"
• Counter diperbarui saat record diproses
• Event dicatat untuk setiap operasi baris
• Duration melacak waktu pemrosesan yang berlalu

Analisis Pasca-Eksekusi

Setelah transformasi selesai:

• Tinjau jumlah akhir (inserts/updates/skipped/errors)
• Filter Transform Events berdasarkan level untuk fokus pada masalah
• Hitung tingkat sukses: (inserts + updates) / (total record - skipped)
• Bandingkan duration dengan ukuran batch untuk analisis performa

Analisis Performa

Metrik Utama

• Throughput: Record yang diproses per detik
• Error Rate: Error / total record yang diproses
• Skip Rate: Skipped / total record yang diproses
• Success Rate: (Inserts + Updates) / total record yang diproses

Tips Optimasi

• Error rate yang tinggi mungkin menunjukkan masalah kualitas data
• Skip rate yang tinggi mungkin menunjukkan logika transform yang terlalu ketat
• Duration yang lama mungkin menunjukkan masalah ukuran chunking
• Tinjau Transform Events untuk bottleneck spesifik

Troubleshooting

Masalah Umum

Error Rate Tinggi:

1. Tinjau Transform Events level ERROR
2. Periksa kualitas dan format data sumber
3. Verifikasi persyaratan kolom target DocType
4. Pastikan konfigurasi pemetaan kolom yang benar

Performa Buruk:

1. Kurangi ukuran chunk untuk transform yang intensif memori
2. Optimalkan script On Before/On After
3. Periksa indexing database pada kolom coalesce
4. Tinjau kompleksitas logika transform

Skip Tak Terduga:

1. Tinjau Transform Events level WARN
2. Periksa pengaturan Allow Insert/Allow Update
3. Verifikasi logika pencocokan kolom coalesce
4. Tinjau kondisi skip script On Before

DocTypes Terkait

• ETL Transform Map: Konfigurasi yang digunakan untuk run ini
• ETL Import Batch: Data sumber yang diproses
• ETL Transform Event: Log event detail (record anak)