Import Batch

ETL Import Batch mewakili satu operasi ekstraksi data. DocType ini melacak statistik keseluruhan dan status ekstrak data dari ETL Data Source ke dalam chunk yang dapat dikelola.

Catatan: DocType ini dibuat oleh sistem dan tidak dapat dibuat secara manual. Batch dibuat ketika menjalankan ETL Job atau aksi "Extract to Staging" dari ETL Data Source.

Referensi Kolom

Informasi Batch

Kolom	Tipe	Deskripsi
Name	Auto	Pengenal unik yang dibuat sistem (IMP-YYYY-MM-DD-#####)
Data Source	Link	ETL Data Source yang menghasilkan batch ini
Status	Select	Status batch saat ini (Pending, Running, Complete, Failed)
Notes	Small Text	Pesan error atau informasi tambahan

Statistik

Kolom	Tipe	Deskripsi
Chunk Size	Int	Jumlah record per chunk (disalin dari Data Source)
Rows	Int	Jumlah total record yang diekstrak
Chunks	Int	Jumlah chunk yang dibuat
Bytes	Int	Total ukuran data yang diekstrak dalam byte
Errors	Int	Jumlah error yang ditemui selama ekstraksi

Timestamps

Kolom	Tipe	Deskripsi
Started At	Datetime	Ketika ekstraksi dimulai
Finished At	Datetime	Ketika ekstraksi selesai

Status

Status	Deskripsi
Pending	Batch dibuat tetapi ekstraksi belum dimulai
Running	Ekstraksi sedang berlangsung
Complete	Ekstraksi selesai dengan sukses
Failed	Ekstraksi mengalami error dan berhenti

Aksi

Lihat Chunks

Navigasikan ke ETL Import Chunks list yang termasuk dalam batch ini untuk memeriksa data mentah yang diekstrak.

Run Transform

Pilih ETL Transform Map untuk memproses data batch ini ke dalam target DocTypes.

Catatan Penggunaan

Batch tidak dapat dibuat atau diedit secara manual
Batch yang gagal dapat diproses kembali dengan menjalankan ekstraksi ulang
Batch besar secara otomatis dibagi menjadi chunk untuk efisiensi memori
Data mentah dalam chunk disimpan sebagai format JSONL untuk pemrosesan yang efisien
Batch yang selesai dapat ditransformasi beberapa kali dengan Transform Maps yang berbeda

Monitoring Ekstraksi

Gunakan tampilan ETL Import Batch list untuk memonitor operasi ekstraksi:

Filter berdasarkan Status untuk melihat ekstraksi yang sedang berjalan atau gagal
Periksa jumlah Row untuk memverifikasi volume data yang diharapkan
Tinjau kolom Notes untuk detail error pada batch yang gagal
Monitor durasi antara timestamp Started At dan Finished At

DocType Terkait

ETL Data Source: Konfigurasi induk yang menghasilkan batch
ETL Import Chunk: Record anak yang berisi data aktual yang diekstrak
ETL Transform Run: Record pemrosesan yang mengonsumsi data batch