Proses Transformasi Data

Transformasi data dapat dibagi ke dalam langkah-langkah berikut, masing-masing sesuai dengan kebutuhan berdasarkan kompleksitas transformasi yang dibutuhkan. 

• Penemuan data
• Pemetaan data
• Pembuatan kode
• Eksekusi kode
• Review data

Langkah-langkah ini sering menjadi fokus pengembang atau analis data teknis yang mungkin menggunakan beberapa alat khusus untuk melakukan tugas mereka.

Langkah-langkahnya bisa digambarkan sebagai berikut:

Penemuan data merupakan langkah awal dalam proses transformasi data. Biasanya data diprofilkan dengan menggunakan alat profiling atau kadang menggunakan skrip profiling yang ditulis secara manual untuk lebih memahami struktur dan karakteristik data dan menentukan bagaimana kebutuhan untuk diubah.

Pemetaan data adalah proses untuk menentukan bagaimana masing-masing bidang dipetakan, dimodifikasi, digabungkan, disaring, digabungkan, dll untuk menghasilkan keluaran yang diinginkan akhir. Pengembang atau analis data teknis secara tradisional melakukan pemetaan data karena mereka bekerja dalam teknologi spesifik untuk menentukan aturan transformasi (misalnya alat ETL visual, bahasa transformasi).

Pembangkitan kode adalah proses menghasilkan kode yang dapat dieksekusi (misalnya SQL, Python, R, atau instruksi eksekusi lainnya) yang akan mengubah data berdasarkan aturan pemetaan data yang diinginkan dan didefinisikan. Biasanya, teknologi transformasi data menghasilkan kode ini  berdasarkan definisi atau metadata yang didefinisikan oleh pengembang.

Kode eksekusi adalah langkah dimana kode yang dihasilkan dijalankan terhadap data untuk menciptakan output yang diinginkan. Kode yang dijalankan mungkin terintegrasi ke dalam alat transformasi, atau mungkin memerlukan langkah terpisah oleh pengembang untuk secara manual menjalankan kode yang dihasilkan.

Review data adalah langkah terakhir dalam proses, yang berfokus untuk memastikan data output memenuhi persyaratan transformasi. Biasanya pengguna bisnis atau pengguna akhir dari data yang melakukan langkah ini. Setiap anomali atau kesalahan dalam data yang ditemukan dan dikomunikasikan kembali kepada pengembang atau analis data sebagai persyaratan baru untuk diimplementasikan dalam proses transformasi.