Jurusan/Fakultas/Perguruan Tinggi : Teknologi Informasi/Teknik/Universitas Udayana
Mata Kuliah : Data Warehouse
Dosen : I Putu Agus Eka Pratama, ST MT
DATA WAREHOUSE, DATA MART, ETL, ELT, OLAP
Data warehouse adalah data-data yang beorientasi
subjek, terintegrasi, memiliki dimensi waktu, serta merupakan koleksi tetap
(non-volatile), yang digunakan dalam mendukung proses pengambilan keputusan. Data warehouse adalah sebuah
sistem yang mengambil dan menggabungkan data secara periodik dari sistem sumber
data ke penyimpanan data bentuk dimensional atau normal (Rainardi, 2008). Data warehouse didesain untuk kita bisa
melakukan query secara cepat. Informasi diturunkan dari data lain, dilakukan
rolling up untuk dijadikan ringkasan, dilakukan operasi drilling down untuk
mendapatkan informasi lebih detail, atau melihat pola yang menarik atau melihat
trend (kecenderungan).
Data Mart merupakan bentuk skala kecil dari data
Warehouse yang mendukung sebuah persyaratan atau ketentuan sebuah departement
atau organisasi. Data mart memberikan respon yang lebih cepat dan lebih mudah
navigasikan dibandingkan warehouse. Untuk lebih jelas beberapa karakteristik
yang membedakan data mart dan warehouse :
- Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.
- Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.
- Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami dan dinavigasi.
ETL (Extraction, Transformation, Loading)
ETL adalah kumpulan proses menyiapkan data dari operational
source untuk data. Proses ini terdiri dari extracting, transforming,
loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke
dalam data warehouse. Jadi, ETL atau extract, transform, loading adalah
fase pemrosesan data dari sumber data masuk ke dalam data warehouse.
Tujuan ETL adalah mengumpulkan, menyaring, mengolah dan menggabungkan datadata
yang relevan dari berbagai sumber untuk disimpan ke dalam data warehouse.
ETL juga dapat digunakan untuk mengintegrasikan data
Dengan sistem yang sudah ada sebelumnya. Hasil
dari proses ETL adalah dihasilkannya data yang memenuhi kriteria data
warehouse seperti data historis, terpadu, terangkum, statis dan memiliki
struktur yang dirancang untuk keperluan proses analisis. Proses ETL terdiri
dari tiga tahap, yaitu :
Proses ETL (Extraction, Transformation, Loading) merupakan proses
yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004).
Berikut adalah penjelasan dari tiap proses.
Ekstraksi Data (Extract)
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari
berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL.
Terdapat beberapa fungsi ekstraksi data, yaitu :
- Ekstraksi data secara otomatis dari aplikasi sumber.
- Penyaringan atau seleksi data hasil ekstraksi.
- Pengiriman data dari berbagai platform aplikasi ke sumber data.
- Perubahan format layout data dari format aslinya.
- Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.
Transformasi Data (Transformation)
Transformasi adalah proses dimana data mentah (raw data) hasil
ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku.
Langkah-langkah dalam transformasi data adalah sebagai berikut :
- Memetakan data input dari skema data aslinya ke skema data warehouse.
- Melakukan konversi tipe data atau format data.
- Pembersihan serta pembuangan duplikasi dan kesalahan data.
- Penghitungan nilai-nilai derivat atau mula-mula.
- Penghitungan nilai-nilai agregat atau rangkuman.
- Pemerikasaan integritas referensi data.
- Pengisian nilai-nilai kosong dengan nilai default.
- Penggabungan data.
Pengisian Data (Loading)
Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang
didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk
memuat data adalah dengan menjalankan SQL script secara periodik.
ELT (Extraction, Loading and Transformation)
ELT merupakan kebalikan dari ETL dimana dalam ELT dilakukan proses
pengekstrakan data dari sumber data, setelah itu data diload atau
dimasukkan ke dalam data warehouse,.kemudian data ditransformasikan
(data dipilah berdasarkan pengelompokan data),
OLAP (Online Analytical Processing)
Merupakan metode pendekatan untuk
menyajikan jawaban dari permintaan proses analisis yang bersifat
dimensional secara cepat. Pengertian OLAP itu sendiri dapat dirangkum
menjadi 5 garis besar yaitu Fast Analysis of Shared Multidimensional Information atau disingkat menjadi FASMI yang masing-masing berarti sebagai berikut :
- FAST berarti sistem ditargetkan untuk memberikan response terhadap user dengan secepat mungkin, sesuai dengan analisis yang dilakukan.
- ANALYSIS berarti sistem dapat mengatasi berbagai logika bisnis dan analisis statistik yang relevan dengan aplikasi dan user, dan mudah.
- SHARED berarti sistem melaksanakan seluruh kebutuhan pengamanan data, jika dibutuhkan banyak akses penulisan terhadap data, disesuaikan dengan level dari user. Tidak semua aplikasi membutuhkan user untuk menulis data kembali. Sistem harus dapat meng-handle multiple update dalam satu waktu secara aman.
- MULTIDIMENSIONAL berarti sistem harus menghasilkan conceptual view dari data secara multidimensional, meliputi full support untuk hierarki dan mutiple hierarki. Hal ini merupakan cara yang logic untuk menganalisis bisnis dan organisasi.
- INFORMATION adalah semua data dan informasi yang dibutuhkan dan relevan untuk aplikasi. Kapasitas produk OLAP berbeda untuk menghandle input data tergantung beberapa pertimbangan meliputi duplikasi data, RAM yang dibutuhkan, penggunaan disk space, performance, integrasi dengan data warehouse, dan lainnya
Database yg dikonfigurasikan untuk pelayanan OLAP model data
multidimensi, bisa digunakan untuk analisis komplek dan kueri khusus (ad
hoc) dengan suatu laju waktu eksekusi. Mereka meminjam aspek database
navigasi dan database hierarki yang lebih cepat daripada yang
sefamilinya.
Kelebihan OLAP :
- Dapat meningkatnya produktivitas bisnis, IT developers, dan seluruh organisasi
- Akses yang lebih terkendali terhadap informasi yang dapat meningkatkan efektivitas pengambilan keputusan
- Mempercepat respon terhadap permintaan pasar.
- Mengurang “backlog”pengembangan aplikasi bagi staf IT dengan membua tpemakai akhir dapat merubah schema dan membangun model sendiri.
- Penyimpana pengawasan organisasi melalui integritas data koorporasi sebagai aplikasi OLAP tergantung pada data warehouse dan sistem OLTP untuk memperbaharui sumber tingkatan data mereka.
- Mengurangi aktifita squery dan lalulintas jaringan pada sistem OLTP atau pada data warehouse.
- Meningkatkan hasil dan keuntungan secara potensial dengan mengizinkan organisasi untuk merespon permintaan pasarlebihcepat.
- Tidak terdapat fungsi untuk melakukan operasi pivot. Saat ini untuk melakukan operasi pivot dengan cara mengubah axis (baris dan kolom) dimensinya.
- Aplikasi OLAP belum memiliki fungsi updating yang berguna pada saat terdapat data hotspot terbaru.
DAFTAR PUSTAKA
- OLAP "Tugas tugas". Diakses Pada 19 Oktober 2015. http://tugascpolpos.blogspot.co.id/2013/01/olap.html
- Informatika "ETL (Extraction, Transformation, Loading) ". Diakses Pada 19 Oktober 2015. http://tugascpolpos.blogspot.co.id/2013/01/olap.html
- Kundang K Juman "Extract, Transform, Loading". Diakses Pada 19 Oktober 2015. http://kundang.weblog.esaunggul.ac.id/2013/09/17/extract-transform-loading/
Inside the top five of the favorite articles, thankyou!
BalasHapusoracle rac online training
oracle rac training