Resume pertemuan 10

Sumber : slide presentasi kelompok 9

Menurut Peterson (2001,p6) DTS dalam Microsoft SQL 2008 adalah sebuah alat yang dapat digunakan untuk memindahkan data. DTS juga merupakan alat fleksibel yang dapat diukur untuk mendapatkan kendali tertinggi atas transformasi dari data. DTS merupakan sebuah alat untuk mengcopy, memindahkan, memperkuat, membersihkan, dan memvalidasi data. Transfer data memuat tiap kolom dari sumber data, memanipulasi nilai ke dalam kolom tersebut dan memasukan kolom tersebut ke tujuan data.

Fungsi lain dari DTS selain untuk melakukan import, export dan transport data yang beragam antara satu atau lebih sumber data, seperti misalnya SQL Server, Microsoft Excel atau Microsoft Access, DTS juga menyediakan hubungan berupa ODBC (Open Database Connectivity) data source yang disupport oleh OLE DB Provider for ODBC dan service seperti logging package execution details, controlling transactions dan penanganan variable global.

Conection Untuk Mengakses dan Memindahkan Data
Agar eksekusi DTS tasks dalam menyalin dan memindahkan data berjalan sukses, sebuah DTS package harus mempunyai hubungan yang valid antara sumber data asal dengan sumber data tujua. Ketika menciptakan sebuah package, user dapat mengkonfigurasikan hubungan dengan memilih jenis hubungan dari daftar yang tersedia pada OLE DB providers dan ODBC drivers. Jenis hubungan yang tersedia antara lain:

1. Microsoft Data Acces Component (MDAC) drivers
2. Microsoft Jet drivers
3. Other drivers
4. OLE DB CONNECTION

Resume data Warehouse pertemuan 8

Sumber data : slide presentasi kelompok 7

ETL adalah kumpulan proses menyiapkan data dari operational source untuk data. Proses ini terdiri dari extracting, transforming, loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke dalam data warehouse. Jadi, ETLatau extract, transform, loading adalah fase pemrosesan data dari sumber data masuk ke dalam data warehouse.

Tahapan ETL : 

Extract

Adalah Langkah pertama dari proses ETL adalah proses penarikan data dari satu atau lebih sistem operasional sebagai sumber data (bisa diambil dari sistem OLTP, tapi bisa juga dari sumber data di luar system database). Metode ekstraksi memiliki 3 metode, yaitu :

a.       Metode ekstraksi secara umum

·         Statis

·         Terjadwal (berdasarkan waktu dan berdasarkan perbedaan)

·         Seketika (sumber aplikasi, mekanisme log transaksi dan mekanisme data trigger)

b.      Metode ekstraksi logical

·         Full Extraction

·         Incremental Extraction

c.       Metode ekstraksi fisik (physical extraction)

·         Online Extraction

·         Offline Extraction

2.      Transform

Adalah proses  pengambilan  data mentah  yang  belum  bisa  disimpan  pada  Data Warehouse,  oleh  karena  itu  data  harus  sesuai standar  struktur  Data  Warehouse  yang  telah ditentukan  sehingga  bisa  disimpan  ke  Data Warehouse. Tranformasion data terdiri dari beberapa tahap, yaitu :

a.       Seleksi

b.      Pemisahan dan penggabungan

c.       Konversi (dengan alasan : standarisasi pengambilan data dari banyak sumber dan membuat file yang di gunakan datawarehouse yang juga bisa di pahami oleh pengguna)

d.      Ringkasan

e.       Pengayaan

3.      Load

Fase load merupakan tahapan yang berfungsi untuk memasukkan data ke dalam target akhir, yaitu ke dalam suatu data warehouse. Fase load ada 4 metode:

a.       Panggil

b.      Tambah

c.       Destructive merge

d.      Constructive merge

Resume pertemuan 6 (Diemnsional model)

Dalam menggambarkan relasi database pada data warehouse dapat digunakan 2 pendekatan model skema yaitu star schema atau snowflake schema. Disebut star schema karena Entity Relationship Diagram atau ERD-nya yang menyerupai bintang, tabel fakta berada di tengah dengan dikelilingi tabel dimensi di sampingnya.

Berikut adalah contoh gambar star schema :

Sedangkan snowflake schema lebih kompleks dibandingkan dengan star schema karena merupakan pengembangan dari star schema, karena tabel-tabel dimensinya merupakan hasil normalisasi dari beberapa tabel yang berhubungan.

Berikut adalah contoh gambar snowflake schema :

Berdasarkan hasil penelitian yang dilakukan oleh Paiman dkk. (2010) yang berjudul “Analisis Perbandingan Antara Model Dimensi Star Schema Dan Snowflake”, didapat kesimpulan mengenai kelebihan dan kekurangan baik dari star schema maupun snowflake schema. Penelitian ini dilakukan dengan cara mengolah database adventureworks yang merupakan database sampel yang telah disiapkan oleh Microsoft SqlServer 2005. Dari database tersebut dibuat beberapa skenario yang diterapkan menggunakan dua model skema yaitu star schema dan snowflake schema.

Berikut adalah kelebihan dan kekurangan model dimensi star schema.

Kelebihan model dimensi star schema :

1. cenderung mudah dipahami karena modelnya yang lebih sederhana,
2. memudahkan mencari isi karena kesderhanaannya dengan cara melihat step by step dari masing-masing dimensinya,
3. proses query lebih cepat pada saat proses OLAP.

Kekurangan model dimensi star schema :

1. ukuran data lebih besar karena ada data yang disimpan ulang,
2. maintenance dan update lebih sulit.

Berikut adalah kelebihan dan kekurangan model dimensi snowflake schema.

Kelebihan model dimensi snowflake schema :

1. ukuran data lebih kecil di dalam tempat penyimpanan,
2. lebih mudah dilakukan maintenance dan update,
3. proses query lebih cepat pada saat proses ETL.

Kekurangan model dimensi snowflake schema :

1. cenderung lebih sulit dipahami karena kompleksitasnya,
2. sulit mencari isi karena melihat strukturnya yang kompleks dan bercabang-cabang.

referensi :

Paiman, A.S., William, R., Willyam, F., 2010. Analisis Perbandingan Antara Model Dimensi Star Schema Dan Snowflake. Universitas Bina Nusantara, Jakarta.

Windy, 2012. OLAP (Online Analytical Processing). http://kegiatanwindy.blogspot.com/2012_02_01_archive.html.

Ramadhan, T.I., 2013. Perancangan dan Pembuatan Data Warehouse (Studi Kasus Database Swalayan Kopma UGM). Universitas Gadjah Mada, Yogyakarta.

Tugas pertemuan 4 (Lanjutan tugas pertemuan 3)

download paper disini

Gambaran arsitektur sistem pada studi kasus dapat dilihat pada Gambar 2. Alur kerja sistem data warehouse penelitian ini adalah sebagai berikut.

1. Data pada masing masing source yaitu source inspeksi jalan, source monitoring kepadatan jalan, dan source pengembalian kondisi jalan dimasukkan ke server database menggunakan proses ETL.

2. Data pada database server kemudian dimasukkan ke Database Server OLAP Server. Pada OLAP server dihasilkan report yang dibutuhkan oleh user.

3. Kemudian data pada Database Server OLAP Server dimasukkan ke dalam report server web server. Pada report server web server menampilkan report yang telah dihasilkan sebelumnya pada internet explorer.

4. User mengakses report yang telah dihasilakan oleh sistem data warehouse.

hasil analisis saya :
- dengan adanya jurnal ini membantu kontraktor untuk menyatukan semua data dari masing-masing sistem sumber yang berbeda ke dalam satu database yang berintegrasi sehingga mudah diakses, dianalisis, dan dapat menghasilkan report yang dibutuhkan dengan cepat.

Tugas Data Warehouse analisis paper perusahaan yang menerapkan data Warehouse

paper dapat di download di sini


Implementasi Aplikasi Data Warehouse dan Sistem Pendukung Keputusan Menggunakan Studi Kasus Proyek Konstruksi PT. Adhi karya

Hasil analisis :

Source yang ada pada data warehouse ini terdiri atas 3 source yaitu sourece inspeki jalan, monitoring kepdatan jalan dan pengembalian kondisi jalan, setelah itu berikut alur kerjanya :

Alur kerja sistem data warehouse penelitian ini adalah sebagai berikut.

1. Data pada masing masing source yaitu source inspeksi jalan, source monitoring kepadatan jalan, dan source pengembalian kondisi jalan dimasukkan ke server database menggunakan proses ETL.

2. Data pada database server kemudian dimasukkan ke Database Server OLAP Server. Pada OLAP server dihasilkan report yang dibutuhkan oleh user.

3. Kemudian data pada Database Server OLAP Server dimasukkan ke dalam report server web server. Pada report server web server menampilkan report yang telah dihasilkan sebelumnya pada internet explorer.

4. User mengakses report yang telah dihasilakan oleh sistem data warehouse.

penelitian ini merupakan mengimplementasikan CMDSS dengan menggunakan dataset proyek jalan raya Demak Trengguli yang dikerjakan oleh PT Adhi Karya. Implementasi dari aplikasi ini diharapkan dapat membantu kontraktor dalam mengakses, menganalisis, dan menghasilkan report data yang dibutuhkan. 

Arsitektur data warehouse

 

Resume pertemuan 2

Deifinisi Data Ware House

Data Warehouse adalah tempat penyimpanan data yang lengkap dan konsisten yang berasal dari sumber – sumber yang berbeda di buat untuk penggunanya agar mereka dapat mengerti dan menggunakannya dalam konteks bisnis (Barry Dalvin)

Data Warehouse adalah proses Transformasi data ke dalam sebuah informasi dan membuat informasi ini dapat di akses oleh penggunanya tepat waktu untuk membuat perubahan – perubahan (Forrester Research, 1996)

Dari definisi – definisi dari berbagai ahli di atas saya dapat menyimpulkan sendiri data warehouse adalah gabungan antara banyaknya database yang di tampung di dalam satu wadah yang besar yang di sebut data warehouse dan membuat data dalam tampungan ini bisa di akses oleh penggunanya (Kesimpulan dari saya)

Karakteristik Data Warehous

·         Subject Orinted, diorganisasikan dalam lingkup subjek, berfokus dalam pemodelan dan analisis, memisahkan data yang tidak berguna.

·         Integrated, Dikontruksikan dengan cara mengintegrasikan sejumlah sumber data yang berbeda.

·         Time Variant, Menghasilkan informasi dai sudut historical, mengandung elemen waktu di setiap struktur kunci

·         Non-Volatile, Sekali data direkam tidak bisa di upate.

Data Mart

Bagian dari data warehouse yang mendukung kebutuhan pada tingkat departemen atau fungsi bisnis tertentu dalam perusahaan. Karakteristik yang membedakan data mart dan data warehouse adalah sebagai berikut (Connolly, Begg, Strachan 1999).

·         Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.

·         Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.

·         Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami dan dinavigasi.

Data Warehouse VS Data Mart