“ada terlalu banyak data yang harus diproses ketika sistem tradisional diciptakan pada awalnya, kita tidak pernah mengantisipasi bahwa kita harus berurusan dengan model data yang begitu besar”.
1. Evolution of Data
*** Evolution of technology
a. dulu telepon sekarang smarthphone/android/iOS that are making life a smarter as other phone smarter.
b. dulu kita menggunakan bully desktop untuk memproses MB data menggunakan floopies, then came hard disk for stroring TVs of data, sekarang kita store data menggunakan cloud dengan banyak data yg bisa disimpan dengan baik
c. dulu mengendarai kendaraan menggunakan anggota tubuh kita, sekarang ada self-driving (smart car)
**IOT
> menghubungkan perangkat fisik dengan internet dan membuat perangkat tersebut menjadi lebih pintar, contohnya Smart TV ACS, dll.
> menghasilkan sejumlah besar data
***Social Media
>salah satu faktor terpenting dalam evolusi big data, semua orang menggunakan fb, ig, ygb dan banyak situs media sosial lainnya. .
***Data evolved to Big Data
Data yang dihasilkan dalam berbagai format.
***faktor lain seperti ritel, asuransi, transportasi, pemerintahan, perbankan dan keuangan, media dan hiburan, perawatan kesehatan, pendidikan
2. What is Big Data
>istilah untuk kumpulan data yang begitu besar dan kompleks sehingga menjadi sulit untuk diproses menggunakan alat sistem basis data yang ada atau aplikasi pemrosesan data tradisional.
> 5 V’s of Big Data
1. Volume
Pada tahun 2020, akumulasi data alam semesta digital akan tumbuh dari 4,4 Zeta byte saat ini menjadi sekitar 44 Zeta byte, atau 44 triliun giga byte.
2. Variety
Berbagai jenis data dihasilkan dari berbagai sumber.
Terstruktur: skema yang tepat tentang data Anda, co: format tabel
Semi-terstruktur : skema tidak didefinisikan dengan benar, co : File JSON, file XML, file CSV, E-mail.
Tidak terstruktur : audio mp3, log. file, video, gambar pada CSV, TSV dll
3. Velocity
Data dihasilkan pada tanggal yang mengkhawatirkan
Kecepatan akumulasi dari semua variasi data ini.
Mainframe > Klien/server > Internet > Mobile, media sosial, cloud
Co: tiap 60 detik ada 100.000 tweet, 695.000 update status di fb
4. Value
Mekanisme untuk mendapatkan makna yang benar dari data
Cara mengekstrak data yang berguna dari sini
> memastikan bahwa Anda hanya memiliki kacang polong yang berguna dalam kumpulan data Anda setelah itu Anda melakukan analisis tertentu pada data tersebut
> dalam bisnis, yang akan membantu anda menemukan wawasan tertentu yang sebelumnya tidak mungkin dilakukan.
5. Veracity
> ketidakpastian dan ketidakkonsistenan dalam data
3. Big Data as an Opportunity
a. Peningkatan Layanan atau Produk; evaluasi kebutuhan dan kepuasan pelanggan
b. Pengambilan Keputusan yang Lebih Cepat dan Lebih Baik; menyediakan cara untuk menganalisis informasi dengan cepat dan mengambil keputusan
c. Pengurangan Biaya; sistem penyimpanan yang hemat biaya untuk kumpulan data yang besar
d. Produk Generasi Berikutnya; mobil otomatis, layanan kesehatan, dll.
4. Problems in Encasing Opportunity
Untuk mengelola dan menggunakan informasi ini untuk mendapatkan wawasan, perusahaan utilitas harus mampu mengelola data bervolume tinggi dan analitik tingkat lanjut yang dirancang untuk mengubah data inti menjadi wawasan yang dapat ditindaklanjuti.
How Smart Meters Big Data Is analyzed
> sebelum menganalisis data besar, pemanfaatan energi dan penagihan telah meningkat
> setelah menganalisis data: penetapan harga berdasarkan waktu penggunaan untuk mendorong ritel yang hemat biaya seperti alat berat industri untuk digunakan pada waktu tidak sibuk
Selama beban puncak, pengguna membutuhkan lebih banyak energi
Selama waktu tidak sibuk, pengguna membutuhkan lebih sedikit energi
> Buang semua data yang Anda dapatkan di gudang data
> Memastikan bahwa data Anda aman
> Bersihkan data tersebut juga mungkin banyak biaya yang tidak anda perlukan dan pastikan menggunakan data yang penting atau berguna dalam kumpulan data anda
> Lakukan analisis
A few things of IBM
Mengelola Data Pengukur Cerdas
Memantau jaringan distribusi
Mengoptimalkan komitmen unit
Mengoptimalkan perdagangan energi
Memperkirakan dan menjadwalkan beban
Problem with Big Data
Menyimpan kumpulan data besar yang tumbuh secara eksponensial
Memproses data yang memiliki struktur yang kompleks
Memproses data lebih cepat
5. Hadoop as a Solution
Hadoop adalah kerangka kerja yang memungkinkan Anda untuk membuang semua jenis data di seluruh cluster (hadoop distributed file system) dan memungkinkan pemrosesan paralel dari data yang disimpan dalam HDF (MapReduce)
6. Hadoop Ecosystem
Terdapat banyak alat bantu dalam hadoop sebagai berikut:
Flume dan scoop untuk memasukkan data ke dalam HDF
HDFS ke penyimpanan
YARN, otak dari ekosistem hadoop
SPARK, In-memory, mesin aliran data
KAFKA & STORM, streaming
SOLR & LUCENE, pencarian dan pengindeksan
OOZIE, penjadwalan
ZOOKEEPER & AMBARI, manajemen dan koordinasi
HBASE, Basis Data NoSQL
BABI, Scripting
MAHOUT & SPARK MLlib, pembelajaran mesin
HIVE & DRILL, Analitik SQL-on-hadoop
MAPREDUCE, pemrosesan menggunakan bahasa yang berbeda