Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu kedua bulan Maret 2017

1. Amid Shortages in Apache Spark Skillsets, Training Options Proliferate
   Salah satu teknologi yang paling ‘hot’ di bidang big data adalah Apache Spark. Saat ini kebutuhan terhadap implementasi Spark sangat tinggi, namun ketersediaan tenaga-tenaga ahli di bidang tersebut masih sangat terbatas. Hal ini menjadi pendorong munculnya banyak training mengenai Spark, yang banyak diantaranya adalah free training.
   
2. Microsoft moves ahead on cloud, data, AI fronts
   Dalam ajang Hadoop Summit 2017, Microsoft meluncurkan beberapa hal terkait big data. Di antaranya adalah konektor Spark ke DocumentDB. DocumentDB adalah distributed data store yang mendukung SQL dan kompatibel dengan antarmuka query MongoDB. Microsoft juga mengumumkan peningkatan dukungan security untuk Hive LLAP (melalui HDP 2.6) dan Spark, peningkatan dukungan streaming dari Spark ke Azure Event Hub, dan lain sebagainya.
   
3. How Adobe used its huge data bank to build Sensei, an AI tool for creatives
   Tak mau ketinggalan dengan raksasa teknologi seperti Google, Amazon dan Microsoft dalam pengembangan AI dan bots, Adobe meluncurkan layanan AI dan virtual assistant, yang diberi nama Sensei. Melengkapi fitur yang telah ada di Creative Cloud, Sensei menyediakan kemampuan mengedit ekspresi wajah menggunakan fitur Face Aware Editing di Photoshop. Sensei akan dapat ‘berbicara’ dan memandu penggunanya seperti guru profesional, berkat jutaan sesi editing foto dan video yang direkam oleh Adobe. Sensei juga akan mendukung teknologi Adobe yang lain, seperti melukis dalam VR dengan Project Dali, dan photo restyling dengan Artistic Tool.
   
4. Abundant Data: The Currency for the Digital Transformation
   Beberapa poin penting mengenai berlimpahnya data dan perannya dalam mendorong transformasi digital, dari Gartner Data and Analytics Summit, yang diselenggarakan awal Maret 2017 lalu di Texas.
   
5. Government Sponsored Data Analytics in Healthcare and Life Sciences
   Data analytics di bidang kesehatan dan life science menjadi sebuah kebutuhan yang tidak terhindarkan. Pemerintah memegang peran yang penting dalam implementasi project-project terkait data analytics di bidang tersebut. Artikel ini mengulas beberapa di antaranya.
   
6. MIT-Stanford project uses LLVM to break big data bottlenecks
   Salah satu permasalahan dalam memaksimalkan penggunaan multicore system adalah, semakin mudah sebuah big data framework digunakan, akan semakin sulit pipeline yang dihasilkan untuk dijalankan secara paralel sebagai sebuah unit. Untuk itu para peneliti CSAIL MIT bekerja sama dengan Infolab Stanford membangun Weld, yang men-generate code untuk workflow data analisis yang dapat berjalan secara efisien menggunakan framework compiler LVVM.
   
7. On computational ethics
   Tulisan mengenai etika dan filosofi dalam bidang komputasi dan AI. Mungkinkah etika diterapkan dalam komputasi? Bagaimana?
   
8. Slides and videos Spark Summit East, Boston
   Video dan presentasi yang menarik dari pembicara-pembicara terkemuka, di acara Spark Summit East, Boston, Februari 2017.
   

1. Finding Influencers on Twitter
   Menjelaskan secara singkat langkah menentukan influencer di Twitter.
   
2. Data science for Doctors: Inferential Statistics Exercises (part-2)
   Data sains memperbaiki kualitas pengambilan keputusan. Dokter serta peneliti perlu membuat keputusan penting hampir tiap hari, sehingga data sains akan sangat membantu mereka. Tulisan ini adalah bagian dari serangkaian tutorial data sains yang ditujukan khususnya untuk para dokter dan tenaga medis.
   
3. Big Data Processing Using Apache Spark - Part 6: Graph Data Analytics with Spark GraphX
   Bagian ke 6 dari serangkaian artikel mengenai pemrosesan data dalam Spark. Dari artikel ini kita dapat mempelajari tentang :
   • pengolahan dan analisis data grafis dan library Apache Spark GraphX sebagai solusinya
   • algoritma seperti PageRank, Connected Components dan Triangle Counting
   • komponen dan API dari Spark GraphX
   • contoh aplikasi menggunakan Spark GraphX
   
   
4. Python & R vs. SPSS & SAS
   Artikel ini membandingkan empat bahasa (Python & R vs. SPSS & SAS) dalam hal : metode dan teknik, kemudahan belajar, visualisasi, support dan biaya. Pembahasan difokuskan pada aspek bahasa, sedangkan antarmuka pengguna pada SAS Enterprise Miner dan SPSS Modeler tidak tercakup dalam ruang lingkup pembahasan.
   
5. Neural Networks: How they work, and how to train them in R
   Dengan meningkatnya perhatian pada penerapan deep learning, maka neural network kembali menjadi bahasan yang menarik. Neural network adalah engine prediktif yang mendasari deep learning, namun tidak mudah untuk memahami cara kerjanya. Artikel ini menyebutkan beberapa sumber yang dapat memberikan penjelasan dan contoh mengenai neural network dan penerapannya dalam R.
   

Rilis produk

1. Apache Drill 1.10.0
   Beberapa fitur tambahan adalah perintah 'create temporary table as..', peningkatan dukungan untuk timestamp dalam file Parquet, perbaikan fault tolerance di atas JDBC, dukungan untuk autentikasi Kerberos, dan lain sebagainya.
   
2. Python SDK released in Apache Beam 0.6.0
   Selain dukungan Python SDK, rilis Apache Beam minggu ini juga menambahkan dukungan untuk Apache HBase, meningkatkan support untuk model Beam dalam implementasi runner, dan lain-lain.
   
3. release of Kudu 1.3.0.
   Apache Kudu 1.3 adalah rilis minor yang menambahkan berbagai fitur baru, perbaikan, perbaikan bug, dan optimasi di atas Kudu 1.2.
   

---

Tim idbigdata
always connect to collaborate every innovation

Banyak tantangan-tantangan Big Data di berbagai bidang yang dapat diselesaikan dengan Hadoop, tak terkecuali pada bidang BioInformatika. DNA Sequence aligment yang merupakan salah satu area dalam bioinformatika, adalah sebuah proses untuk membandingkan dua atau lebih DNA sequence yang berbeda dengan cara mencari kesesuaian pola karakter pada suatu urutan yang sama. Berikut ini merupakan sebuah studi kasus dalam penerapan algoritma DNA sequence menggunakan MapReduce, yang disarikan dari sebuah tugas akhir berjudul SEQUENCE ALIGNMENT SECARA PARALEL MENGGUNAKAN MAPREDUCE DI ATAS HADOOP DISTRIBUTED FILE SYSTEM (HDFS) karya Rusnah Setiani, dari Program Studi Teknik Informatika Fakultas Sains dan Teknologi, Universitas Al Azhar Indonesia.

Salah satu kegiatan yang dilakukan dalam bidang bioinformatika adalah pembentukan phylogenetic tree, yaitu sebuah diagram yang menunjukkan hubungan evolusi antar organisme. Hubungan evolusi organisme tersebut diperoleh dengan menganalisis hubungan antara leluhur dan keturunannya dengan cara membandingkan gen yang berasal dari spesies yang akan diteliti.

Salah satu permasalahan yang dihadapi dalam penelitian tersebut ditemui dalam pemrosesan sequence alignment. Proses ini dilakukan dengan cara memilih dua sekuens yang terdapat pada genbank Universitas Al Azhar Indonesia, dan dilakukan dengan single processing.Keterbatasan penelitian tersebut yaitu untuk memproses sekuens yang memiliki panjang 214 residu untuk sekuens pertama dan 208 residu untuk sekuens kedua, dengan scoring scheme untuk gap bernilai 0, program tidak dapat berjalan dikarenakan adanya stack overflow. Terdapat dua penyebab terjadinya stack overflow, yaitu banyaknya recursive yang dilakukan dan banyaknya nilai yang disimpan pada stack.

Untuk mengatasinya, penulis mengembangkan penelitian tersebut dengan melakukan proses sequence alignment secara paralel menggunakan MapReduce di atas Hadoop distributed system. Di samping mengatasi keterbatasan di atas, pemrosesan secara paralel juga memungkinkan proses alignment tidak terbatas hanya membandingkan 2 sekuens saja (pairwise alignment). Proses alignment dapat dilakukan dengan membandingkan input sekuens dengan semua data yang terdapat dalam genbank, yang disebut dengan multipairwise alignment.

Pembuatan sequence alignment untuk sekuens DNA dengan pendekatan pemograman dinamik secara iteratif menggunakan algoritma Needleman- Wunsch, yang menghasilkan global alignment. Input file yang akan dilakukan proses alignment dalam format FASTA. Output file disimpan ke dalam Hadoop Distributed File System (HDFS).

Sebagai data reference, dibuat sebuah genbank yang disimpan di dalam HDFS. Data diambil dari NCBI (National Center for Biotechnology Information). Data ini yang nantinya akan digunakan sebagai pembanding untuk sequence yang akan di-align.

Seputar Big Data edisi #8

1. JPMorgan Software Does in Seconds What Took Lawyers 360,000 Hours
   Sebuah program yang disebut COIN, Contract Intelligent, dikembangkan oleh JPMorgan, merupakan sebuah machine learning program yang mampu mereview dokumen kontrak dengan sangat cepat, yang sebelumnya dikerjakan membutuhkan waktu ratusan jam.
2. The Difficulties of Teaching Wall Street About Big Data
   Sebuah wawancara Leigh Drogan, founder dan CEO Estimize, mengenai bagaimana sulitnya mengedukasi dan bagaimana menggunakannya secara efektif Big Data di Wall Street
   
3. When the Big Lie Meets Big Data
   Masih mengenai studi kasus tentang pemilu Amerika Serikat. Menurut Joseph Goebbels, Reich Miniter of Propaganda Nazi, jika sebuah ketidakbenaran terus dibesar-besarkan dan diulang-ulang, maka orang akhirnya akan mempercayainya. Tidak demikian di era Big Data saat ini, sedikit ketidakbenaran dengan bantuan machine learning, akan menjadi lebih efektif.
   
4. MWC 2017: Barcelona trial uses IoT and big data to manage tourists
   Pada Mobile World Congress (MWC) lalu, kota Barcelona melakukan sebuah proyek ujicoba IoT dan Big Data untuk mengelola pergerakan dan meningkatkan pengalaman turis di gereja Sagrada Familia.
   
5. Why Big Data Kills Businesses
   Walaupun Big Data telah diakui sebagai penyelamat bisnis, pada kenyataannya data merupakan ancaman yang membunuh. Data tidak serta merta dapat digunakan dan menghasilkan keuntungan, akan tetapi banyak permasalahan yang timbul akibat data.
   
6. Big Data, IoT Key to Fixing Crumbling Water Infrastructure, Reducing Operating Costs
   Penerapan pengelolaan air berbasis smart technology semakin meluas. Tidak hanya pemerintahan kota dan perusahaan utilitas, namun juga perusahaan lain yang menggunakan air dalam jumlah besar. Hal ini dilakukan dalam rangka pengurangan biaya penggunaan air dan pelestarian lingkungan. Sektor ini diproyeksikan akan tumbuh sampai US$12 milyar di Amerika dan US$11 milyar di Eropa.
   
7. Fighting Illegal Fishing With Big Data
   Global Fishing Watch menggunakan data satelit untuk memantau aktifitas kapal yang mencurigakan di laut.
   

Tutorial dan pengetahuan teknis

1. Bringing HPC Algorithms to Big Data Platforms
   Sebuah video presentasi dari Nikolay Malitsky dari Brookhaven National Laboratory pada acara SPARK Summit East 2017 lalu, membahas mengenai akstensi MPI-based pada Spark.
   
2. Make your R simulation models 20 times faster
   R akan menjadi sangat lambat jika menggunakan loop. Namun hal ini dapat dipercepat secara signifikan, sekitar 20 kali, dengan menggunakan paket Rcpp.
   
3. HBase Compaction and Data Locality With Hadoop
   Pengumpulan data Geospatial memungkinkan developer dan para profesional untuk mengembangkan pendekatan yang paling efisien dan biaya yang efektif untuk memenuhi kebutuhan yang spesifik.
   
4. Ushering in a New Tech Era for Geospatial Data
   Pemanfaatan geospasial data membuka kemungkinan untuk solusi-solusi yang efisien dan efektif. Berikut ini dibahas beberapa hal yang perlu menjadi pertimbangan dalam pemanfaatan data geospasial.
   
5. Building Data Science Skills as an Undergraduate
   Keahlian dalam bidang data sains saat menjadi suatu modal yang sangat penting terutama bagi para pencari kerja. Artikel ini memberikan sedikit tips mengenai bagaimana memulai membangun skill di bidang ini.
   

Rilis produk

1. Apache Accumulo 1.8.1 released
   Rilis ini mencakup perubahan dan perbaikan untuk lebih dari 40 issue, terdiri dari bug-fixes, perbaikan kinerja, peningkatan kualitas build, dan lain-lain.
   

---

Tim idbigdata
always connect to collaborate every innovation

Seputar Big Data edisi #6

Artikel dan berita

1. International Hadoop Market 2020 – Key Vendors Landscape, Trends, Challenges, and Drivers, Analysis, & Forecast
   Hadoop Market Reaserch Report adalah sebuah studi yang mendalam dan profesional tentang keadaan pasar dan implementasi Hadoop saat ini, dan juga berfokus pada faktor pendorong utama dan hambatan bagi pemain kunci di area ini. Pasar Hadoop secara global diprediksikan akan tumbuh sekitar 59,37% CAGR selama periode 2016 - 2020
   
2. 4 trends in how supply chains are using Big Data
   Penggunaan dataset yang besar untuk tujuan analisa dan perencanaan pada area rantai pasokan (suply chain) membuat organisasi dapat bereaksi lebih cepat terhadap perubahan di berbagai titik. Berikut adalah tren penggunaan Big Data dalam area suply chain.
   
3. Microsoft’s future is in the cloud
   Dua raksasa teknologi, Apple dan Microsoft, merupakan perusahaan yang masuk dalam daftar "2017's most innovative companies". Saat ini Microsoft banyak berinvastasi dan mendorong penggunaan cloud, baik private cloud maupun public cloud
   

Tutorial dan pengetahuan teknis

1. A comparison of deep learning packages for R
   Perbandingan secara mendalam antara 4 package R untuk deep learning. Package yang direview adalah MXNet, darch, deepnet dan h2o. Dalam studi tersebut dibandingkan aspek fleksibilitas, kemudahan penggunaan, dukungan kerangka paralelisasi (GPU, cluster), dan kinerja.
   
2. Apache Arrow and Apache Parquet: Why We Needed Different Projects for Columnar Data, On Disk and In-Memory
   Apache Arrow dan Apache Parquet sama-sama berfokus pada perbaikan kinerja dan efisiensi data analytics. Kedua project ini mengoptimasi kinerja untuk pemrosesan dalam disk dan dalam memori. Artikel ini mengulas mengenai peran kedua project tersebut dalam peningkatan performance pemrosesan big data analytics.
   
3. Introduction to Natural Language Processing, Part 1: Lexical Units
   Berikut ini artikel yang mengeksplorasi konsep NLP. Pada bagian pertama kali ini, dimulai dengan pengenalan terhadap bidang NLP, serta penjelasan mengenai bagaimana mengidentifikasi unit leksikal sebagai bagian dari data preprocessing.
   

Rilis produk

1. Apache Hadoop 3.0.0-alpha2 Released
   Apache Hadoop versi 3.0.0-alpha2 telah dirilis akhir Januari 2017 lalu. Rilis ini merupakan rilis alpha kedua dari rangkaian dari Hadoop versi 3, berisi 857 big fix, perbaikan dan penambahan fitur dibandingakn versi sebelumnya.
   
2. Performance improvements coming to R 3.4.0
   R versi 3.4.0 sedang direncanakan untuk dirilis yang akan membawa banyak perbaikan kinerja dan fitur baru. Sementara itu R 3.3.3 (codename: Another Canoe) direncanakan akan dirilis bulan Maret 2017 hanya akan memperbaiki bug yang bersifat minor.
   
3. Announcing TensorFlow 1.0
   TensorFlow 1.0 diumumkan pada acara tahunan TensorFlow Developer Summit pada 15 Februari lalu.
   
4. Yahoo open-sources TensorFlowOnSpark for deep learning with big data
   Yahoo mengumumkan mengopensourcekan TensorFlowOnSpark, sebuah software yang digunakan supaya Google TensorFlow framework dapat berjalan diatas klaster Spark
   
5. Making Google Data Studio Free for Everyone
   Tahun lalu, Google merilis Data Studio baik versi gratis maupun versi enterprise. Untuk lebih mengoptimalkan Data Studio, saat ini Google sudah tidak membatasi jumlah laporan (report). Pengguna dapat membuat dan membagikan sebanyak mungkin laporan sesuai kebutuhan dan semuanya gratis.
   

---

Tim idbigdata
always connect to collaborate every innovation