Banyak tantangan-tantangan Big Data di berbagai bidang yang dapat diselesaikan dengan Hadoop, tak terkecuali pada bidang BioInformatika. DNA Sequence aligment yang merupakan salah satu area dalam bioinformatika, adalah sebuah proses untuk membandingkan dua atau lebih DNA sequence yang berbeda dengan cara mencari kesesuaian pola karakter pada suatu urutan yang sama. Berikut ini merupakan sebuah studi kasus dalam penerapan algoritma DNA sequence menggunakan MapReduce, yang disarikan dari sebuah tugas akhir berjudul SEQUENCE ALIGNMENT SECARA PARALEL MENGGUNAKAN MAPREDUCE DI ATAS HADOOP DISTRIBUTED FILE SYSTEM (HDFS) karya Rusnah Setiani, dari Program Studi Teknik Informatika Fakultas Sains dan Teknologi, Universitas Al Azhar Indonesia.

Salah satu kegiatan yang dilakukan dalam bidang bioinformatika adalah pembentukan phylogenetic tree, yaitu sebuah diagram yang menunjukkan hubungan evolusi antar organisme. Hubungan evolusi organisme tersebut diperoleh dengan menganalisis hubungan antara leluhur dan keturunannya dengan cara membandingkan gen yang berasal dari spesies yang akan diteliti.

Salah satu permasalahan yang dihadapi dalam penelitian tersebut ditemui dalam pemrosesan sequence alignment. Proses ini dilakukan dengan cara memilih dua sekuens yang terdapat pada genbank Universitas Al Azhar Indonesia, dan dilakukan dengan single processing.Keterbatasan penelitian tersebut yaitu untuk memproses sekuens yang memiliki panjang 214 residu untuk sekuens pertama dan 208 residu untuk sekuens kedua, dengan scoring scheme untuk gap bernilai 0, program tidak dapat berjalan dikarenakan adanya stack overflow. Terdapat dua penyebab terjadinya stack overflow, yaitu banyaknya recursive yang dilakukan dan banyaknya nilai yang disimpan pada stack.

Untuk mengatasinya, penulis mengembangkan penelitian tersebut dengan melakukan proses sequence alignment secara paralel menggunakan MapReduce di atas Hadoop distributed system. Di samping mengatasi keterbatasan di atas, pemrosesan secara paralel juga memungkinkan proses alignment tidak terbatas hanya membandingkan 2 sekuens saja (pairwise alignment). Proses alignment dapat dilakukan dengan membandingkan input sekuens dengan semua data yang terdapat dalam genbank, yang disebut dengan multipairwise alignment.

Pembuatan sequence alignment untuk sekuens DNA dengan pendekatan pemograman dinamik secara iteratif menggunakan algoritma Needleman- Wunsch, yang menghasilkan global alignment. Input file yang akan dilakukan proses alignment dalam format FASTA. Output file disimpan ke dalam Hadoop Distributed File System (HDFS).

Sebagai data reference, dibuat sebuah genbank yang disimpan di dalam HDFS. Data diambil dari NCBI (National Center for Biotechnology Information). Data ini yang nantinya akan digunakan sebagai pembanding untuk sequence yang akan di-align.

Seputar Big Data edisi #8

1. JPMorgan Software Does in Seconds What Took Lawyers 360,000 Hours
   Sebuah program yang disebut COIN, Contract Intelligent, dikembangkan oleh JPMorgan, merupakan sebuah machine learning program yang mampu mereview dokumen kontrak dengan sangat cepat, yang sebelumnya dikerjakan membutuhkan waktu ratusan jam.
2. The Difficulties of Teaching Wall Street About Big Data
   Sebuah wawancara Leigh Drogan, founder dan CEO Estimize, mengenai bagaimana sulitnya mengedukasi dan bagaimana menggunakannya secara efektif Big Data di Wall Street
   
3. When the Big Lie Meets Big Data
   Masih mengenai studi kasus tentang pemilu Amerika Serikat. Menurut Joseph Goebbels, Reich Miniter of Propaganda Nazi, jika sebuah ketidakbenaran terus dibesar-besarkan dan diulang-ulang, maka orang akhirnya akan mempercayainya. Tidak demikian di era Big Data saat ini, sedikit ketidakbenaran dengan bantuan machine learning, akan menjadi lebih efektif.
   
4. MWC 2017: Barcelona trial uses IoT and big data to manage tourists
   Pada Mobile World Congress (MWC) lalu, kota Barcelona melakukan sebuah proyek ujicoba IoT dan Big Data untuk mengelola pergerakan dan meningkatkan pengalaman turis di gereja Sagrada Familia.
   
5. Why Big Data Kills Businesses
   Walaupun Big Data telah diakui sebagai penyelamat bisnis, pada kenyataannya data merupakan ancaman yang membunuh. Data tidak serta merta dapat digunakan dan menghasilkan keuntungan, akan tetapi banyak permasalahan yang timbul akibat data.
   
6. Big Data, IoT Key to Fixing Crumbling Water Infrastructure, Reducing Operating Costs
   Penerapan pengelolaan air berbasis smart technology semakin meluas. Tidak hanya pemerintahan kota dan perusahaan utilitas, namun juga perusahaan lain yang menggunakan air dalam jumlah besar. Hal ini dilakukan dalam rangka pengurangan biaya penggunaan air dan pelestarian lingkungan. Sektor ini diproyeksikan akan tumbuh sampai US$12 milyar di Amerika dan US$11 milyar di Eropa.
   
7. Fighting Illegal Fishing With Big Data
   Global Fishing Watch menggunakan data satelit untuk memantau aktifitas kapal yang mencurigakan di laut.
   

Tutorial dan pengetahuan teknis

1. Bringing HPC Algorithms to Big Data Platforms
   Sebuah video presentasi dari Nikolay Malitsky dari Brookhaven National Laboratory pada acara SPARK Summit East 2017 lalu, membahas mengenai akstensi MPI-based pada Spark.
   
2. Make your R simulation models 20 times faster
   R akan menjadi sangat lambat jika menggunakan loop. Namun hal ini dapat dipercepat secara signifikan, sekitar 20 kali, dengan menggunakan paket Rcpp.
   
3. HBase Compaction and Data Locality With Hadoop
   Pengumpulan data Geospatial memungkinkan developer dan para profesional untuk mengembangkan pendekatan yang paling efisien dan biaya yang efektif untuk memenuhi kebutuhan yang spesifik.
   
4. Ushering in a New Tech Era for Geospatial Data
   Pemanfaatan geospasial data membuka kemungkinan untuk solusi-solusi yang efisien dan efektif. Berikut ini dibahas beberapa hal yang perlu menjadi pertimbangan dalam pemanfaatan data geospasial.
   
5. Building Data Science Skills as an Undergraduate
   Keahlian dalam bidang data sains saat menjadi suatu modal yang sangat penting terutama bagi para pencari kerja. Artikel ini memberikan sedikit tips mengenai bagaimana memulai membangun skill di bidang ini.
   

Rilis produk

1. Apache Accumulo 1.8.1 released
   Rilis ini mencakup perubahan dan perbaikan untuk lebih dari 40 issue, terdiri dari bug-fixes, perbaikan kinerja, peningkatan kualitas build, dan lain-lain.
   

---

Tim idbigdata
always connect to collaborate every innovation

Seputar Big Data edisi #6

Artikel dan berita

1. International Hadoop Market 2020 – Key Vendors Landscape, Trends, Challenges, and Drivers, Analysis, & Forecast
   Hadoop Market Reaserch Report adalah sebuah studi yang mendalam dan profesional tentang keadaan pasar dan implementasi Hadoop saat ini, dan juga berfokus pada faktor pendorong utama dan hambatan bagi pemain kunci di area ini. Pasar Hadoop secara global diprediksikan akan tumbuh sekitar 59,37% CAGR selama periode 2016 - 2020
   
2. 4 trends in how supply chains are using Big Data
   Penggunaan dataset yang besar untuk tujuan analisa dan perencanaan pada area rantai pasokan (suply chain) membuat organisasi dapat bereaksi lebih cepat terhadap perubahan di berbagai titik. Berikut adalah tren penggunaan Big Data dalam area suply chain.
   
3. Microsoft’s future is in the cloud
   Dua raksasa teknologi, Apple dan Microsoft, merupakan perusahaan yang masuk dalam daftar "2017's most innovative companies". Saat ini Microsoft banyak berinvastasi dan mendorong penggunaan cloud, baik private cloud maupun public cloud
   

Tutorial dan pengetahuan teknis

1. A comparison of deep learning packages for R
   Perbandingan secara mendalam antara 4 package R untuk deep learning. Package yang direview adalah MXNet, darch, deepnet dan h2o. Dalam studi tersebut dibandingkan aspek fleksibilitas, kemudahan penggunaan, dukungan kerangka paralelisasi (GPU, cluster), dan kinerja.
   
2. Apache Arrow and Apache Parquet: Why We Needed Different Projects for Columnar Data, On Disk and In-Memory
   Apache Arrow dan Apache Parquet sama-sama berfokus pada perbaikan kinerja dan efisiensi data analytics. Kedua project ini mengoptimasi kinerja untuk pemrosesan dalam disk dan dalam memori. Artikel ini mengulas mengenai peran kedua project tersebut dalam peningkatan performance pemrosesan big data analytics.
   
3. Introduction to Natural Language Processing, Part 1: Lexical Units
   Berikut ini artikel yang mengeksplorasi konsep NLP. Pada bagian pertama kali ini, dimulai dengan pengenalan terhadap bidang NLP, serta penjelasan mengenai bagaimana mengidentifikasi unit leksikal sebagai bagian dari data preprocessing.
   

Rilis produk

1. Apache Hadoop 3.0.0-alpha2 Released
   Apache Hadoop versi 3.0.0-alpha2 telah dirilis akhir Januari 2017 lalu. Rilis ini merupakan rilis alpha kedua dari rangkaian dari Hadoop versi 3, berisi 857 big fix, perbaikan dan penambahan fitur dibandingakn versi sebelumnya.
   
2. Performance improvements coming to R 3.4.0
   R versi 3.4.0 sedang direncanakan untuk dirilis yang akan membawa banyak perbaikan kinerja dan fitur baru. Sementara itu R 3.3.3 (codename: Another Canoe) direncanakan akan dirilis bulan Maret 2017 hanya akan memperbaiki bug yang bersifat minor.
   
3. Announcing TensorFlow 1.0
   TensorFlow 1.0 diumumkan pada acara tahunan TensorFlow Developer Summit pada 15 Februari lalu.
   
4. Yahoo open-sources TensorFlowOnSpark for deep learning with big data
   Yahoo mengumumkan mengopensourcekan TensorFlowOnSpark, sebuah software yang digunakan supaya Google TensorFlow framework dapat berjalan diatas klaster Spark
   
5. Making Google Data Studio Free for Everyone
   Tahun lalu, Google merilis Data Studio baik versi gratis maupun versi enterprise. Untuk lebih mengoptimalkan Data Studio, saat ini Google sudah tidak membatasi jumlah laporan (report). Pengguna dapat membuat dan membagikan sebanyak mungkin laporan sesuai kebutuhan dan semuanya gratis.
   

---

Tim idbigdata
always connect to collaborate every innovation

Pada tanggal 12 April lalu versi terbaru dari Apache Storm dirilis. Taylor Goetz, VP Apache Software Foundation untuk project Apache Storm, menyatakan bahwa versi 1.0 ini merupakan sebuah titik yang penting dalam evolusi Apache Storm. Versi terbaru ini mengandung sejumlah besar fitur baru dan perbaikan kinerja.

Apache Storm versi 1.0 memiliki peningkatan performa yang cukup dramatis bahkan diklaim hingga 16 kali lebih cepat dari versi sebelumnya dengan pengurangan latensi hingga 60%. Selain performa ada beberapa fitur yang patut menjadi perhatian, diantaranya :

1. Pacemaker, heartbeat daemon yang memiliki performa lebih baik dari Zookeeper
2. Distributed Cache API, yang memungkinkan berbagi file antar topology
3. High Availability Nimbus, mengatasi permasalahan single point of failure pada Nimbus proses
4. Streaming Window API, yang menambahkan dukungan terhadap parameter window length dan sliding interval
5. Automatic Backpressure, yang memungkinkan memperlambat spout secara otomatis ketika ambang batas dari ukuran task buffer terlampaui
6. Resources Aware Scheduler, implementasi scheduler baru yang menggunakan ketersediaan memory dan CPU sebagai dasar untuk pengaturan task kepada worker
7. Dynamic Worker Profiling, fitur baru ini memungkinkan pengguna untuk melihat data profile dari worker langsung dari Storm UI

Apache Storm 1.0 ini dapat didownload pada laman https://storm.apache.org/releases.html

Contributor :

---

Tim idbigdata
always connect to collaborate every innovation