Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama awal bulan Agustus 2017.

1. Predicting and Preventing Power Outages Using Big Data
   Peneliti Universitas Texas A & M telah mengembangkan sebuah model AI dengan menganalisa dampak dari petensi kerusakan sistem pembangkit listrik dan dampak cuaca terhadap gangguan sistem tenaga listrik. Melalui analisa tersebut, para peneliti dapat memprediksi di mana dan kapan terjadi pemadaman listrik.
   
2. McKinsey’s State Of Machine Learning And AI, 2017
   McKensey menerbitkan sebuat makalah hasil dari wawancara terhadap 3.000 eksekutif senior mengenai penggunaan teknologi AI, prospek perusahaan mereka untuk penyebaran lebih lanjut, dan dampak AI terhadap pasar, pemerintah, dan individu.
   

1. Getting Started With Apache Ignite (Part 7)
   Fokus utama pada seri ke 7 ini adalah penggunaan Machine Learning pada Apache Ignite. Walaupun fitur Machine Learning masih dalam pengembangan, namun sudah menawarkan sejumlah kemampuan yang mungkin sangat bermanfaat bagi data scientist.
   
2. Turbocharge your Apache Hive Queries on Amazon EMR using LLAP
   Artikel ini memberikan gambaran umum tentang Hive LLAP, termasuk arsitektur dan kasus penggunaan umum untuk meningkatkan kinerja query. Akan dijelaskan bagaimana menginstal dan mengkonfigurasi Hive LLAP di cluster EMR Amazon dan menjalankan query pada LLAP.
   
3. Text categorization with deep learning, in R
   Angus Taylor, seorang data science dari Microsoft, mendemonstrasikan bagaimana membangun model kategorisasi teks di R. Ia mengimplementasikan jaringan saraf konvolusi yang dilatih menggunakan R pada platform deep learning MXNET
   
4. Using Airflow to Manage Talend ETL Jobs
   Sebuah tutorial tentang bagaimana menjadwalkan dan mengeksekusi sebuah job Talend dengan menggunakan Airflow, sebuah platform open source yang secara pemrograman mengatur alur kerja sebagai direct acyclic graphs.
   
5. Using scikit-learn to find bullies
   Sebuah tutorial yang merupakan salah satu solusi dari tantangan yang ada pada laman kaggle.com. Tantangan yang akan dipecahkan adalah bagaimana mengidentifikasi apakah sebuah komentar akan dianggap menghina anggota lain dalam sebuah forum diskusi.
   

1. Storm 1.1.1 Released
   Storm 1.1.1 adalah maintenance release, yang mencakup beberapa perbaikan performance, stabilitas dan fault tolerance. User yang menggunakan rilis sebelumnya disarankan untuk mengupgrade ke versi ini.
   

---

Tim idbigdata
always connect to collaborate every innovation

Mobil tanpa sopir atau dikenal dengan istilah self-driving car menjadi teknologi yang marak dibicarakan akhir-akhir ini. Ford dan Tesla termasuk beberapa perusahaan yang gencar mengembangkan perangkat navigasi canggih ini. Bukan hanya bermodalkan GPS dan peta digital, mereka juga melengkapi mobil terbaru mereka dengan banyak sensor tambahan untuk dapat mengenali rambu2 lalu lintas, pengguna jalan lain, pejalan kaki, dan objek2 berbahaya di sekitarnya.

Google pun telah bereksperimen dengan self-driving car, yaitu dalam pengumpulan data untuk Google StreetView. Dalam pengumpulan data sepanjang 2.9 juta km yang telah ditempuh tersebut, hanya terdapat 13 kecelakan minor. Dan semuanya itu diakibatkan oleh kesalahan pengguna (human error). Dapat dibayangkan, jika teknologi ini sudah banyak dipakai, dengan kemampuan pengolahan data real-time, banyak resiko yang dapat dihindari. Dapat dibayangkan juga berapa penghematan yang dapat dilakukan dalam hal penggunaan bahan bakar dan juga waktu.

Dibalik itu semua, teknologi Big Data memegang peran sangat penting dalam perkembangan teknologi ini. Dengan berbagai sensor yang begitu banyak tertanam, maka tidak heran jika ternyata data yg dikumpulkan mencapai 1 Gigabyte setiap detiknya. Atau dalam setahun dengan pemakaian wajar, data yang dikumpulkan dapat mencapai 2 PetaByte. Data tersebut baru data dari 1 mobil saja, sedangkan setiap kendaraan canggih tersebut dapat terhubung satu sama lain.

Invent, sebuah perusahaan yang melakukan riset dalam teknologi inter-vehicular mengatakan, kendaraan -atau sistem kontrol mereka- akan melakukan sinkronisasi secara konstan dengan setiap lingkungan dan kondisi jalan. Kendaraan tersebut akan mengetahui jika terdapat hambatan atau kemacetan, dan dapat mengubah rute secara real time.

Walaupun tampaknya teknologi ini seperti masih jauh di masa depan, tapi perkembangannya dapat kita lihat saat ini. Google, Tesla, Nissan, GM, Volvo, Mercedes-Benz, Delphi Automotive, Audi dan Bosch sudah mulai berlomba-lomba menarik data dari kendaraan mereka. Industri otomotif kini merangkul teknologi big data untuk dapat bersaing, General Motor bahkan merekrut hingga 10ribu tenaga IT untuk riset mereka.

Sumber :

Contributor :

---

M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng. Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun. Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama akhir bulan Juni 2017

1. What Amazon taught us this week: Data-centric companies will devour competitors
   Apa sebenarnya keuntungan yang bisa didapatkan Amazon dengan akuisisi jaringan retail Whole Foods, terutama dari sisi penguasaan data dan pemanfaatannya? Berikut ini analisis dan beberapa pelajaran yang didapat dari langkah yang diambil Amazon tersebut.
   
2. Football’s Next Frontier: The Battle Over Big Data
   Persaingan di dunia olah raga, khususnya American Football kini tidak lagi hanya terjadi di lapangan, namun juga dalam kancah Big Data. Setelah Asosiasi Pemain NFL menandatangani kerja sama dengan WHOOP, perusahaan wearable device yang dapat mencatat dan melacak kondisi kesehatan dan performa para atlet. Dengan informasi tersebut, pemain dapat menghindari overtraining, mengurangi cedera, mempercepat pemulihan, dan mendapatkan kondisi kesehatan yang lebih baik setelah pensiun nantinya.
   
3. Big Data Tells Mortgage Traders an Amazing Amount About You
   TheNumber adalah sebuah startup yang mengumpulkan data dari berbagai sumber, seperti perusahaan pemasaran, pengajuan pinjaman publik, pengadilan dan puluhan sumber lainnya, kemudian menjualnya ke agen hipotek dan pemberi pinjaman. Dari data tersebut dapat disusun profil yang sangat lengkap dan detail dari calon peminjam. Proses yang tadinya dapat memakan waktu berhari-hari bahkan berminggu-minggu, kini dapat dilakukan dalam hitungan detik saja. Namun banyak hal yang menjadi isu dari pengumpulan dan perdagangan data ini, seperti misalnya masalah privasi dan lain sebagainya.
   

   The numbers don’t lie: Why women must fill the data scientist demand
   Di tengah derasnya isu mengenai makin sempitnya lapangan pekerjaan, masih terjadi permasalahan kurangnya tenaga data saintis di berbagai bidang. McKinsey bahkan memperkirakan, kekurangan tenaga data saintis di tahun 2018 akan mencapai 50% dari kebutuhannya. Jumlah perempuan di bidang ini pun masih terbilang sedikit, padahal dalam bidang ini banyak skill dan karakteristik yang dibutuhkan, sebenarnya justru lebih banyak dimiliki oleh wanita.
   

1. Deep Learning Zero to One: 5 Awe-Inspiring Demos with Code for Beginners, part 2
   Beberapa contoh dan demo aplikasi deep learning yang menarik, yang langsung dapat diunduh dan dijalankan. Tanpa matematika. Tanpa teori. Tanpa buku. Termasuk di dalamnya Pencarian Artis Spotify Artist menggunakan perintah suara, Symbolic AI Speech Recognition, dan Algorithmia API Photo Colorizer yang dapat mewarnai gambar hitam putih secara otomatis.
   
2. Apache Hive on YARN
   Pelajari bagaimana menggunakan Apache Hive di atas YARN, yang memungkinkan Hadoop untuk mendukung pemrosesan yang lebih beragam dan aplikasi yang lebih luas.
   
3. Log Analytics With Deep Learning And Machine Learning
   Paparan yang cukup lengkap dan menarik mengenai deep learning dan machine learning.
   
4. Text Clustering : Get quick insights from Unstructured Data
   Artikel yang mengupas dengan mendalam mengenai bagaimana menggali insight dari data tak terstruktur dengan menggunakan text clustering. Bagian pertama dari dua tulisan.
   
5. Bitcoin, Ethereum, Blockchain, Tokens, ICOs: Why should anyone care?
   Bitcoin, ethereum, blockchain, dan crypto currency lainnya mengambil peran yang semakin besar dalam perekonomian. Nilainya mencapai jutaan bahkan puluhan juta US$. Artikel ini mengupas mengenai apa, bagaimana dan mengapa kita perlu memahami berbagai macam crypto currency tersebut.
   

1. R 3.4.1 is released
   R 3.4.1 (codename "Single Candle"), dirilis dengan menyertakan sekitar 13 bug fixes.
   

---

Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ker 3 bulan Juni 2017

1. Behind Alibaba’s mission to reduce counterfeit goods using big data and technology
   Dalam laporan tahunan untuk platform governance, Alibaba mengungkapkan bahwa pada tahun 2016 mereka berhasil menyita barang tiruan senilai 3 milyar Yuan, atau dua kali lipat dari tahun sebelumnya. Hal ini, menurut Jessie Zheng, chief platform governance officer Alibaba Group, adalah hasil dari pemanfaatan big data dan teknologi machine learning. Upaya ini dilakukan untuk memperbaiki citra Alibaba dan mengeluarkannya dari daftar 'notorious market' yang dibuat oleh IIPA (International Intellectual Property Alliance) dan USTR (United States Office of the Trade Representative).
   
2. NYK: Learning from Big Data
   NYK, salah satu maskapai pelayaran terbesar dan tertua di dunia, memanfaatkan big data dan analytics untuk melakukan optimasi dan mengantisipasi berbagai kondisi yang mungkin dihadapi, seperti kenaikan harga minyak, cuaca buruk, dan lain sebagainya.
   
3. Can Machine Learning Turn Big Data into No Big Deal?
   Bagaimana IIoT dan Machine Learning meningkatkan kinerja dalam bidang manufakturing, apa hal yang perlu diperhatikan, dan langkah perlu diambil untuk dapat menerapkannya.
   
4. How to start incorporating machine learning in the enterprise arena
   Dunia saat ini sudah tidak lagi berada dalam era Revolusi Industri, tapi saat ini sedang mengalami apa yang disebut sebagai Revolusi Digital. Machine learning, kecerdasan buatan dan analisa big data adalah suatu realitas pada saat ini. Banyak perusahaan telah menyadari akan pentingnya data, dan menggabungkan solusi Big Data dan Machine Learning ke dalam model bisnis mereka.
   
5. Will big data transform development?
   Big data telah mentransformasi bisnis dan memberikan keuntungan yang besar. Namun, dapatkah big data mengubah arah pembangunan? Bagaimana posisinya terhadap data statistik ‘tradisional’ yang dikumpulkan oleh badan-badan milik pemerintah? Apa saja standar yang harus dipenuhi? Apa kendala yang dihadapi oleh negara-negara yang ingin menerapkannya?
   
6. Commentary: The superpowers big data and analytics are quietly giving banks
   Bank akan memiliki kemampuan untuk menjadi lebih pintar, lebih responsif dan mampu memprediksi kejadian penting, seperti prediksi kegagalan ATM. Pemilihan teknologi seharusnya didorong oleh masalah bisnis yang akan diselesaikan dan dipandu oleh visi dan strategi. Ada satu pahlawan baru yang secara diam-diam memberikan hasil yang sangat berarti, yaitu Big Data beserta sidekick analytics-nya, termasuk machine learning dan kecerdasan buatan.
   

1. K-means Clustering with R: Call Detail Record Analysis
   Desc
   
2. PULSE LAB DIARIES : Inferring Jakarta Commuting Statistics from Twitter
   Sebuah perkiraan jumlah penduduk untuk wilayah Jabodetabek adalah di atas 30 juta. Pada daerah perbatasan antar kota itu sendiri sistem transportasi harus menangani 1,38 juta penumpang harian. Pembuat kebijakan memerlukan informasi terkini untuk memonitor irama kota dan mengoptimalkan transportasi umum. Pulse Lab Jakarta dan Sekolah Tinggi Ilmu Statistik Indonesia bekerja sama untuk melihat apakah data dari media sosial dapat membantu hal tersebut.
   
3. Solr Memory Tuning for Production (part 2)
   Di bagian pertama blog ini, telah dibahas mengenai beberapa tantangan umum dalam hal memory tuning dan penyiapan dasar terkait dengan implementasi Solr pada lingkungan production. Pada bagian kedua ini, akan dijelaskan mengenai memory tuning, GC tuning dan beberapa best practise lainnya.
   
4. Streaming in Spark, Flink, and Kafka
   Banyak hal yang digaungkan mengenai penggunaan Spark, Flink dan Kafka. Tulisan berikut akan membahas mengenai kelebihan dan perbandingan antara ketiganya.
   
Medical Image Analysis with Deep Learning , Part 3
Artikel ini mengulas mengenai deep learning menggunakan Keras dan Theano untuk analisis prediktif dan analisis medical image.

1. Apache Kudu 1.4.0
   Pada rilis Apache Kudu 1.4.0 ini meliputi penambahan beberapa fitur baru, optimasi dan perbaikan.
   
2. Apache Arrow 0.4.1
   Tim developer Apache Arrow dengan bangga mengumumkan rilis 0.4.1. Ini adalah rilis terkait dengan perbaikan terutama untuk mengakomodasi regresi dengan tipe Desimal dalam implementasi Java yang diperkenalkan pada versi 0.4.0 (lihat ARROW-1091). Total sekitar 31 perbaikan yang terdaftar pada JIRA.
   
3. Apache Impala (incubating) 2.9.0
   Apache Impala (incubating) merilis versi 2.9.0.
   

---

Tim idbigdata
always connect to collaborate every innovation