Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama akhir bulan Juni 2017

1. What Amazon taught us this week: Data-centric companies will devour competitors
   Apa sebenarnya keuntungan yang bisa didapatkan Amazon dengan akuisisi jaringan retail Whole Foods, terutama dari sisi penguasaan data dan pemanfaatannya? Berikut ini analisis dan beberapa pelajaran yang didapat dari langkah yang diambil Amazon tersebut.
   
2. Football’s Next Frontier: The Battle Over Big Data
   Persaingan di dunia olah raga, khususnya American Football kini tidak lagi hanya terjadi di lapangan, namun juga dalam kancah Big Data. Setelah Asosiasi Pemain NFL menandatangani kerja sama dengan WHOOP, perusahaan wearable device yang dapat mencatat dan melacak kondisi kesehatan dan performa para atlet. Dengan informasi tersebut, pemain dapat menghindari overtraining, mengurangi cedera, mempercepat pemulihan, dan mendapatkan kondisi kesehatan yang lebih baik setelah pensiun nantinya.
   
3. Big Data Tells Mortgage Traders an Amazing Amount About You
   TheNumber adalah sebuah startup yang mengumpulkan data dari berbagai sumber, seperti perusahaan pemasaran, pengajuan pinjaman publik, pengadilan dan puluhan sumber lainnya, kemudian menjualnya ke agen hipotek dan pemberi pinjaman. Dari data tersebut dapat disusun profil yang sangat lengkap dan detail dari calon peminjam. Proses yang tadinya dapat memakan waktu berhari-hari bahkan berminggu-minggu, kini dapat dilakukan dalam hitungan detik saja. Namun banyak hal yang menjadi isu dari pengumpulan dan perdagangan data ini, seperti misalnya masalah privasi dan lain sebagainya.
   

   The numbers don’t lie: Why women must fill the data scientist demand
   Di tengah derasnya isu mengenai makin sempitnya lapangan pekerjaan, masih terjadi permasalahan kurangnya tenaga data saintis di berbagai bidang. McKinsey bahkan memperkirakan, kekurangan tenaga data saintis di tahun 2018 akan mencapai 50% dari kebutuhannya. Jumlah perempuan di bidang ini pun masih terbilang sedikit, padahal dalam bidang ini banyak skill dan karakteristik yang dibutuhkan, sebenarnya justru lebih banyak dimiliki oleh wanita.
   

1. Deep Learning Zero to One: 5 Awe-Inspiring Demos with Code for Beginners, part 2
   Beberapa contoh dan demo aplikasi deep learning yang menarik, yang langsung dapat diunduh dan dijalankan. Tanpa matematika. Tanpa teori. Tanpa buku. Termasuk di dalamnya Pencarian Artis Spotify Artist menggunakan perintah suara, Symbolic AI Speech Recognition, dan Algorithmia API Photo Colorizer yang dapat mewarnai gambar hitam putih secara otomatis.
   
2. Apache Hive on YARN
   Pelajari bagaimana menggunakan Apache Hive di atas YARN, yang memungkinkan Hadoop untuk mendukung pemrosesan yang lebih beragam dan aplikasi yang lebih luas.
   
3. Log Analytics With Deep Learning And Machine Learning
   Paparan yang cukup lengkap dan menarik mengenai deep learning dan machine learning.
   
4. Text Clustering : Get quick insights from Unstructured Data
   Artikel yang mengupas dengan mendalam mengenai bagaimana menggali insight dari data tak terstruktur dengan menggunakan text clustering. Bagian pertama dari dua tulisan.
   
5. Bitcoin, Ethereum, Blockchain, Tokens, ICOs: Why should anyone care?
   Bitcoin, ethereum, blockchain, dan crypto currency lainnya mengambil peran yang semakin besar dalam perekonomian. Nilainya mencapai jutaan bahkan puluhan juta US$. Artikel ini mengupas mengenai apa, bagaimana dan mengapa kita perlu memahami berbagai macam crypto currency tersebut.
   

1. R 3.4.1 is released
   R 3.4.1 (codename "Single Candle"), dirilis dengan menyertakan sekitar 13 bug fixes.
   

---

Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ker 3 bulan Juni 2017

1. Behind Alibaba’s mission to reduce counterfeit goods using big data and technology
   Dalam laporan tahunan untuk platform governance, Alibaba mengungkapkan bahwa pada tahun 2016 mereka berhasil menyita barang tiruan senilai 3 milyar Yuan, atau dua kali lipat dari tahun sebelumnya. Hal ini, menurut Jessie Zheng, chief platform governance officer Alibaba Group, adalah hasil dari pemanfaatan big data dan teknologi machine learning. Upaya ini dilakukan untuk memperbaiki citra Alibaba dan mengeluarkannya dari daftar 'notorious market' yang dibuat oleh IIPA (International Intellectual Property Alliance) dan USTR (United States Office of the Trade Representative).
   
2. NYK: Learning from Big Data
   NYK, salah satu maskapai pelayaran terbesar dan tertua di dunia, memanfaatkan big data dan analytics untuk melakukan optimasi dan mengantisipasi berbagai kondisi yang mungkin dihadapi, seperti kenaikan harga minyak, cuaca buruk, dan lain sebagainya.
   
3. Can Machine Learning Turn Big Data into No Big Deal?
   Bagaimana IIoT dan Machine Learning meningkatkan kinerja dalam bidang manufakturing, apa hal yang perlu diperhatikan, dan langkah perlu diambil untuk dapat menerapkannya.
   
4. How to start incorporating machine learning in the enterprise arena
   Dunia saat ini sudah tidak lagi berada dalam era Revolusi Industri, tapi saat ini sedang mengalami apa yang disebut sebagai Revolusi Digital. Machine learning, kecerdasan buatan dan analisa big data adalah suatu realitas pada saat ini. Banyak perusahaan telah menyadari akan pentingnya data, dan menggabungkan solusi Big Data dan Machine Learning ke dalam model bisnis mereka.
   
5. Will big data transform development?
   Big data telah mentransformasi bisnis dan memberikan keuntungan yang besar. Namun, dapatkah big data mengubah arah pembangunan? Bagaimana posisinya terhadap data statistik ‘tradisional’ yang dikumpulkan oleh badan-badan milik pemerintah? Apa saja standar yang harus dipenuhi? Apa kendala yang dihadapi oleh negara-negara yang ingin menerapkannya?
   
6. Commentary: The superpowers big data and analytics are quietly giving banks
   Bank akan memiliki kemampuan untuk menjadi lebih pintar, lebih responsif dan mampu memprediksi kejadian penting, seperti prediksi kegagalan ATM. Pemilihan teknologi seharusnya didorong oleh masalah bisnis yang akan diselesaikan dan dipandu oleh visi dan strategi. Ada satu pahlawan baru yang secara diam-diam memberikan hasil yang sangat berarti, yaitu Big Data beserta sidekick analytics-nya, termasuk machine learning dan kecerdasan buatan.
   

1. K-means Clustering with R: Call Detail Record Analysis
   Desc
   
2. PULSE LAB DIARIES : Inferring Jakarta Commuting Statistics from Twitter
   Sebuah perkiraan jumlah penduduk untuk wilayah Jabodetabek adalah di atas 30 juta. Pada daerah perbatasan antar kota itu sendiri sistem transportasi harus menangani 1,38 juta penumpang harian. Pembuat kebijakan memerlukan informasi terkini untuk memonitor irama kota dan mengoptimalkan transportasi umum. Pulse Lab Jakarta dan Sekolah Tinggi Ilmu Statistik Indonesia bekerja sama untuk melihat apakah data dari media sosial dapat membantu hal tersebut.
   
3. Solr Memory Tuning for Production (part 2)
   Di bagian pertama blog ini, telah dibahas mengenai beberapa tantangan umum dalam hal memory tuning dan penyiapan dasar terkait dengan implementasi Solr pada lingkungan production. Pada bagian kedua ini, akan dijelaskan mengenai memory tuning, GC tuning dan beberapa best practise lainnya.
   
4. Streaming in Spark, Flink, and Kafka
   Banyak hal yang digaungkan mengenai penggunaan Spark, Flink dan Kafka. Tulisan berikut akan membahas mengenai kelebihan dan perbandingan antara ketiganya.
   
Medical Image Analysis with Deep Learning , Part 3
Artikel ini mengulas mengenai deep learning menggunakan Keras dan Theano untuk analisis prediktif dan analisis medical image.

1. Apache Kudu 1.4.0
   Pada rilis Apache Kudu 1.4.0 ini meliputi penambahan beberapa fitur baru, optimasi dan perbaikan.
   
2. Apache Arrow 0.4.1
   Tim developer Apache Arrow dengan bangga mengumumkan rilis 0.4.1. Ini adalah rilis terkait dengan perbaikan terutama untuk mengakomodasi regresi dengan tipe Desimal dalam implementasi Java yang diperkenalkan pada versi 0.4.0 (lihat ARROW-1091). Total sekitar 31 perbaikan yang terdaftar pada JIRA.
   
3. Apache Impala (incubating) 2.9.0
   Apache Impala (incubating) merilis versi 2.9.0.
   

---

Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu kedua bulan Juni 2017

1. How Big Data Mines Personal Info to Craft Fake News and Manipulate Voters
   Banyak orang memasang atau membagikan status dan content lain di media sosial dengan maksud mempengaruhi orang lain. Tapi bagaimana jika justru status dan posting kita itu dipergunakan untuk mempengaruhi kita sendiri? Cambridge Analytica, salah satu perusahaan di balik kampanye Donald Trump, mengungkapkan mengenai “psychographic profiling”, yaitu memanfaatkan data-data sosial media untuk membentuk kampanye yang sesuai dengan profil emosi dan psikologis pengguna sosial media.
   
2. Big data and relinquishing your right to privacy
   Masih mengenai pemanfaatan data personal untuk kepentingan identifikasi dan bisnis, artikel ini membahas beberapa issue terkait privasi dan beberapa kasus mengenai hal tersebut.
   
3. Guizhou to become China’s ‘Big Data Valley’
   Akhir Mei lalu puluhan ribu pengunjung memadati “International Big Data Industry Expo 2017” yang diselenggarakan di Guizhou, China. Saat ini Guizhou dikembangkan sebagai “Big Data Valley”-nya China, yang menjadi tempat yang menarik bukan hanya bagi start-up, namun juga bagi industri besar seperti misalnya Alibaba, Qualcomm, IBM, Huawei, Tencent, Baidu, Lenovo dan Foxconn.
   
4. Five Ways Big Data is Transforming Epidemics
   Salah satu permasalahan dalam mengatasi epidemi seperti Zika, Ebola, atau flu burung adalah kurangnya data yang cepat, tepat dan akurat. Perkembangan teknologi big data dan data sains memberikan solusi untuk permasalahan tersebut. Dengan big data dan aalytics, saat ini epidemi sudah dapat dimonitor, dimodelkan dan diatasi dengan jauh lebih baik. Artikel ini membahas 5 hal terkait big data yang mengubah penanganan epidemi di dunia.
   
5. Rail researchers develop risk tool with big data
   Para peneliti di University of Huddersfield telah menciptakan perangkat lunak yang memanfaatkan big data untuk membantu operator kereta api mengurangi kemungkinan insiden yang dikenal sebagai SPAD - Signals Passed at Danger.
   

1. Five Spark SQL Utility Functions to Extract and Explore Complex Data Types
   Dalam tutorial ini, dijelaskan mengenai penggunaan lima fungsi dan API Spark Spark yang dapat digunakan untuk melakukan pembacaan dan pemrosesan format data yang kompleks. Fungsi-fungsi ini ada dalam Apache Spark 2.x sebagai bagian dari org.apache.spark.sql.functions, yang memungkinkan pengembang untuk dengan mudah bekerja dengan data kompleks atau tipe data bersarang (nested data type) seperti JSON.
   
2. Top 15 Python Libraries for Data Science in 2017
   Kumpulan dari library-library opensource yang meliputi data wrangling, machine learning, nlp, data scraping, statistik hingga visualisasi dan yang dianggap sebagai daftar teratas oleh banyak data scientist dan data engineer yang patut dicermati atau paling tidak untuk diketahui jika ingin menggeluti dunia data science.
   
3. Top 15 Python Libraries for Data Science in 2017
   Kumpulan dari library-library opensource yang meliputi data wrangling, machine learning, nlp, data scraping, statistik hingga visualisasi dan yang dianggap sebagai daftar teratas oleh banyak data scientist dan data engineer yang patut dicermati atau paling tidak untuk diketahui jika ingin menggeluti dunia data science.
   
4. An Introduction to Kafka Streams
   Kafka, secara singkat, adalah sistem fault tolerant distributed publish-subscribe messaging system, yang dirancang untuk pemrosesan data dengan cepat dan memiliki kemampuan untuk menangani ratusan ribu pesan. Kafka Streams adalah library untuk membangun aplikasi streaming yang dapat melakukan transformasi pada aliran data yang masuk.
   
5. Running SolrMeter Without a UI
   SolrMeter adalah sebuah program Java yang digunakan untuk menguji kinerja Solr. Program ini sangat membantu untuk mengevaluasi performa dari Solr, terutama jika melakukan evaluasi terhadap perbedaan konfigurasi pada file schema.xml atau hardware yang berbeda atau juga konfigurasi core pada prosessor.
   
6. How to Use Power BI to Get GitHub Reports"
   Power BI adalah sebuah tools untuk analisa bisnis yang didukung oleh Microsoft. Tools ini memberikan visualisasi yang interaktif dan kemampuan intelijen bisnis swasembada. End user dapat membuat laporan dan dasboard sendiri tanpa memerlukan bantuan dari admin.
   

1. Apache Zeppelin Release 0.7.2
   Rilis ini mencakup 50+ patches dari 25 kontributor untuk perbaikan dan bug fixes. Lebih dari 40 issue berhasil diresolved.
   
2. Apache Fluo 1.1.0-incubating released
   Pada rilis baru ini banyak terjadi perubahan yang cukup besar seperti API baru untuk konfigurasi observers, peningkatan skalabilitas, peningkatan intergrasi dengan Apache Spark
   
3. Apache Solr 6.6.0 released
   The Lucene PMC mengumumkan Apache Solr 6.6.0 dan dapat diunduh langsung di: http://lucene.apache.org/solr/mirrors-solr-latest-redir.html. Perubahan meliputi versi 6 komponen pendukung, penambahan 38 fitur baru, optimasi dan perbaikan bug
   
4. Apache Solr 6.6.0 released
   The Lucene PMC mengumumkan Apache Solr 6.6.0 dan dapat diunduh langsung di: http://lucene.apache.org/solr/mirrors-solr-latest-redir.html. Perubahan meliputi versi 6 komponen pendukung, penambahan 38 fitur baru, optimasi dan perbaikan bug
   

---

Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu pertama bulan Juni 2017

1. NEC Announces Million Big Data Analytics Centre in India
   Dalam rangka untuk memperkuat layanan analisa big data di India dan juga di seluruh dunia, perusahaan teknologi Jepang NEC Corporation dan NEC Technologies India Private Limited (NTI) pada hari Selasa mengumumkan peluncuran "Center of Excellence for Analytics Platform and Solutions" (COE- APS) di negara ini. Pusat ini akan mempromosikan solusi dan layanan Big Data dan Analytics Platform yang dimiliki oleh NEC, yang diberinaka "Data Platform for Hadoop (DPH)".
   
2. Harnessing Big Data to build a smarter public transport system
   Warga Singapura sangat bergantung pada bis dan MRT untuk perjalanan sehari-hari mereka. Tantangan bagi operator adalah menyeimbangkan penawaran terhadap permintaan. Warga Singapura menuntut pelayanan yang lebih baik, minimal kerusakan dan cara mengatasi kepadatan penumpang pada jam-jam sibuk. Penyedia layanan berjuang untuk mengoptimalkan layanan, armada dan tenaga kerja serta mengelola alternatif solusi jika terjadi permasalahan.
   
3. Amazon Using AI, Big Data To Accelerate Profits
   Amazon ingin menyediakan layanan yang mampu memberikan saran melalui gadget yang terhubung.Sebuah asisten digital pribadi telah tersedia untuk dapur kita bersama Echo, sebuah perangkat speaker yang terhubung. Tidak sampai disitu, Amazon ingin masuk ke kamar tidur kita untuk membantu kita memilih pakaian yang lebih bagus. Perangkat terbaru bernama Echo Look dilengkapi dengan kamera penginderaan, pencahayaan built-in dan perangkat lunak Style Check yang menggunakan teknologi terbaru dari machine leraning.
   
4. Big Data in Sports: Going for the Gold
   Saat ini, olahraga adalah industri multi-miliar dolar global yang terdiri dari liga-liga, tim, klub, pemain, manajer, penggemar, klub penggemar, penyedia layanan, pedagang, sponsor dan bisnis dari segala jenis. Semua komponen tersebut secara terus-menerus berinteraksi dengan cara yang tak terhitung jumlahnya, menciptakan data yang masif dan terus berkembang. Data-data tersebutdapat dimanfaatkan untuk memperbaiki hampir semua aspek olahraga profesional, baik di dalam maupun di luar.
   

1. DataRobot Webinar on June 27, 2017: Automated Machine Learning in Action
   Dalam webinar ini, pelajari bagaimana DataRobot mengotomatisasi pemodelan prediktif, dan bagaimana platform ini dapat menghasilkan insight yang sama dan mendorongan produktivitas dalam implementasi machine learning.
   
2. Part 6 of Data Lake 3.0: A Self-Diagnosing Data Lake
   Merupakan bagian ke 6 dari seri Data Lake 3.0. Dalam Data Lake 3.0, merupakan sebuah data lake yang besar yang dibagi antara beberapa pengguna (multiple tenants) dan aplikasi docker (mulai dari real-time hingga batch). Bagian ke 6 ini akan membahas tentang “Device Behavior Analytics” menggunaan HDP 2.6
   
3. Making Apache Spark the Fastest Open Source Streaming Engine
   Databrick telah mulai membangun Structured Streaming di Apache Spark satu tahun yang lalu sebagai cara baru dan sederhana untuk mengembangkan aplikasi berkelanjutan. Cara baru ini tidak hanya mempermudah pembuatan aplikasi streaming end-to-end dengan mengekspos satu API dengan cara menulis suatu streaming querysemudah batch query, namun juga menangani kerumitan streaming dengan memastikan exactly-once-semantics, melakukan penambahan Agregasi, dan menyediakan konsistensi data di sumber dan outputnya.
   
4. Building a Chatbot: Analysis and Limitations of Modern Platforms
   Industri chatbot masih dalam masa-masa awal, akan tetapi tumbuh sangat cepat. Tulisan berikut akan membahas mengenai overview dari platform-platform chatbot, perbedaan arsitekturnya, kelebihan dan kekurangannya, serta bagaimana penerapan NLP dan Machine Learning untuk meningkatkan kemampuannya.
   

1. Apache Flink 1.3.0 Release Announcement
   Apache Flink 1.3.0 dirilis dengan beberapa area perbaikan utama. Secara khusus, perbaikan pemulihan, API DataStream, Tabel API (SQL), dan deployment dan tools (termasuk pemantauan watermark pada front-end web). Detail lebih lanjut tentang fitur baru dapat ditemukan di pengumuman rilis.
   
2. Apache Avro 1.8.2 was released
   Apache Avro 1.8.2 dirilis. Ini adalah rilis bug fix (pada Java, C ++, Py3, dan ruby), dan juga sejumlah kecil perbaikan.
   

---

Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu keempat bulan Mei 2017.

1. Big Data will enable better network and application intelligence in 5G
   IoT akan menjadi bagian penting dari 5G network. Mengetahui pola penggunaan data IoT ini akan menjadi salah satu kebutuhan penting untuk dapat meningkatkan dan memperbaiki kinerja network itu sendiri. Big Data intelligence menjadi sebuah teknologi yang penting, yang dapat digunakan untuk secara otomatis meningkatkan layanan dan kinerja network, recover dari error, dan meningkatkan user experience, dengan cara menganalisis lokasi, konteks, dan lain sebagainya.
   
2. Inside Europe’s biggest data visualisation laboratory
   Imperial College London, universitas negeri terkemuka di Inggris, memetakan transaksi bitcoin dalam 64 layar. Dengan diameter 6m dan tinggi 2.53m, observatorium ini menjadi laboratorium data visualization terbesar di Eropa saat ini. Bagaimana mereka mengumpulkan dan menampilkan data, dan apa rencana ke depan untuk komersialisasinya?
   
3. Foursquare CEO on mapping the world, trend by trend
   CEO Foursquare, Jeff Glueck, menjelaskan mengenai adopsi big data di Foursquare, transformasinya menjadi sebuah perusahaan berbasis location intelligence, dan bagaimana mereka meningkatkan revenue mereka sampai 74% di tahun yang lalu.
   
4. AI for imaging: Experts delve into its promise
   Salah satu pertanyaan yang muncul dalam konferensi Big Data in Biomedicine adalah, akankah AI menggantikan radiologist? Panelis memberikan penjelasan mengenai bagaimana posisi AI dan machine learning dalam dunia medis, khususnya radiologi.
   

1. Reading data securely from Apache Kafka to Apache Spark
   Mulai Spark 2.1 rilis 1 (Cloudera Distribution), sudah tercakup fungsionalitas untuk membaca data dari Kafka secara secure. Blog post ini menjelaskan secara singkat arsitektur dan mekanismenya.
   
2. Create smooth animations in R with the tweenr package
   Salah satu unsur penting dalam Data Science adalah ‘data storytelling’, atau ‘membuat data bercerita’. Alat yang digunakan untuk menyajikan data agar menarik dan dapat bercerita adalah dengan animasi. Saat ini sudah ada beberapa package di R yang dapat menganimasikan grafik, seperti package gganimate dan animation, namun animasi yang ditampilkan keduanya masih kurang terasa halus. Package tweenr tidak menampilkan animasi, namun melengkapi gganimate agar animasi yang ditampilkannya menjadi lebih halus.
   
3. Benchmark: Sub-Second Analytics with Apache Hive and Druid
   Bagian ke 2 dari artikel ultra fast analytics dengan Apache Druid. Pada bagian ini ditampilkan hasil benchmarking OLAP dengan skala 1TB, dan response time yang benar-benar interaktif.
   
4. The Machine Intelligence Behind Gboard
   Bagaimana Gboard mendeteksi kesalahan ketik dan melakukan autocorrect? Tools yang digunakan sama dengan yang dipakai untuk melakukan speech recognition, yaitu machine learning. Artikel ini mengupas secara teknis bagaimana penerapan machine learning dalam meningkatkan kinerja Gboard.
   

1. Apache Arrow 0.4.0
   Hanya 17 hari sejak rilis 0.3.0, Apache Arrow 0.4.0 ini mencakup 77 JIRA resolve, dan beberapa beberapa fitur penting dan bug fixes.
   
2. Apache Beam v2.0.0
   Merupakan rilis stabil yang pertama, mencakup di antaranya perbaikan user experience, berfokus pada seamless portability antar berbagai environments, termasuk engine, operating system, on-premise cluster, cloud providers, dan data storage systems.
   
3. Genome Analysis Toolkit 4 (GATK4) released as open source resource to accelerate research
   Broad institute merilis GATK4, toolkit untuk melakukan analisis genome, sebagai open source software. Hal ini adalah sebuah langkah yang sangat berarti bagi dunia open genomics dan open science pada umumnya.
   

 

Contributor :

---



Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu keempat bulan April 2017

1. UK Consumers Open Minded About Machine Learning
   Meskipun jauh-jauh hari Hollywood telah banyak memperingatkan soal ‘the rise of the machines’, namun ternyata tampaknya masyarakat Inggris tidak terlalu terpengaruh. Dalam survey yang dilakukan untuk Royal Society, tanggapan masyarakat Inggris terhadap machine learning ternyata cukup positif, kecuali mungkin untuk penggunaan robot dan mesin pintar dalam bidang hankam.
   
2. AI, Amazon, Uber: 10 tech predictions for 2022
   10 prediksi mengenai teknologi apa yang mungkin akan dan belum akan kita lihat di tahun 2022 mendatang.
   
3. The Limits Of Machine Learning: Knowledge Domains That Computers May Not Be Able To Tackle
   AI, khususnya machine learning akhir-akhir ini seolah-olah menjadi sebuah teknologi super digdaya, yang di masa depan akan mampu menyelesaikan berbagai permasalahan manusia. Namun demikian, ada beberapa bidang yang mungkin tidak akan dapat diselesaikan oleh mesin, seperti dipaparkan dalam artikel ini.
   
4. How Women Are Shaping The Big Data Revolution
   Satu kunci penting dalam kesuksesan implementasi big data adalah tentang perubahan kebiasaan dan budaya kerja, dan perubahan budaya berarti hubungan dengan manusia. Untuk mengatasi tantangan ini, semakin banyak wanita yang dipilih untuk posisi eksekutif yang terkait dengan data, yang kemudian sering disebut sebagai ‘Data Diva’.
   
5. Big data and the future of learning
   Big data, khususnya analisis prediktif, menjadi salah satu teknologi yang semakin banyak diadopsi oleh HRD. Setelah talent management, rekruitmen, dan performance management, kini giliran bidang L&D (learning and development) yang merasakan manfaatnya, apa lagi setelah E-Learning semakin marak. Apa saja penerapannya, dan apa tantangannya?
   
6. eBay: Big Data Can Humble A CEO And Change The Future Of Retail
   Sebelum Airbnb dan Uber, eBay telah menjadi salah satu perusahaan retail dan teknologi yang terkemuka, sehingga tak heran penerapan big data analytics mereka telah lebih matang dibanding kompetitor mereka di bidang retail. Menurut mereka, kekuatan insight dari big data dapat mengubah pendirian para CEO, bahkan yang paling ‘keras kepala’ sekalipun.
   
7. Utilizing Big Data in the Ad Specialty Industry
   Sekilas mengenai bagaimana data analytics digunakan oleh perusahaan-perusahaan periklanan, dan bagaimana informasi membentuk pasar di masa depan.
   

1. Every shot Kobe Bryant ever took. All 30,699 of them
   The LA Times Data Desk menunjukkan bagaimana menggunakan Jupyter untuk menganalisa setiap tembakan yang dilakukan oleh Kobe Bryant.
   
2. Data Lake Governance Best Practices
   Data lake menjadi salah satu solusi untuk menggali value big data, namun salah satu tantangannya adalah masih banyak yang belum memahami betul apa yang membentuk sebuah data lake dan bagaimana pengelolaannya. Berikut ini beberapa best practices dalam pengelolaan data lake, untuk memaksimalkan nilai yang dapat dimanfaatkan.
   
3. Where Europe lives, in 14 lines of R Code
   Visualisasi kepadatan penduduk di Eropa, dalam 14 baris R code.
   
4. Gender and verbs across 100,000 stories: a tidy analysis
   Analisis terhadap deskripsi plot dari 100.000 film, novel, acara televisi, dan games. Menentukan kata kerja dan kemunculannya berdasar gender (she dan he), dilakukan dengan R, tidytext package.
   
5. 16 Free and Open-Source Business Intelligence Tools
   Saat ini business intelligence mengambil peran yang semakin penting dalam proses pengambilan keputusan. Namun tidak semua perusahaan mau ataupun mampu untuk membeli tools yang mahal. Berikut ini 16 tools business intelligence yang free dan open-source, yang sesuai untuk perusahaan kecil atau mereka yang baru ingin menjajagi penerapannya di organisasi mereka.
   
6. Finally, a peek inside the ‘black box’ of machine learning systems
   Banyak sistem pintar mulai dari penerjemah otomatis sampai mobil swa-kemudi menggunakan jaringan syaraf tiruan. Salah satu permasalahan penggunaan JST adalah cara kerjanya yang bersifat ‘black-box’. Hal ini menjadi kekhawatiran, terutama untuk penerapannya di bidang yang kritis, seperti sistem pesawat terbang. Namun akhirnya kini kita dapat ‘mengintip’ ke dalam black-box tersebut untuk memastikan apakah sebuah kondisi akan direspon dengan benar oleh JST tersebut. Peneliti dari Stanford University menciptakan sistem verifikasi otomatis untuk deep neural network, yang dinamakan Reluplex.
   

1. The Apache Software Foundation Announces Apache® Metron™ as a Top-Level Project
   Apache Metron, platform open source untuk cyber security analytics, akhirnya berstatus top level project di AFS.
   
2. R 3.4.0 is released
   Perubahan yang paling penting dalam rilis ini adalah kompiler byte-code JIT (Just In Time) secara default di-enable di level 3. Selain itu terdapat perbaikan kinerja, konsistensi, akurasi, dan lain-lain.
   

---

Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ketiga bulan April 2017

1. R is for Archaeology: A report on the 2017 Society of American Archaeology meeting
   Pada akhir bulan Maret 2017 lalu, Society of American Archaeology (SAA), salah satu organisasi profesional terbesar di bidang arkeologi, telah selesai melaksanakan pertemuan tahunannya di Vancouver, BC. Salah satu kesimpulan dan tindak lanjutnya adalah mengenai penggunaan R dalam bidang arkeologi.
   
2. How AI finds big value in big data
   Bot dapat meningkatkan interaksi dengan manusia, menciptakan efisiensi bisnis yang lebih besar, dan mengurangi resiko gesekan dari interaksi dengan pelanggan. Ini adalah pasar yang telah menyerap sekitar $ 24 miliar dalam hal pendanaan, mulai dari startup hingga perusahaan multinasional. Perusahaan besar seperti IBM hingga Facebook telah menghabiskan sumber daya yang sangat besar dalam mendorong para pengembang aplikasi untuk membuat bot baru yang memungkinkan interaksi pelanggan lebih personal.
   
3. How Colleges Use Big Data to Target the Students They Want
   Dengan memanfaatkan jejak-jejak digital calon siswa, sekolah dapat membuat keputusan tentang hal-hal yang berkaitan dengan penerimaan siswa baru, baik dari sisi publikasi, area maupun target siswa.
   
4. Supercomputers and AI Improve MRI Scanning
   MRI scans are a common tool in the armory of the modern doctor. Such scans are usually very expensive and can take days to generate and interpret. If further scans are required, the patient needs to come back in and go through the procedure all over again. A new real-time analysis system that is powered by supercomputing promises to change things. The system, which is developed by a consortium led by researchers at Texas Advanced Computing Center (TACC), is an automated platform that can perform in-depth MRI analysis within minutes, thus enabling further scans to be performed whilst the patient is still in the scanner
   

   MRI merupakan salah satu ‘senjata’ utama para dokter masa kini. Biaya MRI saat ini masih tergolong mahal, dan untuk memproses dan menginterpretasikannya memerlukan waktu beberapa hari. Jika dari hasil tersebut ternyata pasien harus melakukan pemindaian lebih lanjut, maka pasien harus kembali melakukan prosedur yang memakan waktu dan biaya yang tidak sedikit. Dengan sistem analisis real-time yang didukung oleh superkomputing, hal ini dapat dihindari. Sistem yang dibangun oleh sebuah konsorsium yang dikepalai oleh peneliti di Texas Advanced Computing Center ini adalah sebuah platform terotomasi, yang dapat melakukan analisa MRI secara mendalam dalam hitungan menit, sehingga jika diperlukan pemindaian selanjutnya dapat segera dilakukan ketika pasien masih berada di dalam mesin pemindai.

5. Big Data: A Foolproof Solution for DDoS Attacks
   Big data technologies bring a lot of advantages for businesses. While this is one side of big data technologies the other side is aloof from demands requiring extreme attention, care, and consistent updating. A distributed denial-of-service (DDoS) attack is one such aspect that can be a cause of concern if not handled properly. It would be safe to say that big data technologies require less efforts in maintenance and updates in comparison to the traditional approach.
   Teknologi big data membawa banyak manfaat untuk bisnis. Manfaat lain yang tidak kalah penting adalah, jika dipersiapkan dengan baik, maka sistem berbasis teknologi ini tidak memerlukan perhatian dan pemeliharaan khusus, serta updating yang terus menerus dibanding dengan sistem tradisional. Serangan distributed denial-of-service (DDoS) adalah salah satu aspek yang sangat merugikan jika tidak ditangani dengan baik. Bisa dibilang, teknologi big data memberikan kemudahan dalam hal maintenance dan update dibanding pendekatan tradisional.
6. Logz.io Combines Open Source, Cloud, Big Data and Machine Learning for DevOps and SRE
   90% dari startup mengalami kegagalan. Mereka yang dapat bertahan dan berkembang, memanfaatkan teknologi baru atau memberikan respon yang tepat waktu untuk pengembangan pasar baru. Logz.io melakukan keduanya, dengan mengkombinasikan 4 tren teknologi (open source, komputasi awan, analisa big data dan machine learning) dan memanfaatkan kebutuhan pasar yang baru, yaitu dari DevOps dan Site Reliability Engineers (SREs)
   
7. GO BIG: How Yahoo! Japan Scaled to 75 Petabytes
   Yahoo! Japan is the largest Internet portal site in Japan. Yahoo! Japan adopted early Apache™ Hadoop® in 2008 for its unique data storage and analysis challenges, including capturing detailed user activity history. Data proliferated rapidly in Yahoo! Japan’s initial Hadoop clusters, with data streaming in from sources such as access logs, search keywords, product information, purchase histories, and auction bidding information. Today, Yahoo! Japan stores, analyzes and gains value from over 75PB of data. Yahoo! Japan, situs portal internet terbesar di Jepang, sudah mengadopsi Hadoop sejak tahun 2008, untuk mengatasi kebutuhan storage dan analisis data mereka, termasuk menyimpan history aktifitas user secara detail. Saat ini Yahoo! Japan menyimpan, dan menganalisa menggunakan data lebih dari 75 Petabyte, untuk mendapatkan nilai tambah.
   

1. Real Time Analytics at UBER Scale
   Sebuah presentasi dari James Burkhart, technical lead on real-time data infrastructure Uber, dalam acara Strata + Hadoop World 2017. James menjelaskan bagaimana Uber mendukung jutaan query untuk analisa harian pada data real-time dengan menggunakan Apollo.
   
2. Recursive Neural Networks with PyTorch
   Deep neural networks have enabled breakthroughs in machine understanding of natural language. Most of these models treat language as a flat sequence of words or characters, and use a kind of model called a recurrent neural network (RNN). But many linguists think that language is best understood as a hierarchical tree of phrases, so a significant amount of research has gone into deep learning models known as recursive neural networks that take this structure into account. A new deep learning framework called PyTorch makes these and other complex natural language processing models a lot easier. Deep neural network memungkinkan berbagai terobosan dalam pemahaman mesin terhadap bahasa. Sebagian besar model yang digunakan saat ini memperlakukan bahasa sebagai urutan kata atau karakter yang datar, dan menggunakan model yang disebut recurrent neural network (RNN). Tetapi banyak ahli bahasa berpendapat bahwa bahasa dipahami dengan paling baik sebagai pohon frase berjenjang, sehingga sejumlah besar penelitian telah beralih ke model deep learning yang dikenal sebagai recursive neural networks yang memperhitungkan struktur ini. Sebuah baru deep learning framework yang disebut PyTorch membuat model pemrosesan bahasa alami yang dianggap kompleks ini menjadi jauh lebih mudah.
   
3. How do I compare document similarity using Python?
   Dalam video tutorial ini, Jonathan Mugan akan memperkenalkan penggunaan gensim library pada bahasa pemrograman Python. Contoh kasus yang disampaikan adalah untuk menemukan kesamaan antara dokumen.
   
4. Medical Image Analysis with Deep Learning
   Sebuah tutorial singkat mengenai dasar image processing, pengenalan dasar format gambar dalam bidang medis dan visualisasi data-data medis.
   
5. Querying OpenStreetMap with Amazon Athena
   This post explains how anyone can use Amazon Athena to quickly query publicly available OSM data stored in Amazon S3 (updated weekly) as an AWS Public Dataset. Imagine that you work for an NGO interested in improving knowledge of and access to health centers in Africa. You might want to know what’s already been mapped, to facilitate the production of maps of surrounding villages, and to determine where infrastructure investments are likely to be most effective.
   Artikel ini menjelaskan mengenai bagaimana menggunakan Amazon Athena untuk meng-query data OSM yang disimpan di Amazon S3 sebagai dataset publik AWS. Misalkan anda bekerja untuk sebuah LSM, dan berminat untuk meningkatkan pengetahuan dan akses ke pusat-pusat kesehatan di Afrika. Anda mungkin ingin mengetahui apa saja yang sudah dipetakan, untuk membantu memetakan daerah-daerah di sekitarnya, dan menentukan investasi infrastruktur apa yang paling efektif.

1. Apache Hadoop 2.8.0
   Apache Hadoop 2.8.0 berisi sekitar 2917 perbaikan dan fitur-fitur baru. Hanya saja sebagai catatan, rilis ini belum siap untuk diimplementasikan pada production system, sehingga harus menunggu ke versi selanjutnya yaitu 2.8.1 atau 2.8.2
   

---

Tim idbigdata
always connect to collaborate every innovation

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu kedua bulan Maret 2017

1. Amid Shortages in Apache Spark Skillsets, Training Options Proliferate
   Salah satu teknologi yang paling ‘hot’ di bidang big data adalah Apache Spark. Saat ini kebutuhan terhadap implementasi Spark sangat tinggi, namun ketersediaan tenaga-tenaga ahli di bidang tersebut masih sangat terbatas. Hal ini menjadi pendorong munculnya banyak training mengenai Spark, yang banyak diantaranya adalah free training.
   
2. Microsoft moves ahead on cloud, data, AI fronts
   Dalam ajang Hadoop Summit 2017, Microsoft meluncurkan beberapa hal terkait big data. Di antaranya adalah konektor Spark ke DocumentDB. DocumentDB adalah distributed data store yang mendukung SQL dan kompatibel dengan antarmuka query MongoDB. Microsoft juga mengumumkan peningkatan dukungan security untuk Hive LLAP (melalui HDP 2.6) dan Spark, peningkatan dukungan streaming dari Spark ke Azure Event Hub, dan lain sebagainya.
   
3. How Adobe used its huge data bank to build Sensei, an AI tool for creatives
   Tak mau ketinggalan dengan raksasa teknologi seperti Google, Amazon dan Microsoft dalam pengembangan AI dan bots, Adobe meluncurkan layanan AI dan virtual assistant, yang diberi nama Sensei. Melengkapi fitur yang telah ada di Creative Cloud, Sensei menyediakan kemampuan mengedit ekspresi wajah menggunakan fitur Face Aware Editing di Photoshop. Sensei akan dapat ‘berbicara’ dan memandu penggunanya seperti guru profesional, berkat jutaan sesi editing foto dan video yang direkam oleh Adobe. Sensei juga akan mendukung teknologi Adobe yang lain, seperti melukis dalam VR dengan Project Dali, dan photo restyling dengan Artistic Tool.
   
4. Abundant Data: The Currency for the Digital Transformation
   Beberapa poin penting mengenai berlimpahnya data dan perannya dalam mendorong transformasi digital, dari Gartner Data and Analytics Summit, yang diselenggarakan awal Maret 2017 lalu di Texas.
   
5. Government Sponsored Data Analytics in Healthcare and Life Sciences
   Data analytics di bidang kesehatan dan life science menjadi sebuah kebutuhan yang tidak terhindarkan. Pemerintah memegang peran yang penting dalam implementasi project-project terkait data analytics di bidang tersebut. Artikel ini mengulas beberapa di antaranya.
   
6. MIT-Stanford project uses LLVM to break big data bottlenecks
   Salah satu permasalahan dalam memaksimalkan penggunaan multicore system adalah, semakin mudah sebuah big data framework digunakan, akan semakin sulit pipeline yang dihasilkan untuk dijalankan secara paralel sebagai sebuah unit. Untuk itu para peneliti CSAIL MIT bekerja sama dengan Infolab Stanford membangun Weld, yang men-generate code untuk workflow data analisis yang dapat berjalan secara efisien menggunakan framework compiler LVVM.
   
7. On computational ethics
   Tulisan mengenai etika dan filosofi dalam bidang komputasi dan AI. Mungkinkah etika diterapkan dalam komputasi? Bagaimana?
   
8. Slides and videos Spark Summit East, Boston
   Video dan presentasi yang menarik dari pembicara-pembicara terkemuka, di acara Spark Summit East, Boston, Februari 2017.
   

1. Finding Influencers on Twitter
   Menjelaskan secara singkat langkah menentukan influencer di Twitter.
   
2. Data science for Doctors: Inferential Statistics Exercises (part-2)
   Data sains memperbaiki kualitas pengambilan keputusan. Dokter serta peneliti perlu membuat keputusan penting hampir tiap hari, sehingga data sains akan sangat membantu mereka. Tulisan ini adalah bagian dari serangkaian tutorial data sains yang ditujukan khususnya untuk para dokter dan tenaga medis.
   
3. Big Data Processing Using Apache Spark - Part 6: Graph Data Analytics with Spark GraphX
   Bagian ke 6 dari serangkaian artikel mengenai pemrosesan data dalam Spark. Dari artikel ini kita dapat mempelajari tentang :
   • pengolahan dan analisis data grafis dan library Apache Spark GraphX sebagai solusinya
   • algoritma seperti PageRank, Connected Components dan Triangle Counting
   • komponen dan API dari Spark GraphX
   • contoh aplikasi menggunakan Spark GraphX
   
   
4. Python & R vs. SPSS & SAS
   Artikel ini membandingkan empat bahasa (Python & R vs. SPSS & SAS) dalam hal : metode dan teknik, kemudahan belajar, visualisasi, support dan biaya. Pembahasan difokuskan pada aspek bahasa, sedangkan antarmuka pengguna pada SAS Enterprise Miner dan SPSS Modeler tidak tercakup dalam ruang lingkup pembahasan.
   
5. Neural Networks: How they work, and how to train them in R
   Dengan meningkatnya perhatian pada penerapan deep learning, maka neural network kembali menjadi bahasan yang menarik. Neural network adalah engine prediktif yang mendasari deep learning, namun tidak mudah untuk memahami cara kerjanya. Artikel ini menyebutkan beberapa sumber yang dapat memberikan penjelasan dan contoh mengenai neural network dan penerapannya dalam R.
   

Rilis produk

1. Apache Drill 1.10.0
   Beberapa fitur tambahan adalah perintah 'create temporary table as..', peningkatan dukungan untuk timestamp dalam file Parquet, perbaikan fault tolerance di atas JDBC, dukungan untuk autentikasi Kerberos, dan lain sebagainya.
   
2. Python SDK released in Apache Beam 0.6.0
   Selain dukungan Python SDK, rilis Apache Beam minggu ini juga menambahkan dukungan untuk Apache HBase, meningkatkan support untuk model Beam dalam implementasi runner, dan lain-lain.
   
3. release of Kudu 1.3.0.
   Apache Kudu 1.3 adalah rilis minor yang menambahkan berbagai fitur baru, perbaikan, perbaikan bug, dan optimasi di atas Kudu 1.2.
   

---

Tim idbigdata
always connect to collaborate every innovation