Berikut ini kami sajikan kembali artikel-artikel pilihan selama 2017 dari segmen tutorial dan teknis, yang kami rangkum dalam 8 topik utama.

1. Data Wrangling and Cleaning

Pemrosesan data merupakan tulang punggung big data. Semakin besar dan kompleks data yang diproses, prinsip garbage in-garbage out menjadi semakin penting. Berikut ini beberapa tutorial dan tips data cleansing dan data wrangling.

Pandas Cheat Sheet: Data Science and Data Wrangling in Python
Pengenalan singkat mengenai bagaimana menggunakan Pandas untuk melakukan data wrangling dengan Python.

DZone Big Data – Parsing and Querying CSVs With Apache Spark
Bagaimana memecah dan melakukan query data berformat CSV menggunakan Apache Spark dengan menggunakan SQLContext.

Python Pandas Tutorial: DataFrame Basics
DataFrame adalah struktur data yang paling banyak digunakan dalam Python Pandas. Tutorial ini menjelaskan beberapa metode penggunaan DataFrame.

Data Cleaning and Wrangling With R
10 tips untuk melakukan data cleansing dan wrangling menggunakan R.

2. Analytics dan Data Science

Data acquisition in R (1/4)
Serangkaian artikel mengenai proses data akuisisi, analisis sampai visualisasi dalam R

Ultra-fast OLAP Analytics with Apache Hive and Druid – Part 1 of 3
Bagian pertama dari 3 seri tulisan mengenai bagaimana melakukan OLAP analisis super cepat menggunakan Apache Hive dan Druid. Druid adalah data store terdistribusi berorientasi kolom, yang sesuai untuk low latency analytics.

3. Data Visualization

Langkah terakhir dan merupakan suatu hal yang sangat penting dalam data science dan machine learning adalah bagaimana menyajikannya sehingga data tersebut dapat ‘bercerita’. Oleh karena itu visualisasi data menjadi bagian yang penting. Berikut ini beberapa artikel pilihan mengenai tutorial dan contoh kasus yang menarik.

Creating Data Visualization in Matplotlib
Menampulkan beberapa grafik yang bermanfaat untuk berbagai macam analisis, dan bagaimana sebaiknya grafik tersebut disajikan agar data anda dapat ‘bercerita’.

Visualizing Tennis Grand Slam Winners Performances
Visualisasi data dalam bidang olah raga adalah salah satu cara untuk membandingkan kekuatan dan kelemahan para juara dari masa ke masa. Dalam tutorial ini ditunjukkan bagaimana plot dan grafik dapat membantu dalam membandingkan performance pemain tersebut. Data yang digunakan adalah data Tennis Grand Slam Tournaments yang ditampilkan situs ESP di tabel ESPN site tennis history.

Facets: An Open Source Visualization Tool for Machine Learning Training Data
Bekerjasama dengan PAIR initiative, google team merilis Facets, sebuah tools open source visualisasi yang dapat digunakan untuk membantu memahami dan menganalisa data XML. Facets terdiri dari dua visualisasi yang memungkinkan pengguna untuk memperoleh gambaran holistik dari data-data yang dimiliki.

4. Realtime and Stream Processing

Pemrosesan waktu nyata dan pemrosesan stream merupakan topik yang penting dalam big data, karena semakin banyak sistem yang menghasilkan data dan memerlukan monitoring serta feedback secara realtime. Berikut ini

An Introduction to Kafka Streams
Kafka, secara singkat, adalah sistem fault tolerant distributed publish-subscribe messaging system, yang dirancang untuk pemrosesan data dengan cepat dan memiliki kemampuan untuk menangani ratusan ribu pesan. Kafka Streams adalah library untuk membangun aplikasi streaming yang dapat melakukan transformasi pada aliran data yang masuk.

Streaming in Spark, Flink, and Kafka
Banyak hal yang digaungkan mengenai penggunaan Spark, Flink dan Kafka. Tulisan berikut akan membahas mengenai kelebihan dan perbandingan antara ketiganya.

Performance Tuning of an Apache Kafka/Spark Streaming System
Pada artikel ini akan dijelaskan bagaimana meningkatkan performance hingga 10 x pada aplikasi Apache Kafka/Spark Stream/Apache ignite.

Self-Learning Kafka Streams With Scala: Part 1
Tutorial untuk mengenal Apache Kafka dengan menggunakan Scala

Event-time Aggregation and Watermarking in Apache Spark’s Structured Streaming
Artikel ini merupakan seri ke 4 dari serangkaian artikel mengenai pemrosesan yang kompleks terhadap data streaming menggunakan Spark. Di sini dijelaskan mengenai bagaimana meng-agregasi data real time dengan Structured Streaming, dan mengenai bagaimana menangani event yang terlambat masuk dengan mekanisme Watermarking.

5. Benchmark & Comparison

Dengan begitu banyaknya platform, tools, framework dan berbagai komponen yang mendukung big data, salah satu hal yang penting untuk dilakukan untuk menentukan mana yang paling tepat untuk kita adalah dengan melakukan benchmark dan perbandingan. Berikut ini beberapa benchmark dan komparasi, serta sebuah artikel menarik mengenai bagaimana hasil benchmark yang dilakukan Databrick ternyata kurang tepat karena adanya bug dalam data generator yang digunakan.

Performance comparison of different file formats and storage engines in the Hadoop ecosystem
Perbandingan kinerja Apache Avro, Apache Parquet, Apache HBase dan Apache Kudu untuk mengevaluasi efisiensi, ingestion performance, analytic scans and pencarian data secara random pada data layanan CERN Hadoop.

Apache Arrow vs. Parquet and ORC: Do we really need a third Apache project for columnar data representation?
Setelah Apache Parquet dan ORC, muncullah Apache Arrow sebagai representasi format data kolumnar. Apakah kemunculan Arrow menawarkan kelebihan atau perbedaan dibanding dua format yang lainnya? Artikel ini membahas dengan detail mengenai kolumnar data format dan perbandingan di antara ketiga format tersebut, lengkap dengan benchmark.

PyTorch vs TensorFlow — spotting the difference
Saat ini terdapat beberapa framework untuk deep learning yang cukup populer. Dua di antaranya adalah PyTorch dan Tensorflow. Artikel ini mengupas perbedaan di antara keduanya, lengkap dengan Jupyter notebook untuk membandingkan kinerja keduanya dalam beberapa aplikasi.

Benchmark: Sub-Second Analytics with Apache Hive and Druid
Bagian ke 2 dari artikel ultra fast analytics dengan Apache Druid. Pada bagian ini ditampilkan hasil benchmarking OLAP dengan skala 1TB, dan response time yang benar-benar interaktif.

The Curious Case of the Broken Benchmark: Revisiting Apache Flink® vs. Databricks Runtime
Tidak semua hal di internet itu benar. Termasuk juga hasil benchmark. Untuk memvalidasi suatu hasil perbandingan atau benchmark, cara yang paling tepat adalah melakukannya dengan use case kita sendiri. Artikel ini merupakan contoh kasus di mana hasil sebuah benchmark antara Apache Spark, Apache Flink, dan Apache Kafka Streams bisa berbeda karena adanya bug dalam data generator yang digunakan untuk masukan, dan perubahan pada konfigurasi.

6. Machine Learning

Machine learning menjadi salah satu teknologi yang paling banyak berkembang dan diterapkan dalam big data, dan menjadi salah satu keahlian yang akan banyak dibutuhkan dalam tahun-tahun mendatang. Berikut ini beberapa tutorial pengenalan machine learning yang menarik untuk disimak kembali.

A Visual Introduction to Machine Learning
Dalam machine learning, komputer menerapkan teknik-teknik statistik untuk mengidentifikasi pola dalam data secara otomatis. Teknik ini dapat digunakan untuk membuat prediksi yang sangat akurat. Dalam tutorial ini ditunjukkan dengan jelas bagaimana langkah yang diambil dalam merancang sebuah proses machine learning, dan bagaimana membaca data yang dihasilkan, serta apa yang harus dilakukan untuk mendapatkan hasil yang dibutuhkan.

Top 10 Machine Learning Algorithms for Beginners
Pengantar untuk pemula, mengenai 10 algoritma terpopuler, lengkap dengan gambar dan contoh untuk memudahkan pemahaman.

Great Collection of Minimal and Clean Implementations of Machine Learning Algorithms
Artikel ini mengumpulkan beberapa algoritma dasar machine learning, yang diimplementasikan secara sederhana dan ‘clean’. Di antaranya adalah: deep learning, regresi, random forest, SVM, k-nearest neighbor, naive bayes, dan k-means clustering.

Machine Learning Exercises in Python: An Introductory Tutorial Series
Sebuah artikel yang menyajikan ringkasan dari rangkaian tutorial dan latihan mengenai Machine Learning yang dibuat oleh Andrew Ng dalam site Coursera. Tutorial ini menggunakan bahasa pemrograman Python.

Getting Started with TensorFlow: A Machine Learning Tutorial
Tutorial pengenalan Tensorflow yang cukup detail, lengkap dengan contoh untuk dicoba secara hands-on.

7. Deep Learning

Data berukuran sangat besar dengan atribut yang banyak memberi tantangan tersendiri dalam penerapan machine learning. Deep learning kerap kali dipilih karena teknik ini dianggap paling sesuai untuk data dengan karakteristik tersebut. Berikut ini beberapa artikel pilihan mengenai deep learning yang telah disajikan selama 2017.

Deep Learning in Minutes with this Pre-configured Python VM Image
Sekumpulan tools dan library deep learning berbasiskan Python yang dipaketkan dalam sebuah virtual machine dan siap untuk digunakan.

Deep Learning Zero to One: 5 Awe-Inspiring Demos with Code for Beginners, part 2
Beberapa contoh dan demo aplikasi deep learning yang menarik yang langsung dapat diunduh dan dijalankan. Tanpa matematika. Tanpa teori. Tanpa buku.
Termasuk di dalamnya adalah : Pencarian artis menggunakan perintah suara di Spotify Artist, Symbolic AI Speech Recognition, dan Algorithmia API Photo Colorizer yang dapat mewarnai gambar hitam putih secara otomatis.

Medical Image Analysis with Deep Learning
Sebuah tutorial singkat mengenai dasar image processing, pengenalan dasar format gambar dalam bidang medis dan visualisasi data-data medis. Merupakan artikel pertama dari beberapa seri artikel.

When not to use deep learning
Meskipun telah banyak keberhasilan dalam penerapan Deep Learning, namun ternyata tidak selamanya deep learning menjadi solusi yang tepat. Dalam artikel ini dibahas 4 situasi ketika deep learning justru menjadi penghalang.

8. Case Implementation example

Beberapa contoh implementasi menarik, mulai dari twitter bot, churn modelling sampai GBoard, yang dapat menjadi inspirasi dan motivasi bagi anda yang ingin mengetahui berbagai penerapan big data.

How to set up a Twitter bot using R
Dalam rangka dirilisnya package R ke 10.000 di CRAN, eoda menjalankan akun Twitter yang otomatis menampilkan jumlah package yang tersedia di CRAN sampai package ke 10 ribu tercapai pada tanggal 28 Januari 2017. Artikel ini menjelaskan mengenai cara set up account Twitter tersebut dengan R script.

Journey Science: Combining 18 Data Sources + 1 Billion Interactions to take UX to The Next Level
Journey Science, yang menyatukan data dari berbagai aktifitas pelanggan, telah menjadi bagian penting bagi industri telekomunikasi. Data tersebut dapat digunakan untuk meningkatkan customer experience dan retention. Dengan menggunakan insight yang didapat dari customer journey analytics, bisnis telekomunikasi dapat mengukur user experience dengan lebih baik, dan membuat keputusan yang tepat untuk meningkatkannya. Mulai dari melakukan tindakan proaktif untuk kepuasan pelanggan, namun juga untuk memprediksi dan mengantisipasi kegagalan yang mungkin terjadi di masa datang. Berikut ini sekilas mengenai bagaimana memanfaatkan customer journey untuk meningkatkan pelayanan dan kepuasan pelanggan.

Feature Engineering for Churn Modeling
Churn model dapat membantu dalam menentukan alasan utama customer berhenti menggunakan produk atau layanan anda, namun faktor apa yang akan ditest dan dimasukkan ke dalam model, tergantung keputusan dari data saintist. Proses ini disebut dengan rekayasa fitur (feature engineering).

StreamING Machine Learning Models: How ING Adds Fraud Detection Models at Runtime with Apache Flink®
Artikel ini menjelaskan bagaimana ING menggunakan Apache Flink untuk risk engine mereka. Mereka menggunakan Apache Spark, Knime, dan Apache Zeppelin untuk training model secara batch dan menggunakan Flink untuk komponen real-time. Mereka menggunakan data PMML, yang dikirim melalui Kafka, untuk memperbarui aplikasi Flink. Arsitektur yang digunakan memungkinkan mereka menerapkan algoritma baru dengan zero downtime, seketika.

The Machine Intelligence Behind Gboard
Bagaimana Gboard mendeteksi kesalahan ketik dan melakukan autocorrect? Tools yang digunakan sama dengan yang dipakai untuk melakukan speech recognition, yaitu machine learning. Artikel ini mengupas secara teknis bagaimana penerapan machine learning dalam meningkatkan kinerja Gboard.

Log Analytics With Deep Learning And Machine Learning
Paparan yang cukup lengkap dan menarik mengenai deep learning dan machine learning.

 

Contributor :