:::: MENU ::::

Posts Categorized / Implementation

  • Apr 08 / 2018
  • Comments Off on Menguak Skandal Cambridge Analytica
Big Data, Forum Info, Implementation, IoT, machine learning

Menguak Skandal Cambridge Analytica

Privasi dan penggunaan data pribadi adalah salah satu permasalahan utama yang disoroti setelah skandal Cambridge Analytica menjadi topik hangat akhir-akhir ini.

Siapakah Cambridge Analytica?

CA (Cambridge Analytica) adalah perusahaan konsultasi politik yang memanfaatkan data mining dan analisis. CA didirikan pada tahun 2013 sebagai anak perusahaan SCL group, bersama dengan Steve Bannon, yang kemudian menjadi penasehat strategis Donald Trump.

Apa yang dilakukan oleh Cambridge Analytica, yang dianggap tidak etis?

CA memperoleh data pribadi milik sekitar 50 juta pengguna Facebook melalui aplikasi kuis yang bernama this is your digital life. Mereka membayar 270.000 user untuk menggunakan aplikasi tersebut, dan dari user tersebut mereka mengakses pengguna lain yang ada di dalam daftar pertemanan mereka. Data tersebut kemudian digunakan sebagai input untuk mengembangkan algoritma psikografik analisis. Hasil analisisnya kemudian digunakan untuk melakukan targeted campaign melalui berbagai iklan dan content.

Apa itu psikografik analisis?

Analisis psikografik adalah metode analisis yang mencoba menggambarkan kepribadian seseorang berdasarkan data-data preferensi mereka, dalam hal ini diwakili oleh content atau status yang kita post, like dan klik. Intinya, selain data profil kita, setiap kita melakukan posting maupun klik atau like pada entry tertentu, data aktifitas tersebut juga akan diambil dan dianalisis untuk membentuk profil kepribadian kita.

Apakah pengumpulan data yang dilakukan menggunakan aplikasi Facebook semacam itu sesuatu yang luar biasa atau ilegal menurut Facebok?

Ternyata tidak. Mengumpulkan data pribadi user dengan iming-iming kuis kepribadian atau aplikasi lainnya di facebook, beserta data pengguna lain yang berada di dalam daftar pertemanannya, ternyata merupakan praktek yang lazim dilakukan oleh para internet marketer. Hal tersebut dapat dilakukan karena Facebook memang menyediakan API yang memungkinkan developer mengakses data user dan semua orang di friendlist user tersebut.

Microstrategy misalnya, memiliki data sekitar 17 juta pengguna, yang didapatkan dari 52.600 instalasi aplikasi, dengan masing-masing user ‘membawa’ sekitar 300 teman dalam friendlist mereka. LoudDoor, sebuah perusahaan yang khusus menangani iklan di Facebook, bahkan mengklaim 12 juta instalasi aplikasi Fan Satisfaction, yang menghasilkan data sekitar 85 juta penduduk Amerika. Dan ini bisa jadi hanyalah semacam puncak dari sebuah gunung es, karena pada dasarnya siapa saja bisa melakukan hal yang sama.

Praktek eksploitasi data pribadi untuk kepentingan politik ini sebenarnya sudah ‘tercium’ sejak jauh hari. The Guardian misalnya, sudah menulis mengenai penggunaan data pribadi dalam kampanye-kampanye politik. Propublica, sebuah organisasi nonprofit yang melakukan jurnalisme investigatif, bahkan membuat aplikasi yang bertujuan memonitor targeted ads tersebut. CA tentunya bukan satu-satunya perusahaan yang melakukan praktek sejenis, dan Donald Trump pun tentu bukan satu-satunya klien yang memanfaatkan jasa semacam ini.

Lalu mengapa baru saat ini kontroversi ini meledak?

Penyebabnya adalah Christopher Wylie, seorang mantan pegawai SCL yang juga ikut dalam pembentukan Cambridge Analytica mengungkap skandal ini, yang kemudian ditayangkan oleh The Guardian dan New York Times pada tanggal 17 Maret 2018.
Sehari kemudian para anggota Parlemen di Inggris dan Amerika menuntut penjelasan kepada Facebook, mengenai bagaimana data pribadi puluhan juta penggunanya dapat jatuh ke tangan perusahaan yang menangani kampanye Presiden Trump di tahun 2016 lalu.
Setelah berbagai laporan mengenai keterlibatan CA pada pemilu di beberapa negara lain bermunculan, pada tanggal 20 Maret, CA men-suspend CEO mereka, Alexander Nix. Akibat skandal ini, nilai saham Facebook turun sampai 9% atau sekitar US$60 miliar.

Apa yang dilakukan Facebook dalam menanggapi skandal ini?

Banyak pihak menilai Facebook kurang serius menanggapi isu ini. Lima hari pertama sejak meledaknya kasus ini Facebook tidak memberikan pernyataan apapun. Baru setelah marak tagar #deletefacebook yang diikuti banyak tokoh, termasuk diantaranya Elon Musk, Mark Zuckerberg memberikan pernyataan. Intinya adalah Facebook menyesalkan insiden yang terjadi, dan mengambil beberapa tindakan, yaitu :

  • Akan menyelidiki aplikasi-aplikasi yang mengakses data user beserta user lain di friendlistnya dalam jumlah besar, sebelum Facebook mengubah kebijakannya di tahun 2014. Sejak tahun 2014 aplikasi tidak lagi dapat mengakses data user lain selain yang menginstal aplikasi tersebut. Facebook akan mem-blacklist developer yang tidak bersedia diaudit.
  • Mematikan akses developer ke data user, jika user tersebut tidak menggunakan aplikasi yang bersangkutan selama 3 bulan, dan mengurangi jenis informasi yang bisa diakses oleh aplikasi tersebut ketika user sign in.
  • Membuat tools yang menunjukkan list aplikasi apa saja yang dapat mengakses data user, dan menampilkannya di atas newsfeed, serta memudahkan user untuk mengubah ijin akses tersebut. Tools ini ditargetkan selesai bulan depan.

Bagaimana sebenarnya tim pemenangan Trump (dan mungkin banyak lagi yang lainnya), menggunakan data dalam menyukseskan kampanye mereka?

Untuk kasus Trump, mereka membuat lebih dari 100.000 situs web yang dirancang khusus untuk berbagai profil psikologis dan preferensi dari kelompok-kelompok kecil targetnya. Hal ini disebut dengan microtargeting. Untuk menyebarkan link ke situs tersebut, mereka membeli $2 million dollars Facebook ads, yang mengarahkan pengguna ke website-website tersebut. Ratusan ribu website tersebut dibuat sekontroversial mungkin, sesuai dengan kecenderungan user yang ditarget, terkadang menggunakan fake news, black campaign dan berbagai clickbait.

Dalam mengelompokkan dan mengarahkan iklan, mereka memanfaatkan fitur “Audience Targeting Options”, dan “Lookalike Audiences”. Dua fitur ini merupakan alat yang jika dikelola dengan lihai akan dapat menyampaikan iklan ke segmen yang sesuai. Dua fitur tersebut, dipadukan dengan informasi dan profil yang dihasilkan dari algoritma yang dipergunakan oleh Cambridge Analytica, berhasil menjangkau para calon pemilih di masa itu, dan memberikan hasil yang luar biasa, yaitu terpilihnya Trump sebagai presiden Amerika.

Terlepas dari berbagai kontroversi dan permasalahan yang melingkupinya, kasus ini memberikan bukti nyata akan kekuatan data yang sebenarnya. Data yang diolah dengan piawai, dapat menjadi senjata yang sangat ampuh, yang dapat mengubah dunia dalam arti yang sesungguhnya. Di samping itu kita juga mendapat gambaran, bisnis apa yang ada di belakang berbagai aplikasi dan media sosial di dunia, mengapa begitu banyak orang mau berinvestasi besar-besaran ke dalam perusahaan-perusahaan yang menghasilkan data besar, seperti Facebook, Twitter, GoJek, dan lain-lain.

“These stories illustrate a simple truth : information is power. Anyone who hold a vast amount of information about us has power over us.” (Julia Angwin – Dragnet Nation)

Contributor :


M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng.
Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun.
Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.
  • Mar 23 / 2018
  • Comments Off on Seputar Big Data Edisi #52
Apache, Artificial Intelligece, Big Data, Forum Info, Hadoop, Implementation, Spark, Storm

Seputar Big Data Edisi #52

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu 3 bulan Maret 2018

Artikel dan Berita

  1. Cambridge Analytica harvested data from millions of unsuspecting Facebook users
    Cambridge Analytica, perusahaan yang melakukan profiling pemilih dalam kampanye Donald Trump, diduga mengumpulkan informasi pribadi milik lebih dari 50 juta profil Facebook, yang kemudian mereka gunakan untuk mempengaruhi dan melakukan ‘perang budaya’ dalam pemilu 2016 lalu.
  2. How Machine Learning is Revolutionizing Cybersecurity
    Machine learning telah terbukti bermanfaat dalam berbagai penerapan analisis data. Machine learning is particularly useful in various applications of data analysis. Kemampuan untuk belajar dari data, mengidentifikasi pola, mengotomasi pembuatan model, dan pengambilan keputusan, sangat bermanfaat untuk bidang keamanan saiber (cybersecurity), yang memanfaatkan data besar serta analisa pola perilaku.
  3. Is Your Company Ready For AI? Ask Yourself These Nine Questions
    Statista memprediksi bahwa pasar AI secara global akan bernilai lebih dari $ 10,5 miliar pada tahun 2020, dan bisnis akan menerapkan AI ke dalam operasi sehari-hari mereka dalam bentuk otomatisasi dan chatbots layanan pelanggan. Menurut CIOs, CTOs dan technology executive anggota Forbes Technology Council, berikut adalah sembilan pertanyaan untuk menentukan apakah AI adalah investasi cerdas untuk bisnis Anda saat ini.
  4. Hortonworks, Confluent and Waterline attempt to make Big Data easier
    Big data dan produk yang menyertainya memiliki kompleksitas yang seringkali tidak terhindarkan. Beberapa vendor besar menyadari hal ini, dan menawarkan berbagai solusi untuk memudahkan implementasi dan adopsi teknologi mereka untuk bisnis. Hortonwork, Confluent dan Waterline adalah beberapa di antaranya.
  5. Deep Learning Achievements Over the Past Year
    Pada musim natal lalu, tim statbot melakukan beberapa review terhadap pencapaian dari berbagai produk machine learning dalam setahun terakhir
  6. Top 5 Reasons Most Big Data Projects Never Go Into Production
    Pada akhir tahun 2016, Gartner merilis sebuah laporan yang menyatakan : “Hanya 15 persen dari proyek big data yang diimplementasikan ke dalam sistim produksi”. Pada kenyataannya hingga saat ini pun masih terjadi kendala-kendala yang dihadapi dalam implementasi big data.

Tutorial dan Pengetahuan Teknis

  1. Using Apache Kafka for Real-Time Event Processing
    Bagaimana implementasi Apache Kafka dalam mendukung pemrosesan secara reltime? Dalam posting ini, diperlihatkan bagaimana membangun pipeline pemrosesan aliran data menggunakan Apache Kafka.
  2. Top 5 Best Jupyter Notebook Extensions
    Ekstensi Notebook adalah plug-in yang dapat dengan mudah ditambahkan ke notebook Jupyter Anda. Berikut 5 Jupyter Extension yang paling sering digunakan.
  3. Managing isolated Environments with PySpark
    Melakukan konfigurasi node dalam cluster Hadoop/Spark dengan dependensi non-JVM biasanya cukup menyulitkan. Artikel ini menguraikan contoh solusi dan memberikan beberapa contoh code untuk menjalankan PySpark dengan Pandas dan library python lainnya.
  4. Data infrastructure at GO-JEK
    Dengan 100M order per bulan, 700ribu pengemudi aktif, dan 125 ribu merchant, GO-JEK memerlukan sistem yang handal. Mari ‘mengintip’ ke dalam infrastruktur data milik perusahaan terkemuka di Indonesia ini.
  5. [DATASET] Mozilla Common Voice
    Sekitar 400.000 rekaman dari 20.000 orang yang berbeda, menghasilkan total sekitar 500 jam rekaman suara. Saat ini merupakan koleksi dataset suara terbesar ke dua, dan jumlahnya masih terus bertambah.

Rilis Produk

  1. Apache PredictionIO 0.12.1 Release
    Apache PredictionIO adalah machine learning server yang dibangun di atas open source stack. Rilis 0.12.1 mencakup penambahan support untuk Spark 2.2, CleanupFunctions untuk Python, dan beberapa perubahan.
  2. Altair 2.0
    Altair adalah library Python untuk visualisasi statistik deklaratif berbasis Vega dan Vega-Lite. Kandidat untuk versi 2.0 sudah tersedia, dengan support untuk visualisasi interaktif Vega-Lite di Python.
  3. Tensorflow 1.6.0 released
    Tensorflow 1.6.0 mendukung CUDA 9.0 dan cdDNN 7, beserta beberapa fitur tambahan perbaikan bugs lainnya
  4. R 3.4.4 is released
    Rilis ini direncanakan merupakan rilis terakhir dari seri 3.4.x.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Mar 23 / 2018
  • Comments Off on MeetUp #19 Universitas Andalas, Padang
Apache, Artificial Intelligece, Big Data, Blockchain, Forum Info, Implementation, Komunitas, Social Media

MeetUp #19 Universitas Andalas, Padang

Pada meetup ke #19 ini idBigData menyapa rekan-rekan di kota Padang. Kali ini idBigData bekerja sama dengan Universitas Andalas, AIDI (Asosiasi Ilmuwan Data Indonesia), dan Labs247. Meetup dilaksanakan pada tanggal 13 Maret 2018 yang lalu, di gedung perpustakaan Universitas Andalas. Antusiasme rekan-rekan idBigData di Padang terlihat dari jumlah peserta yang mencapai sekitar 300 orang.

Acara dimulai pada pukul 9 pagi, dan dibuka dengan sambutan dari Rektor Universitas Andalas, Prof. Dr. Tafdhil Husni, S.E., M.B.A. dan Dekan Fakultas Teknologi Informasi, Dr. Ahmad Syafruddin Indrapriyatna, M.T.

Pembicara pertama adalah Husnil Kamil, M.T. dari Universitas Andalas, yang menyampaikan mengenai Big Data dalam Dunia Pendidikan. Dilanjutkan oleh CEO Labs247, Beno K. Pradekso, mengenai Big Data dan Deep Learning. Pembicara selanjutnya adalah chairman idBigData, Sigit Prasetyo, dengan materi Open Source Big Data Platform. Ditutup oleh Bagus Rully Muttaqien dari AIDI, menyampaikan topik Big Data dan Media Sosial.

Video meetup #19 dapat disaksikan di sini.


meetup-19-1

meetup-19-2

meetup-19-3

meetup-19-4

meetup-19-5

meetup-19-6

meetup-19-7

meetup-19-8

meetup-19-9

meetup-19-10

meetup-19-11

meetup-19-12

Contributor :


M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng.
Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun.
Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.
  • Mar 15 / 2018
  • Comments Off on Seputar Big Data Edisi #51
Apache, Artificial Intelligece, Big Data, Forum Info, Hadoop, Implementation, IoT, Komunitas, Spark

Seputar Big Data Edisi #51

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu kedua bulan Maret 2018.

Artikel dan Berita

  1. Dubai Decrees Itself the A.I. City-State of the Future
    Pemerintah UEA mencanangkan Dubai sebagai kota AI masa depan, dengan mendorong implementasi big data dan AI. Beberapa di antaranya adalah menyediakan menyediakan lingkungan yang terjangkau untuk melakukan inkubasi dan launching bisnis di bidang AI, setelah pada tahun 2016 PM UAE menginvestasikan US$270 juta untuk inovasi. Pada Oktober tahun lalu UAE menunjuk menteri bidang AI, yang merupakan menteri pertama di dunia yang khusus menangani bidang ini.
  2. Mengenal Kelas Big Data dan Komputasi Kognitif Pertama di Indonesia
    Fakultas Ekonomi dan Bisnis Universitas Indonesia (FEB UI) meluncurkan mata kuliah baru : Big Data dan Komputasi Kognitif yang pertama di Tanah Air. Kelas ini hadir atas kemitraan UI dengan perusahaan solusi kognitif dan platform cloud IBM Indonesia.
  3. Google’s March Madness AI contest offers 0,000 in prizes
    Google menyelenggarakan kompetisi AI untuk prediksi hasil turnamen basket antar perguruan tinggi, NCAA March Madness, dengan hadiah sebesar US$100,000. Dalam kompetisi ini peserta membuat software AI untuk prediksi pemenang, dengan data dari 40 juta pertandingan basket NCAA yang direkam sejak 2009.
  4. Baidu shows strategic vision with AI map merger
    Salah satu raksasa internet dari China, Baidu, baru-baru ini mengumumkan pengalihan bisnis peta digital mereka. Baidu Maps dialihkan ke bawah AI Group, setelah sebelumnya berada di bawah anak perusahaan yang memegang mesin pencari web. Langkah ini merupakan upaya mendorong bisnis AI mereka. Dikabarkan kemungkinan di masa datang Baidu Maps akan kembali dialihkan ke dalam bagian yang mengembangkan autonomous car.
  5. AI ‘more dangerous than nukes’: Elon Musk still firm on regulatory oversight
    Elon Musk mengatakan bahwa AI memiliki potensi bahaya yang lebih besar daripada nuklir. Oleh karena itu menurut Musk, perlu dibentuk sebuah badan independen yang dapat memastikan penerapan-penerapan AI dilakukan dalam batas yang aman untuk umat manusia di seluruh dunia.
  6. Elastic Plots Its Own Course to Big Data Success
    Elastic, perusahaan di belakang Elasticsearch, salah satu project open source terpopuler, adalah salah satu perusahaan terkemuka di bidang big data. Berikut ini beberapa ‘rahasia’ di balik kesuksesan Elastic.
  7. Waymo self-driving trucks to transport Google Atlanta data center gear
    Waymo, perusahaan self driving car milik Alphabet, melebarkan pengujian kendaraan swakemudi dari mobil penumpang biasa ke kendaraan besar, yaitu truk. Percobaan pertama mereka ditujukan untuk membantu data center Google di Atlanta, Georgia.

Tutorial dan Pengetahuan Teknis

  1. Gentle Introduction to Apache NiFi for Data Flow… and Some Clojure
    Tutorial mengenai Apache NiFi. Menjelaskan mengenai bagaimana membuat prosesor yang membaca dari file, prosesor yang menulis ke file, dan prosesor yang dapat menginsert data ke MongoDB.
  2. Getting started with Data Engineering
    Salah satu spesialisasi yang banyak dicari akhir-akhir ini adalah Data Engineer, bahkan kebutuhan data engineer ini diperkirakan melebihi kebutuhan terhadap data saintis. Artikel ini memberikan penjelasan yang cukup bagus mengenai apa itu data engineer, serta beberapa terminologi yang menyertainya.
  3. MongoDB and Data Streaming: Implementing a MongoDB Kafka Consumer
    Pengenalan singkat mengenai Apache Kafka dan bagaimana menggunakan MongoDB sebagai sumber dan tujuan data yang di-stream.
  4. Introducing Pulsar Functions
    For simple ETL, real-time aggregation, event routing, and similar use cases, Apache Pulsar is adding Pulsar Functions. Inspired by AWS Lambda and Google Cloud Functions, Pulsar Functions use a simple API and the Pulsar cluster for deployment. The post covers the design goals, deployment mechanism, runtime guarantees, and more.
    Apache pulsar menambahkan Pulsar Functions untuk menangani use case
  5. Installing Apache Spark 2.3.0 on macOS High Sierra
    Overview mengenai instalasi Apache Spark 2.3.0 di atas Mac OS.
  6. Daftar lengkap operasi aljabar linier yang diperlukan dalam menggunakan NumPy untuk aplikasi machine learning.
  7. [DATASET] LibriSpeech ASR corpus
    LibriSpeech adalah korpus yang berisi sekitar 1000 jam 16kHz audio dalam bahasa Inggris. Data didapatkan dari project audiobook LibriVox, yang telah disegmentasi dan diselaraskan.

Rilis Produk

  1. The Building Blocks of Interpretability
    Google merilis Lucid, library jaringan syaraf tiruan yang dibangun dari project DeepDream. Lucid digunakan untuk menambahkan efek artistik pada gambar. Di samping itu juga dirilis Google Colab, jupyter notebook yang disimpan di google drive, dan dapat langsung digunakan untuk menjalankan Lucid dan berbagai aplikasi deep learning tanpa perlu melakukan setup infrastruktur apapun.
  2. Semantic Image Segmentation with DeepLab in Tensorflow
    Google merilis DeepLab-v3+, model Tensorflow yang digunakan untuk melakukan segmentasi semantik image. Segmentasi semantik adalah proses memberikan label semantik setiap piksel dalam sebuah citra/image, seperti misalnya ‘langit’, ‘awan’, ‘ayam’, dsb.
  3. Apache MXNet (incubating) 1.1.0 Release
    Apache MXNet (incubating), sebuah framework deep learning, rilis versi 1.1.0.
    Tercakup di dalamnya peningkatan kinerja untuk GPU maupun CPU, penambahan dukungan operator, dan tutorial serta contoh penggunaan yang semakin lengkap.
  4. Apache Kylin 2.3.0 released
    Apache Kylin 2.3.0 merupakan rilis major, dengan lebih dari 250 perbaikan dan peningkatan. Apache Kylin adalah engine analytics terdistribusi, menyediakan antarmuka SQL dan OLAP di atas Hadoop.
  5. Apache Hivemall 0.5.0-incubating released
    Apache Hivemall adalah library machine learning yang diimplementasikan sebagai UDF/UDAF/UDTF. Versi 0.5.0 ini merupakan rilis pertama sejam Hivemall memasuki inkubator Apache. Hivemall berjalan di atas framework pemrosesan data berbasis Hadoop, yaitu Hive, Spark dan Pig.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Feb 14 / 2018
  • Comments Off on Seputar Big Data Edisi #48
Apache, Artificial Intelligece, Big Data, Hadoop, Implementation, IoT, machine learning, Uncategorized

Seputar Big Data Edisi #48

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu xx bulan xx 2017

Artikel dan Berita

  1. Xiaomi partners with Naver in AI for IoT devices
    Clova, platform AI dari Naver akan memperkuat device IoT Xiaomi. Kerja sama ini menunjukkan keseriusan Naver dalam bidang AI, setelah November lalu mereka menjalin kerja sama dengan LG, setelah sebelumnya Naver juga membeli pusat AI Xerox di Eropa.
  2. New big data project to enhance safety at sea
    Grahaeme Henderson, wakil presiden pelayaran dan maritim Shell, mengumumkan sebuah inisiatif baru yang disebut HiLo, yang menggunakan data besar dan analisis prediktif untuk mencegah kecelakaan dalam pelayaran.
  3. Understanding What Consumers Want Without Ever Asking Them
    Menurut Harvard Business School, setiap tahun ada lebih dari 30.000 produk baru yang diluncurkan dan sekitar 80% di antaranya gagal. Awal bulan ini Coca-Cola meluncurkan empat rasa baru dan makeover kemasan untuk Coke Diet andalan mereka. Menurut statistik Harvard Business School di atas, tiga dari rasa baru itu akan gagal. Namun dalam era yang sarat informasi yang kita jalani saat ini, apakah hal tersebut masih menjadi masalah?
  4. Innovation in mining with IoT and AI monitoring technology
    Kemampuan untuk mengumpulkan dan menganalisis data lingkungan dan peralatan, dan melakukan penilaian risiko dan wilayah secara real time memberi manfaat yang signifikan bagi operasi skala besar. Terutama industri seperti pertambangan, yang beroperasi di lingkungan yang sempit, selalu berubah dan berpotensi bahaya. Tapi apakah teknologi IoT dan AI benar-benar menguntungkan? Dan apa sebenarnya manfaat teknologi tersebut untuk operasi penambangan?
  5. Top IoT Projects: 8 Case Studies
    Hampir semua orang setuju bahwa IoT akan menjadi sangat penting, tapi tidak semua memahami bagaimana mereka bisa mendapatkan keuntungan dari teknologi ini. IDC memperkirakan bahwa pengeluaran IO di seluruh dunia akan mencapai $772,5 miliar tahun ini, 14,6 persen lebih banyak dari tahun lalu, dan diyakini akan berlanjut hingga 2021, ketika total pendapatan akan mencapai $1,1 triliun.
    Tapi apa sebenarnya yang dibeli? Berikut ini 8 contoh kasus penggunaan IoT yang cukup menarik dan mewakili berbagai bidang.
  6. What 2018 holds for AI and deep learning
    Tahun 2018 ini diprediksikan menjadi tahun di mana banyak industri berusaha menggali manfaat dari deep learning dan berusaha menjadi intelligence enterprise. Berikut ini beberapa pandangan dari PwC Analytics Group mengenai prospek serta peluang deep learning dan AI di tahun 2018.

Tutorial dan Pengetahuan Teknis

  1. GeoBike, Part 2: Querying the Data
    Pada posting sebelumnya, telah dibahas mengenai pembuatan back-end dengan Redis, dan loading data dari General Bikeshare Feed Specification (GBFS) data feed menggunakan Python. Dalam seri ini dibahas mengenai bagaimana menentukan lokasi user, dan bagaimana melakukan query data.
  2. Introduction to Matrices and Matrix Arithmetic for Machine Learning
    Matriks merupakan elemen dasar yang penting dalam penerapan machine learning. Matriks banyak digunakan terutama dalam menjelaskan proses dan algoritma, misalnya representasi variabel data masukan (X) yang digunakan untuk men-train sebuah algoritma. Tutorial ini menjelaskan mengenai konsep dasar matriks dalam aljabar linier, dan bagaimana memanipulasinya menggunakan Python.
  3. A comparison between spaCy and UDPipe for Natural Language Processing for R users
    Dalam beberapa tahun terakhir ini NLP (Natural Language Processing) berkembang ke arah task yang multibahasa, tidak lagi terikat oleh satu bahasa, negara atau batasan legal tertentu. Dengan semakin berkembangnya open data berkaitan dengan task NLP, seperti http://universaldependencies.org/ , kita dapat dengan mudah membandingkan berbagai toolkit NLP. Dalam artikel ini dibandingkan dua package NLP dalam R, yaitu udpipe dan spacyr.
  4. Consider to Introduce Docker to Your Data Science Workflow
    Salah satu permasalahan yang banyak dihadapi oleh data saintis adalah konfigurasi environment. Setting environment seringlai berarti menginstal banyak package, menunggu compile package, dan berbagai proses trial and error lainnya. Penggunaan docker dalam data science workflow akan sangat membantu mengatasi permasalahan tersebut. Artikel ini membahas bagaimana mempersiapkan docker untuk menjalankan notebook Jupyter sederhana.
  5. A Simple Starter Guide to Build a Neural Network
    Artikel ini menjelaskan dasar-dasar membangun neural network dari nol, dengan meminimalisir berbagai konsep matematis dan saintifik di belakangnya.

Rilis Produk

  1. Apache Knox 1.0.0
    Apache Knox akhirnya mengumumkan rilis versi 1.0.0.
    Dalam rilis ini dilakukan repackaging class-class ke dalam package dengan nama yang lebih sesuai. Hal ini mungkin dapat menimbulkan permasalahan bagi user yang meng-ekstend class-class dengan package name yang lama. Oleh karena itu, dirilis versi 0.14.0 dengan fitur set yang kurang lebih sama dengan 1.0.0. Versi 1 ini juga mencakup beberapa perbaikan bug dari versi 0.14.0 serta penyempurnaan fitur Service Discovery dan Topology Generation.
  2. Apache Atlas 0.8.2 released
    Rilis ini mencakup perbaikan dan penambahan fitur di antaranya metadata types & instances, classification, lineage, search/discovery, serta security & data masking.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Feb 13 / 2018
  • Comments Off on Seputar Big Data Edisi #47
Apache, Big Data, Forum Info, Hadoop, Implementation, Uncategorized

Seputar Big Data Edisi #47

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu Pertama bulan Februari 2017

Artikel dan Berita

  1. Top 7 Ways How Banks Could Benefit from Smart Bots
    Pemanfaatan AI dalam industri semakin meningkat, termasuk di dalamnya bidang perbankan. Salah satu yang paling banyak diadopsi adalah penggunaan smart bot untuk smart assistant maupun customer service. Berikut ini 7 poin mengenai bagaimana penerapan smart bot dapat memberikan keuntungan bagi perbankan.
  2. Using AI to uncover the mystery of Voynich manuscript
    Ilmuwan komputasi di University of Alberta menggunakan kecerdasan buatan untuk menguraikan manuskrip kuno. Teks misterius dalam manuskrip Voynich abad ke-15 telah menggugah keingintahuan para sejarawan dan kriptografer sejak ditemukannya pada abad ke-19. Baru-baru ini, seorang profesor ilmu komputer yang ahli dalam pemrosesan bahasa alami menggunakan kecerdasan buatan untuk memecahkan ambiguitas dalam bahasa manusia menggunakan manuskrip Voynich sebagai studi kasus.
  3. Top Skills Data Scientists Need To Learn in 2018
    Data saintis adalah profesi yang sangat diminati, dan menempati posisi nomor 1 di daftar Glassdoor’s Best Jobs in America pada 2016 dan 2017. Hal ini mendorong permintaan serta gaji lebih tinggi untuk para profesional dengan kualifikasi ini. Artikel berikut ini menampilkan daftar singkat keterampilan teknologi paling penting yang perlu dikuasai oleh data saintis di tahun ini.
  4. How big data is helping states kick poor people off welfare
    Teknologi adalah senjata yang sangat ampuh, dan sebagaimana senjata pada umumnya, tergantung pada manusia yang memanfaatkannya, apakah akan digunakan untuk kebaikan atau justru membawa keburukan. Salah satu kontroversi pemanfaatan big data adalah bagaimana data justru digunakan untuk merugikan pihak-pihak lemah, misalnya seperti yang dikatakan Virginia Eubank, profesol ilmu politik universitas Albany, bahwa “data digunakan untuk membidik dan menghukum masyarakat miskin di Amerika“.

Tutorial dan Pengetahuan Teknis

  1. Apache Hive vs. Apache HBase
    Banyak orang yang bertanya apakah sebaiknya mereka menggunakan Apache Hive, Apache HBase, Apache SparkSQL, atau yang lainnya. Tentunya tidak ada tools yang sesuai untuk semua orang. Semua harus dikembalikan kepada kebutuhan dan jenis permasalahan yang akan diselesaikan. Artikel ini mengupas secara singkat perbandingan antara Hive dan HBase, serta beberapa pertanyaan yang perlu anda ajukan sebelum memilih data engine tools.
  2. Web Scraping Tutorial with Python: Tips and Tricks
    Web scraping atau mengekstraksi data secara otomatis dari sebuah halaman web merupakan langkah penting dalam berbagai aplikasi yang melibatkan analisis web. Artikel ini menyajikan beberapa aturan, pola umum desain, dan kesalahan yang umum terjadi yang berhubungan dengan web scraping.
  3. Understanding Learning Rates and How It Improves Performance in Deep Learning
    Artikel ini menjelaskan mengenai apa itu learning rate dan bagaimana penggunaannya untuk meningkatkan kinerja dalam deep learning.
  4. Apache Kafka is not for Event Sourcing
    Apache Kafka merupakan platform open source untuk data stream terdistribusi yang paling terkemuka saat ini. Namun ada beberapa kelemahan, khususnya dalam penggunaannya sebagai event sourcing pattern, dalam hal loading status terkini dan konsistensi writes.
  5. Apache Beam: A Look Back at 2017
    Apache Beam menyajikan kilas balik 2017 yang meliputi perkembangan komunitas dan inovasi dalam kemampuan seperti portabilitas antarbahasa dan dukungan machine learning, serta rencana pengembangan ke depan.

Rilis Produk

  1. Apache NiFi MiNiFi 0.4.0
    Versi 0.4.0 Apache NiFi MiNiFi mencakup beberapa peningkatan dan penambahan support untuk Apache NiFi 1.5.0.
  2. Apache Phoenix 4.13.2
    Apache Phoenix 4.13.2 mencakup beberapa perbaikan dan kompatibilitas dengan CDH.
  3. Jepsen versi 0.1.7
    Jepsen adalah tools untuk menguji correctness sistem data terdistribusi dalam menghadapi failure. Rilis 0.1.7 mencakup beberapa perbaikan bugs, perubahan dan penambahan fitur.
  4. Apache Scoop 1.4.7
    Riilis ini mencakup 100 tiket JIRA yang terdiri dari beberapa bug fixes, peningkatan dan penambahan fitur.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Jan 29 / 2018
  • Comments Off on Seputar Big Data #46
Apache, Artificial Intelligece, Big Data, Forum Info, Hadoop, Implementation

Seputar Big Data #46

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu empat bulan Januari 2017

Artikel dan Berita

  1. Kominfo Dorong DPR Tetapkan UU Perlindungan Data Pribadi Tahun Ini
    Penetapan Undang-Undang (UU) Perlindungan Data Pribadi dinilai semakin krusial, mengingat tren big data telah meluas ke berbagai lini. Masyarakat sadar atau tanpa sadar telah menyerahkan informasi personal ke berbagai layanan internet. Kendati begitu, UU Perlindungan Data Pribadi ini masih mengambang, dan bahkan belum menjadi prioritas dalam Program Legislasi Nasional (Prolegnas) 2018. Namun Kominfo akan mendorong DPR untuk mengesahkan UU tersebut tahun ini.
  2. Google Suntik Dana Segar Rp16 Triliun untuk Gojek
    Gojek mendapatkan suntikan dana segar Alphabet, induk perusahaan Google dan beberapa rekan senilai US$1,2 miliar atau sekitar Rp16 triliun. Selain Google, investor asal Singapura, Temasek Holdings, KKR & Co, Warburg Pincus LLC dan platform online China Meituan-Dianping pun akan berpartisipasi dalam suntikan dana tersebut. Kabarnya rencana pendanaan ini sudah dibuka sejak tahun lalu dan diproyeksikan akan rampung dalam beberapa pekan.
  3. Indonesia menjadi tempat yang ideal untuk bisnis data center
    Indonesia menjadi tempat pengembangan bisnis pusat data dan teknologi kumputasi awan yang menarik bagi investor karena tingkat pengembalian modal investasi (ROIC) yang mencapai 11,6%, atau tertinggi di Asia Pasifik. Di Singapura, tingkat ROIC hanya 9,5%, sedang di Australia, karena mahalnya fasilitas di perkotaan, angka ROIC hanya 3,8% atau terendah.
  4. How Big Data Is Revolutionizing Sports
    Dunia olahraga tidak luput dari pengaruh big data. Saat ini semakin banyak klub maupun atlet yang memanfaatkan data untuk meningkatkan performa mereka. Artikel ini mengupas bagaimana data mengubah wajah dunia olahraga.
  5. Alphabet unveils Chronicle, a security company that uses big data to detect vulnerabilities
    Alphabet Inc meluncurkan unit bisnis baru yang akan menjual perangkat lunak cyber security ke perusahaan-perusahaan besar. Unit baru yang bernama Chronicle ini memanfaatkan kemampuan machine learning untuk menyaring dan menganalisis data dalam jumlah besar secara lebih cepat dan tepat dibanding metode tradisional.
  6. 4 tips for delivering more business value with short-term big data projects
    Banyak perusahaan yang menjalankan project big data kesulitan menunjukkan value bisnis yang didapat dari project yang mereka jalankan, terutama karena project big data biasanya berskala besar dan berjangka panjang. Berikut ini beberapa tips menjalankan project berjangka pendek untuk dapat memperoleh hasil yang nyata.

Tutorial dan Pengetahuan Teknis

  1. Introduction to distributed TensorFlow on Kubernetes
    Contoh implementasi TensorFlow dii atas kubernetes di Amazon cloud.
  2. Time Series Visualisations: Kibana or Grafana?
    Review mengenai Kibana dan Grafana, tools untuk data visualisasi, terutama untuk data time series. Bagaimana kedua tools tersebut dapat saling melengkapi dan apakah dirilisnya Kibana Timelion membuat Grafana menjadi redundan dalam penggunaan Kibana.
  3. An introduction to unified queuing and streaming
    Perbedaan antara queuing dan streaming kadang tidak terlalu jelas, dan kebingungan dalam hal ini seringkali dapat menyebabkan kesalahan desain. Artikel ini menjelaskan dengan baik untuk perbedaan antara keduanya, dilengkapi dengan beberapa keterangan tambahan tentang bagaimana Apache Pulsar mendukung kedua use case.
  4. Machine Learning with R Caret – Part 1
    Serial ini adalah mengenai pembelajaran mesin dengan R. Artikel ini menggunakan paket Caret di R. Pada bagian ini, pertama-tama akan dilakukan Exploratory Data Analysis (EDA) pada dataset nyata, dan kemudian menerapkan regresi linier non-reguler. Contoh kasusnya adalah melakukan prediksi output daya berdasarkan seperangkat pembacaan dari berbagai sensor dalam sebuah pembangkit listrik berbahan bakar gas alam.
  5. implyr: R Interface for Apache Impala
    Package dplyr menyediakan grammar untuk pemrosesan data di R. Package implyr membantu dplyr untuk menerjemahkan grammar tersebut ke dalam Impala-compatible SQL commands. Artikel ini menjelaskan mengenai instalasi dan contoh penggunaan implyr.
  6. Step by Step Tutorial: Deep Learning with TensorFlow in R
    Tutorial langkah demi langkah penerapan deep learning menggunakan TensorFlow di R.

Rilis Produk

  1. Apache Impala 2.11.0
    Apache Impala 2.11.0 mencakup peningkatan dalam integrasi S3 (support IAM role), code gen, dan support Kudu. Secara keseluruhan terdapat 200 ticket yang tercakup dalam rilis ini.
  2. Apache HBase 2.0.0 beta is Available
    Apache HBase 2.0.0 telah tersedia dalam versi beta. Terdapat 2000 perubahan yang tercakup dalam rilis ini.
  3. Apache Solr 7.2.1 released
    Rilis 7.2.1 mencakup 3 bug fixes dari versi 7.2.0, dan meliputi juga Apache Lucene 7.2.1 yang mengandung 1 bug fix dari versi 7.2.0-nya.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Jan 22 / 2018
  • Comments Off on Seputar Big Data Edisi #45
Apache, Artificial Intelligece, Big Data, Forum Info, Hadoop, Implementation, pertanian, Storage

Seputar Big Data Edisi #45

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ketiga bulan Januari 2018

Artikel dan Berita

  1. Alibaba neural network defeats human in global reading test
    Satu lagi bidang di mana AI dapat mengungguli manusia. Kali ini Alibaba neural network (dan Microsoft Research Asia) berhasil meraih skor lebih tinggi dari yang dicapai manusia dalam tes pemahaman bacaan (reading comprehension) kategori Exact Match. Tes yang bernama SQuAD ini berisi lebih dari 100 ribu soal-jawab berdasarkan lebih dari 500 artikel wikipedia. Dalam ranking nilai EM mereka tercatat skor tertinggi manusia sebesar 82.304, Alibaba 82.440 dan Microsoft 82.650.
  2. How Mining Companies manage Big Data Analytics to Benefit the Business
    Berbagai teknologi baru dalam industri pertambangan memberi kesempatan kepada perusahaan untuk menganalisis peralatan dan proses yang tidak pernah mereka lakukan sebelumnya. Namun demikian, dengan teknologi baru ini muncul tantangan baru: bagaimana mengelola data yang dihasilkan oleh teknologi tersebut untuk mendorong bisnis. Berikut ini beberapa keuntungan dan use case dari big data untuk industri pertambangan.
  3. Big Data, Small Target: The Smart Approach To Artificial Intelligence
    Tidak semua inisiatif big data berjalan baik, bahkan menurut Gartner, hanya 15% bisnis yang berhasil melewati tahap percontohan atau pilot project big data.
    Dengan semakin besarnya tekanan di dunia bisnis untuk melakukan penerapan AI, dikhawatirkan semakin banyak perusahaan yang mengadopsi teknologi ini tanpa memahaminya terlebih dahulu. Berikut ini beberapa tips untuk memulai proyek big data dan AI maupun ML di perusahaan anda.
  4. Big Data, Analytics, and Machine Learning: Changing Insurance
    Kesuksesan, kegagalan, dan perubahan dalam bisnis asuransi selama ini sebagian besar selalu ditentukan oleh data. Akan tetapi kemunculan big data dan machine learning mengubah peta permainan di dunia asuransi. Pemenangnya adalah yang dapat mengakses data yang paling relevan, menganalisisnya dengan cara baru dan unik, dan menerapkannya pada waktu dan tempat yang tepat, semuanya dengan kecepatan luar biasa.
  5. Big data could soon improve decision making for farmers and fishermen
    Sebuah proyek yang didanai bersama oleh program Horizon 2020 Uni Eropa, melihat bagaimana arus informasi yang dikumpulkan dari tanah, udara dan satelit dapat mendorong pertanian dan perikanan. Proyek Bioekonomi Berbasis Data (DataBio) ini meneliti berbagai aplikasi big data dalam pertanian, kehutanan dan akuakultur, dan bagaimana informasi dapat memberdayakan mereka yang bekerja di sektor-sektor tersebut.
  6. Big data analytics in supply chain: Tackling the tidal wave
    Jumlah data supply-chain tumbuh secara eksponensial, dan perusahaan-perusahaan mulai kewalahan dalam memanfaatkan secara efektif informasi yang tersedia. Penelitian baru mengungkapkan strategi yang dapat mereka adopsi untuk membantu memanfaatkan kekuatan big data.
  7. Georgia researchers are studying the ways AI can reduce traffic accidents in Atlanta
    Kemacetan parah yang terjadi di Atlanta kebanyakan adalah akibat dari kecelakan di persimpangan-persimpangan besar. Untuk mengatasinya, peneliti di Georgia University melakukan studi untuk mengembangkan sistem berbasis citra untuk memantau dan mempelajari keamanan persimpangan besar menggunakan AI dan database real-time berbasis cloud.

Tutorial dan Pengetahuan Teknis

  1. Building a Distributed Log From Scratch, Part 1: Storage Mechanics
    Artikel ini adalah bagian pertama dari serangkaian artikel mengenai message log, membahas mengenai mengapa log penting dalam big data, dan bagaimana mekanisme penyimpanannya.
  2. A Gentle Introduction to Neural Machine Translation
    Penerjemah otomatis merupakan salah satu tugas yang paling menantang dalam bidang AI. Pada awalnya sistem berbasis aturan (rule-based) digunakan untuk menangani permasalahan ini, yang kemudian digantikan oleh metode statistik pada tahun 90an. Saat ini metode yang banyak digunakan adalah model deep neural network. Artikel ini menjelaskan mengenai tantangan yang dihadapi dalam pengembangan penerjemah otomatis dan efektifitas model neural machine translation.
  3. Parsing in Python: Tools and Libraries (Part 8)
    Bagian terakhir dari 8 artikel mengenai parsing dalam python. Mengupas dengan detail berbagai tools dan library dalam python yang dapat digunakan untuk melakukan data parsing, dan apa kelebihan dari masing-masing tool dan library tersebut. Pastikan anda membaca seri-seri sebelumnya.
  4. Elasticsearch for Dummies
    Blog post ini menjelaskan mengenai dasar-dasar Elasticsearch, kelebihannya, cara menginstalnya dan bagaimana mengindeks dokumen menggunakan Elasticsearch.
  5. Apache Mesos, Apache Kafka and Kafka Streams for Highly Scalable Microservices
    Artikel ini menjelaskan mengenai bagaimana membangun infrastuktur mikroservis yang skalabel dan mission-critical menggunakan Apache Kafka, Kafka Streams API, dan Apache Mesos di dalam platform Confluent dan Mesosphere.
  6. A Primer on Web Scraping in R
    Mengakses informasi dari halaman web seringkali membutuhkan usaha ekstra. Sebenarnya banyak package yang telah tersedia dalam R untuk mempermudah data saintis yang ingin mengakses data tersebut. Artikel ini membahas beberapa di antaranya, lengkap dengan contoh langkah demi langkah penggunaannya.

Rilis Produk

  1. Apache BookKeeper 4.6.0
    Apache BookKeeper 4.6.0 mencakup peningkatan kinerja, sebuah API baru yang menggunakan Builder pattern, sebuah admin API baru, dan masih banyak lagi.
  2. Apache NiFi 1.5.0
    Rilis Apache NiFi 1.5.0 mencakup perbaikan support untuk Apache Kafka, integrasi dengan apache Atlas untuk lineage, perbaikan untuk KErberos handling, integrasi dengan NiFi registry untuk versi dan manajemen definisi flow, dan lain sebagainya.
  3. Apache MADlib 1.13
    Apache MADlib memungkinkan big data machine learning dari SQL. Rilis 1.13 mencakup perbaikan bugs dan fitur-fitur baru, termasuk implementasi HITS dan peningkatan untuk KNN.
  4. Apache Sentry 1.7.1
    Versi 1.7.1 of Apache Sentry dirilis dengan perbaikan security untuk CVE.
  5. Apache Samza 0.14.0
    Rilis 0.14.0 mencakup perbaikan kinerja (dengan RocksDB untuk status lokal, incremental checkpoint dan permintaan asinkronus ke servis eksternal), sebuah API baru untuk complex stream processing, sistem input/output yang pluggable, dan berbagai perbaikan yang memudahkan deployment cluster berskala besar.
  6. Apache HBase 1.4.0
    Apache HBase 1.4.0 mencakup lebih dari 660 issue. Fitur utama termasuk shaded client yang diharap dapat meningkatkan kompatibiltas, peningkatan terhadap autorestart, peningkatan metric RegionServer, dan lain-lain.
  7. Strimzi 0.1.0
    Rilis perdana dari Strimzi, yaitu sekumpulan image dan template konfigurasi untuk mendeploy Apache Kafka di atas Kubernetes/OpenShift.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Jan 09 / 2018
  • Comments Off on Seputar Big Data – 8 Topik Tutorial dan Artikel Teknis Pilihan 2017
Apache, Big Data, Hadoop, Implementation

Seputar Big Data – 8 Topik Tutorial dan Artikel Teknis Pilihan 2017

Berikut ini kami sajikan kembali artikel-artikel pilihan selama 2017 dari segmen tutorial dan teknis, yang kami rangkum dalam 8 topik utama.

1. Data Wrangling and Cleaning

Pemrosesan data merupakan tulang punggung big data. Semakin besar dan kompleks data yang diproses, prinsip garbage in-garbage out menjadi semakin penting. Berikut ini beberapa tutorial dan tips data cleansing dan data wrangling.

Pandas Cheat Sheet: Data Science and Data Wrangling in Python
Pengenalan singkat mengenai bagaimana menggunakan Pandas untuk melakukan data wrangling dengan Python.

DZone Big Data – Parsing and Querying CSVs With Apache Spark
Bagaimana memecah dan melakukan query data berformat CSV menggunakan Apache Spark dengan menggunakan SQLContext.

Python Pandas Tutorial: DataFrame Basics
DataFrame adalah struktur data yang paling banyak digunakan dalam Python Pandas. Tutorial ini menjelaskan beberapa metode penggunaan DataFrame.

Data Cleaning and Wrangling With R
10 tips untuk melakukan data cleansing dan wrangling menggunakan R.

2. Analytics dan Data Science

Data acquisition in R (1/4)
Serangkaian artikel mengenai proses data akuisisi, analisis sampai visualisasi dalam R

Ultra-fast OLAP Analytics with Apache Hive and Druid – Part 1 of 3
Bagian pertama dari 3 seri tulisan mengenai bagaimana melakukan OLAP analisis super cepat menggunakan Apache Hive dan Druid. Druid adalah data store terdistribusi berorientasi kolom, yang sesuai untuk low latency analytics.

3. Data Visualization

Langkah terakhir dan merupakan suatu hal yang sangat penting dalam data science dan machine learning adalah bagaimana menyajikannya sehingga data tersebut dapat ‘bercerita’. Oleh karena itu visualisasi data menjadi bagian yang penting. Berikut ini beberapa artikel pilihan mengenai tutorial dan contoh kasus yang menarik.

Creating Data Visualization in Matplotlib
Menampulkan beberapa grafik yang bermanfaat untuk berbagai macam analisis, dan bagaimana sebaiknya grafik tersebut disajikan agar data anda dapat ‘bercerita’.

Visualizing Tennis Grand Slam Winners Performances
Visualisasi data dalam bidang olah raga adalah salah satu cara untuk membandingkan kekuatan dan kelemahan para juara dari masa ke masa. Dalam tutorial ini ditunjukkan bagaimana plot dan grafik dapat membantu dalam membandingkan performance pemain tersebut. Data yang digunakan adalah data Tennis Grand Slam Tournaments yang ditampilkan situs ESP di tabel ESPN site tennis history.

Facets: An Open Source Visualization Tool for Machine Learning Training Data
Bekerjasama dengan PAIR initiative, google team merilis Facets, sebuah tools open source visualisasi yang dapat digunakan untuk membantu memahami dan menganalisa data XML. Facets terdiri dari dua visualisasi yang memungkinkan pengguna untuk memperoleh gambaran holistik dari data-data yang dimiliki.

4. Realtime and Stream Processing

Pemrosesan waktu nyata dan pemrosesan stream merupakan topik yang penting dalam big data, karena semakin banyak sistem yang menghasilkan data dan memerlukan monitoring serta feedback secara realtime. Berikut ini

An Introduction to Kafka Streams
Kafka, secara singkat, adalah sistem fault tolerant distributed publish-subscribe messaging system, yang dirancang untuk pemrosesan data dengan cepat dan memiliki kemampuan untuk menangani ratusan ribu pesan. Kafka Streams adalah library untuk membangun aplikasi streaming yang dapat melakukan transformasi pada aliran data yang masuk.

Streaming in Spark, Flink, and Kafka
Banyak hal yang digaungkan mengenai penggunaan Spark, Flink dan Kafka. Tulisan berikut akan membahas mengenai kelebihan dan perbandingan antara ketiganya.

Performance Tuning of an Apache Kafka/Spark Streaming System
Pada artikel ini akan dijelaskan bagaimana meningkatkan performance hingga 10 x pada aplikasi Apache Kafka/Spark Stream/Apache ignite.

Self-Learning Kafka Streams With Scala: Part 1
Tutorial untuk mengenal Apache Kafka dengan menggunakan Scala

Event-time Aggregation and Watermarking in Apache Spark’s Structured Streaming
Artikel ini merupakan seri ke 4 dari serangkaian artikel mengenai pemrosesan yang kompleks terhadap data streaming menggunakan Spark. Di sini dijelaskan mengenai bagaimana meng-agregasi data real time dengan Structured Streaming, dan mengenai bagaimana menangani event yang terlambat masuk dengan mekanisme Watermarking.

5. Benchmark & Comparison

Dengan begitu banyaknya platform, tools, framework dan berbagai komponen yang mendukung big data, salah satu hal yang penting untuk dilakukan untuk menentukan mana yang paling tepat untuk kita adalah dengan melakukan benchmark dan perbandingan. Berikut ini beberapa benchmark dan komparasi, serta sebuah artikel menarik mengenai bagaimana hasil benchmark yang dilakukan Databrick ternyata kurang tepat karena adanya bug dalam data generator yang digunakan.

Performance comparison of different file formats and storage engines in the Hadoop ecosystem
Perbandingan kinerja Apache Avro, Apache Parquet, Apache HBase dan Apache Kudu untuk mengevaluasi efisiensi, ingestion performance, analytic scans and pencarian data secara random pada data layanan CERN Hadoop.

Apache Arrow vs. Parquet and ORC: Do we really need a third Apache project for columnar data representation?
Setelah Apache Parquet dan ORC, muncullah Apache Arrow sebagai representasi format data kolumnar. Apakah kemunculan Arrow menawarkan kelebihan atau perbedaan dibanding dua format yang lainnya? Artikel ini membahas dengan detail mengenai kolumnar data format dan perbandingan di antara ketiga format tersebut, lengkap dengan benchmark.

PyTorch vs TensorFlow — spotting the difference
Saat ini terdapat beberapa framework untuk deep learning yang cukup populer. Dua di antaranya adalah PyTorch dan Tensorflow. Artikel ini mengupas perbedaan di antara keduanya, lengkap dengan Jupyter notebook untuk membandingkan kinerja keduanya dalam beberapa aplikasi.

Benchmark: Sub-Second Analytics with Apache Hive and Druid
Bagian ke 2 dari artikel ultra fast analytics dengan Apache Druid. Pada bagian ini ditampilkan hasil benchmarking OLAP dengan skala 1TB, dan response time yang benar-benar interaktif.

The Curious Case of the Broken Benchmark: Revisiting Apache Flink® vs. Databricks Runtime
Tidak semua hal di internet itu benar. Termasuk juga hasil benchmark. Untuk memvalidasi suatu hasil perbandingan atau benchmark, cara yang paling tepat adalah melakukannya dengan use case kita sendiri. Artikel ini merupakan contoh kasus di mana hasil sebuah benchmark antara Apache Spark, Apache Flink, dan Apache Kafka Streams bisa berbeda karena adanya bug dalam data generator yang digunakan untuk masukan, dan perubahan pada konfigurasi.

6. Machine Learning

Machine learning menjadi salah satu teknologi yang paling banyak berkembang dan diterapkan dalam big data, dan menjadi salah satu keahlian yang akan banyak dibutuhkan dalam tahun-tahun mendatang. Berikut ini beberapa tutorial pengenalan machine learning yang menarik untuk disimak kembali.

A Visual Introduction to Machine Learning
Dalam machine learning, komputer menerapkan teknik-teknik statistik untuk mengidentifikasi pola dalam data secara otomatis. Teknik ini dapat digunakan untuk membuat prediksi yang sangat akurat. Dalam tutorial ini ditunjukkan dengan jelas bagaimana langkah yang diambil dalam merancang sebuah proses machine learning, dan bagaimana membaca data yang dihasilkan, serta apa yang harus dilakukan untuk mendapatkan hasil yang dibutuhkan.

Top 10 Machine Learning Algorithms for Beginners
Pengantar untuk pemula, mengenai 10 algoritma terpopuler, lengkap dengan gambar dan contoh untuk memudahkan pemahaman.

Great Collection of Minimal and Clean Implementations of Machine Learning Algorithms
Artikel ini mengumpulkan beberapa algoritma dasar machine learning, yang diimplementasikan secara sederhana dan ‘clean’. Di antaranya adalah: deep learning, regresi, random forest, SVM, k-nearest neighbor, naive bayes, dan k-means clustering.

Machine Learning Exercises in Python: An Introductory Tutorial Series
Sebuah artikel yang menyajikan ringkasan dari rangkaian tutorial dan latihan mengenai Machine Learning yang dibuat oleh Andrew Ng dalam site Coursera. Tutorial ini menggunakan bahasa pemrograman Python.

Getting Started with TensorFlow: A Machine Learning Tutorial
Tutorial pengenalan Tensorflow yang cukup detail, lengkap dengan contoh untuk dicoba secara hands-on.

7. Deep Learning

Data berukuran sangat besar dengan atribut yang banyak memberi tantangan tersendiri dalam penerapan machine learning. Deep learning kerap kali dipilih karena teknik ini dianggap paling sesuai untuk data dengan karakteristik tersebut. Berikut ini beberapa artikel pilihan mengenai deep learning yang telah disajikan selama 2017.

Deep Learning in Minutes with this Pre-configured Python VM Image
Sekumpulan tools dan library deep learning berbasiskan Python yang dipaketkan dalam sebuah virtual machine dan siap untuk digunakan.

Deep Learning Zero to One: 5 Awe-Inspiring Demos with Code for Beginners, part 2
Beberapa contoh dan demo aplikasi deep learning yang menarik yang langsung dapat diunduh dan dijalankan. Tanpa matematika. Tanpa teori. Tanpa buku.
Termasuk di dalamnya adalah : Pencarian artis menggunakan perintah suara di Spotify Artist, Symbolic AI Speech Recognition, dan Algorithmia API Photo Colorizer yang dapat mewarnai gambar hitam putih secara otomatis.

Medical Image Analysis with Deep Learning
Sebuah tutorial singkat mengenai dasar image processing, pengenalan dasar format gambar dalam bidang medis dan visualisasi data-data medis. Merupakan artikel pertama dari beberapa seri artikel.

When not to use deep learning
Meskipun telah banyak keberhasilan dalam penerapan Deep Learning, namun ternyata tidak selamanya deep learning menjadi solusi yang tepat. Dalam artikel ini dibahas 4 situasi ketika deep learning justru menjadi penghalang.

8. Case Implementation example

Beberapa contoh implementasi menarik, mulai dari twitter bot, churn modelling sampai GBoard, yang dapat menjadi inspirasi dan motivasi bagi anda yang ingin mengetahui berbagai penerapan big data.

How to set up a Twitter bot using R
Dalam rangka dirilisnya package R ke 10.000 di CRAN, eoda menjalankan akun Twitter yang otomatis menampilkan jumlah package yang tersedia di CRAN sampai package ke 10 ribu tercapai pada tanggal 28 Januari 2017. Artikel ini menjelaskan mengenai cara set up account Twitter tersebut dengan R script.

Journey Science: Combining 18 Data Sources + 1 Billion Interactions to take UX to The Next Level
Journey Science, yang menyatukan data dari berbagai aktifitas pelanggan, telah menjadi bagian penting bagi industri telekomunikasi. Data tersebut dapat digunakan untuk meningkatkan customer experience dan retention. Dengan menggunakan insight yang didapat dari customer journey analytics, bisnis telekomunikasi dapat mengukur user experience dengan lebih baik, dan membuat keputusan yang tepat untuk meningkatkannya. Mulai dari melakukan tindakan proaktif untuk kepuasan pelanggan, namun juga untuk memprediksi dan mengantisipasi kegagalan yang mungkin terjadi di masa datang. Berikut ini sekilas mengenai bagaimana memanfaatkan customer journey untuk meningkatkan pelayanan dan kepuasan pelanggan.

Feature Engineering for Churn Modeling
Churn model dapat membantu dalam menentukan alasan utama customer berhenti menggunakan produk atau layanan anda, namun faktor apa yang akan ditest dan dimasukkan ke dalam model, tergantung keputusan dari data saintist. Proses ini disebut dengan rekayasa fitur (feature engineering).

StreamING Machine Learning Models: How ING Adds Fraud Detection Models at Runtime with Apache Flink®
Artikel ini menjelaskan bagaimana ING menggunakan Apache Flink untuk risk engine mereka. Mereka menggunakan Apache Spark, Knime, dan Apache Zeppelin untuk training model secara batch dan menggunakan Flink untuk komponen real-time. Mereka menggunakan data PMML, yang dikirim melalui Kafka, untuk memperbarui aplikasi Flink. Arsitektur yang digunakan memungkinkan mereka menerapkan algoritma baru dengan zero downtime, seketika.

The Machine Intelligence Behind Gboard
Bagaimana Gboard mendeteksi kesalahan ketik dan melakukan autocorrect? Tools yang digunakan sama dengan yang dipakai untuk melakukan speech recognition, yaitu machine learning. Artikel ini mengupas secara teknis bagaimana penerapan machine learning dalam meningkatkan kinerja Gboard.

Log Analytics With Deep Learning And Machine Learning
Paparan yang cukup lengkap dan menarik mengenai deep learning dan machine learning.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Dec 29 / 2017
  • Comments Off on Seputar Big Data Edisi #44 [Kilas Balik 2017]
Apache, Artificial Intelligece, Big Data, Blockchain, Hadoop, Implementation, IoT

Seputar Big Data Edisi #44 [Kilas Balik 2017]

Edisi terkahir di tahun 2017 akan menampilkan beberapa berita yang dikutip dari berbagai site selama tahun 2017 yang akan sangat menarik jika dibaca kembali. Mulai dengan rilis baru Hadoop 3.0, penerapan Big Data di pemerintahan Indonesia seperti BI, Dirjen Pajak dan PT POS hingga berita tentang sebuah robot yang memperoleh status kewarganegaraan.

  1. The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability
    Apache Hadoop 3.0.0 akhirnya dirilis minggu lalu. Beberapa fitur penting yang ditambahkan adalah HDFS erasure encoding, a preview dari v2 YARN Timeline Service, peningkatan YARN/HDFS Federation, dan lain sebagainya.
  2. Big Data Is the New Push for Bank Indonesia
    Seperti halnya bank central di negara lain seperti Rusia, China, Inggris dan lainnya, Bank Indonesia beralih menggunakan mesin atau yang sering disebut dengan istilah Big Data, untuk membantu membuat kebijakan menjadi lebih efektif.
  3. Usai Paradise Papers, DJP Bakal Punya Big Data Pajak dari AEoI
    Direktorat Jenderal Pajak (DJP) Kementerian Keuangan akan memiliki data dengan skala besar dan valid dari otoritas pajak seluruh negara saat implementasi pertukaran data secara otomatis (Automatic Exchange of Information/AEoI) per September 2018
  4. PT Pos Bangun Big Data Analytic
    Hingga kini, baru 36 persen masyarakat Indonesia yang memiliki akun bank. Sedangkan 64 persen masyarakat yang tinggal di pelosok belum tersentuh keuangan inklusif karena sulitnya akses ke perbankan. Untuk membantu masyarakat tersebut, PT Pos tengah membangun big data analytic. Lewat big data analytic, Pos akan membuat kredit skoring yang nantinya bisa dikerjasamakan dengan perbankan untuk penyaluran pembiayaan.
  5. Saudi Arabia grants citizenship to a robot for the first time ever
    Sebuah berita cukup menjadi sorotan, dimana sebuah robot bernama Sophia diberi status kewarganegaraan oleh pemerintah Arab Saudi. Hal ini merupakan sebuah tonggak sejarah akan kebangkitan teknologi AI.
  6. Top Trends in the Gartner Hype Cycle for Emerging Technologies, 2017
    Garner merilis The Gartner Hype Cycle for Emerging Technologies 2017, yang berfokus pada 3 mega trend, yaitu Artificial Intelligent, Transparently Immersive Experiences dan Digital Platforms. Para arsitek dan inovator teknologi harus mengeksplorasi dan memahami 3 mega trend tersebut untuk dapat melihat dampaknya terhadap bisnis.
  7. How Big Data Mines Personal Info to Craft Fake News and Manipulate Voters
    Banyak orang memasang atau membagikan status dan content lain di media sosial dengan maksud mempengaruhi orang lain. Tapi bagaimana jika justru status dan posting kita itu dipergunakan untuk mempengaruhi kita sendiri? Cambridge Analytica, salah satu perusahaan di balik kampanye Donald Trump, mengungkapkan mengenai “psychographic profiling”, yaitu memanfaatkan data-data sosial media untuk membentuk kampanye yang sesuai dengan profil emosi dan psikologis pengguna sosial media.
  8. The 10 Coolest Big Data Startups Of 2017 (So Far)
    Banyak startup yang bermain di area big data memfokuskan diri untuk memberikan solusi terhadap masalah dalam menghubungkan sumber data yang berbeda dan memindahan data ke dalam cloud untuk memudahkan akses dan analisa. Ada juga tren yang sedang berkembang yaitu penggunaan machine learnig dan artificial intelligence dalam aplikasi big data untuk membuat sistem yang lebih cerdas.
  9. What Amazon taught us this week: Data-centric companies will devour competitors
    Apa sebenarnya keuntungan yang bisa didapatkan Amazon dengan akuisisi jaringan retail Whole Foods, terutama dari sisi penguasaan data dan pemanfaatannya? Berikut ini analisis dan beberapa pelajaran yang didapat dari langkah yang diambil Amazon tersebut.
  10. Guizhou to become China’s ‘Big Data Valley’
    Akhir Mei lalu puluhan ribu pengunjung memadati “International Big Data Industry Expo 2017” yang diselenggarakan di Guizhou, China. Saat ini Guizhou dikembangkan sebagai “Big Data Valley”-nya China, yang menjadi tempat yang menarik bukan hanya bagi start-up, namun juga bagi industri besar seperti misalnya Alibaba, Qualcomm, IBM, Huawei, Tencent, Baidu, Lenovo dan Foxconn.
  11. Cloudera Announces Pricing of Initial Public Offering, Marking its Debut as a Public Company
    Cloudera memulai hari sebagai sebuah perusahaan terbuka dengan melakukan penawaran saham perdana seharga $15. Pada akhir hari mengalami peningkatan harga sebesar 20%.
  12. Firing on All Cylinders: The 2017 Big Data Landscape
    Pada tahun 2017 ini adalah sebuah phase penerapan Big Data dalam segala bidang, yang membuat istilah Big Data itu sendiri berangsur menghilang. “Big Data + AI” menjadi suatu pasangan yang digunakan banyak aplikasi modern yang dibangun, baik untuk penerapan terhadap konsumen maupun perusahaan.
  13. Gartner’s 2017 Take on Data Science Software
    Gartner telah merilis Gartner Magic Quadran for Data Science Platforms 2017. Dari sekitar 100 perusahaan yang menjual software data sains, Gartner memilih 16 perussahaan yang memiliki pendapatan tinggi atau pendapatan rendah tetapi pertumbuhan yang tinggi. Setelah mendapat masukan baik dari pelanggan maupun perwakilan perusahaan, Gartner memberikan nilai pada perusahaan dengan kriteria “kelengkapan visi” dan “kemampuan untuk melaksanakan” visi tersebut.
  14.  

    Contributor :


    Tim idbigdata
    always connect to collaborate every innovation 🙂
Pages:12345
Tertarik dengan Big Data beserta ekosistemnya? Gabung