:::: MENU ::::

Posts Tagged / IoT

  • Sep 19 / 2019
  • Comments Off on Seputar Big Data edisi #74
Apache, Artificial Intelligece, Big Data, IoT, Social Media

Seputar Big Data edisi #74

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data dan AI yang dikutip dari berbagai site. Berikut ini beberapa hal dan topik menarik yang layak untuk dibaca kembali hingga pertengahan bulan September 2019

Artikel dan berita

  1. Jutaan Data Penumpang Lion Air Dilaporkan Bocor di Forum Internet
    Puluhan juta data penumpang dua maskapai penerbangan milik Lion Air kabarnya beredar di forum pertukaran data sejak sebulan lalu. Data-data itu diakses dalam penyimpanan cloud Amazon Web Services (AWS) yang dibuka lewat web.
  2. Database leaks data on most of Ecuador’s citizens, including 6.7 million children
    Kebocoran data besar-besaran mengekspos data pribadi lengkap dari hampir setiap individu di Ekuador. Insiden ini berdampak pada sekitar 20 juta orang (sebagai referensi, Ekuador memiliki populasi sekitar 17 juta). Data yang terekspos termasuk 6,7 juta anak di bawah umur dan data presiden Ekuador sendiri.
  3. What’s next for big data after a turbulent 2019?
    Selama awal hingga pertengahan tahun 2019 dipenuhi dengan guncangan yang cukup dahsyat dalam bidang big data dan analisa data. Ditandai dengan gelombang akuisisi yang tampaknya tidak ada habisnya. Diiringi dengan naik turunnya saham vendor Big Data dunia.
  4. Digital transformation in aviation: Big data, IoT, AI & mobility
    Sejak revolusi digital yang dimulai hampir seperempat abad lalu, industri penerbangan selalu berada di garis depan transformasi digital. Saat ini semakin banyak perusahaan yang sangat menyadari kunci dari pemanfaatan penuh potensi pasar penerbangan adalah dengan menawarkan solusi terobosan bentuk baru dengan memanfaatkan teknologi digital.
  5. Can AI Save Our Oceans? Let’s Start With The Data.
    Dekade terakhir ini lautan berada dalam krisis yang sangat mengkhawatirkan dan dapat membahayakan seluruh umat manusia. Masalah serius yang dihadapi mulai dari perubahan iklim, pencemaran plastik hingga penangkapan ikan berlebihan.

Tutorial dan pengetahuan teknis

  1. The 5 Classification Evaluation metrics every Data Scientist must know
    Jika telah selesai membuat model klasifikasi, hal berikutnya adalah mengevaluasi model tersebut untuk meningkatkan akurasinya. Tapi apakah kita hanya menggunakan akurasi sebagai metrik kinerja model kita?
  2. A Quick Introduction To Deep Learning
    Selama beberapa tahun terakhir, deep learning telah meninggalkan laboratorium penelitian untuk menaklukkan dunia nyata. Hasil spektakuler telah dibuat oleh Google, Amazon, Facebook atau pun Microsoft, melalui penggunaan algoritma deep learning telah mendapat eksposur yang luar biasa dari media.
  3. BERT, RoBERTa, DistilBERT, XLNet: Which one to use?
    Hadirnya Google BERT telah menghebohkan dunia NLP. BERT mampu mengungguli metode NLP lainnya. Artikel ini akan membandingkan antara berbagai metode BERT dan turunannya, sehingga kita dapat memilih mana yang paling sesuai untuk kebutuhan.
  4. Social Network Visualization with R
    Analisis dan visualisasi data jejaring sosial menggunakan R, langkah demi langkah lengkap dengan source code.
  5. Doing Multivariate Time Series Forecasting with Recurrent Neural Networks
    Perkiraan Time Series adalah area penting dalam Pembelajaran Mesin. Dengan perkembangan terkini dalam jaringan syaraf tiruan, kita dapat mengatasi berbagai masalah yang sulit dilakukan dengan pendekatan prediksi deret waktu klasik. Artikel ini menjelaskan bagaimana cara menggunakan Keras ‘Long-Short Term Memory (LSTM) untuk Time Series Forecasting dan MLFLow untuk menjalankan model pelacakan.
  6. Using Jakarta EE/MicroProfile to Connect to Apache Kafka: Part Two
    Ekstensi CDI adalah mekanisme di mana kita dapat mengimplementasikan fungsionalitas tambahan di atas CDI container. Ekstensi ini memungkinkan Jakarta EE / MicroProfile untuk terus mengembangkan ekosistem mereka dengan lebih banyak kerangka kerja dan integrasi. Posting ini akan membahas tentang opsi lain untuk mengintegrasikan Jakarta EE / MicroProfile dengan Apache Kafka. Posting pertama dalam seri ini dapat ditemukan di sini : https://dzone.com/articles/using-jakarta-eemicroprofile-to-connect-to-apache.

Rilis Produk

  1. Apache Calcite 1.21.0 released
    Rilis ini mencakup lebih dari 100 penyelesaian issue, termasuk di dalamnya banyak fitur baru, peningkatan secara umum, maupun perbaikan bugs. Calcite adalah framework manajemen data dinamis, yang mendukung berbagai bahasa dan data engine, serta menyediakan SQL parser.
  2. Announcing the General Availability of Cloudera Streams Management
    Cloudera memperkenalkan bundel manajemen dan monitoring untuk Kafka : Cloudera Streams Management (CSM).
  3. Announcing Two New Natural Language Dialog Datasets
    Google merilis 2 dataset baru yang berisi percakapan dalam bahasa Inggris, yang dapat digunakan untuk melatih asisten digital.

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • May 08 / 2019
  • Comments Off on Apa Itu Industri 4.0?
Artificial Intelligece, Big Data, IoT, Social Media

Apa Itu Industri 4.0?

Saat ini dunia sedang memasuki era transformasi yang disebut dengan Industri 4.0. Perusahaan, organisasi, dan bahkan pemerintah menggaungkan persiapan dan kesiapan untuk menyongsongnya. Apa sebenarnya Industri 4.0 ini?

Industri 4.0 adalah sebuah perubahan besar yang ke 4 dalam dunia industri, atau disebut juga dengan revolusi industri ke 4. Sebelumnya dunia industri mengalami perubahan besar yang melalui beberapa fase. Fase pertama adalah revolusi industri yang muncul pada abad ke 18, dengan mulai digunakannya mesin uap dan mekanisasi produksi. Revolusi kedua dimulai di abad ke 19 dengan ditemukannya listrik dan lini perakitan (assembly line) yang memungkinkan dilakukannya produksi massal secara lebih cepat. Revolusi ketiga dimulai pada abad ke 20, tepatnya di tahun 70-an melalui penggunaan komputer dan PLC (programmable logic control). Dengan teknologi tersebut saat ini kita dapat mengotomasi seluruh proses produksi dengan sesedikit mungkin campur tangan manusia.

Pada era industri 4.0 ini, kombinasi antara komputer dan sistem otomasi memiliki bentuk yang baru, yang dikenal dengan nama Cyber Physical System (CPS). Sistem ini terdiri dari mesin cerdas, sistem penyimpanan dan fasilitas produksi yang mampu untuk saling bertukar data, memicu tindakan dan saling mengendalikan satu sama lainnya. Robot dan mesin produksi dengan ribuan sensornya yang merupakan physical system terkoneksi melalui jaringan atau internet ke sistem komputasi yang diperkuat dengan algoritma kecerdasan buatan dan mampu mengendalikannya dengan sedikit intervensi dari manusia.

Revolusi ke 4 ini ditandai dengan pemanfaatan teknologi informasi dan komunikasi. Ciri-cirinya adalah interkonektivitas atau kesalingterhubungan serta sistem cerdas dan otomasi.

Ada 9 komponen yang dianggap sebagai pilar dari Industri 4.0, yaitu :

  1. Big Data and Analytics
    Mesin dan sensor yang saling terhubung menghasilkan data yang sangat besar. Data ini menunjukkan berbagai hal yang berkaitan dengan pemeliharaan, kinerja, dan permasalahan lain. Dengan mengolah data tersebut, dapat diketahui pola dan insight dalam waktu yang singkat, yang mustahil dilakukan oleh manusia. Dengan teknologi ini, industri dapat melakukan optimasi dan perencanaan dengan jauh lebih efisien dan efektif terhadap kegiatan operasional maupun bisnis.
  2. Autonomous Robot
    Sebelumnya robot hanya digunakan oleh industri dan organisasi besar, namun teknologi ini akan menjadi jauh lebih murah dan memiliki jangkauan kemampuan yang lebih besar daripada yang telah digunakan dalam manufaktur saat ini.
  3. Simulation
    Simulasi atau virtual reality, disebut juga dengan digital twin, dapat digunakan untuk melakukan training dan perencanaan. Prinsipnya adalah membuat ‘salinan digital’ dari aset, produk, bahkan manusia, termasuk fungsi dan perilakunya, dari data-data yang dikumpulkan sebanyak mungkin dan sedetail mungkin. Hal ini memungkinkan kontrol dan optimisasi serta deteksi masalah sedini mungkin, sehingga meningkatkan kualitas produk dan mengurangi waktu pengaturan dan waktu henti (down time). NASA menggunakan digital twin ini untuk memantau seluruh Space Center mereka.
  4. Integrasi sistem secara horizontal dan vertikal
    Dengan sistem cerdas dan perangkat IoT, perusahaan, departemen, supplier maupun customer akan menjadi lebih kohesif dan terhubung. Dengan integrasi sistem secara horizontal dan vertikal, informasi akan berjalan mulus dalam rantai produksi, yang memungkinkan.
  5. Industrial Internet of Things (IIoT)
    IIoT dapat digambarkan sebagai jaringan perangkat yang memiliki kecerdasan lokal, yang memungkinkan komunikasi dan interaksi antara berbagai perangkat, mesin, dan produk. Hal ini juga akan dapat mendesentralisasikan proses analitik dan pengambilan keputusan, sehingga memungkinkan respon real time. IIoT saat ini sudah banyak dipergunakan, misalnya untuk keperluan smart metering, asset tracking, monitoring pengiriman secara real-time, dan lain sebagainya.
  6. Augmented Reality
    Berbeda dengan simulasi, augmented reality menggabungkan dunia nyata dan virtual dengan menambahkan informasi berupa teks, gambar, suara, dan lain sebagainya untuk meningkatkan kualitas interaksi pengguna dengan dunia nyata. AR dapat digunakan untuk menghemat biaya produk trial dan display, maupun untuk keperluan training di mana kondisi nyata terlalu berbahaya atau mahal secara biaya atau waktu. Dipopulerkan dan dikenal di seluruh dunia melalui permainan dan aplikasi seperti Pokemon Go, saat ini perusahaan-perusahaan telah memperkenalkan teknologi ini ke bisnis dan aplikasi mereka. IKEA misalnya, menggunakan AR yang memungkinkan pelanggan melihat furnitur terlihat seperti berada di ruangan di rumah mereka, dengan menggunakan data berdasarkan ukuran dan warna.
  7. Cloud
    Berbagai teknologi yang melandasi industri 4.0, seperti digital twin dan IIoT memerlukan sharing data lintas mesin, lintas sistem, tempat, bahkan organisasi. Sejalan dengan itu, kinerja teknologi cloud akan terus berkembang, sehingga waktu reaksinya dapat mencapai milisecond. Hal ini akan mendorong semakin banyaknya mesin dan fungsionalitas yang di-deploy ke atas cloud, mendorong sistem produksi dan rantai pasokan yang lebih bersifat data-driven.
  8. Additive manufacturing
    Manufaktur aditif didefinisikan sebagai proses penggabungan bahan untuk membuat objek dari data model 3D. Metode ini biasanya dilakukan lapis demi lapis, berbeda dengan manufaktur subtraktif yang umum dilakukan saat ini. Metode manufaktur aditif yang kita kenal sekarang adalah 3D printing. Teknologi ini semula lebih banyak digunakan untuk keperluan prototyping, namun saat ini sudah mulai banyak digunakan juga untuk proses produksi, misalnya menyediakan komponen pengganti atau barang yang bernilai tinggi dengan volume rendah.
  9. Cyber Security
    Dengan meningkatnya konektivitas berbagai sistem dan perangkat, resiko ancaman dan serangan dunia maya juga akan meningkat. Karena itu sangat penting bagi perusahaan yang beroperasi di industri 4.0 untuk memiliki fokus pada keamanan siber dan memahami bagaimana mereka dapat melindungi data mereka dan meminimalkan resiko tersebut.

Meskipun Industri 4.0 dalam bentuk yang utuh mungkin masih belum akan kita lihat dalam beberapa tahun ke depan, namun teknologi yang mendasarinya sudah banyak digunakan.
Transformasi digital pun terus bergerak dengan cepat. Mobile internet dengan infrastrukturnya yang semakin memadai. Implementasi cloud computing yang semakin meluas dan biayanya semakin terjangkau. Semua perkembangan tersebut akan menjadi stimulus revolusi industri 4.0, yang akan membawa perubahan radikal di segala sektor industri. Pertanyaan akhirnya adalah : apakah kita siap?

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Mar 22 / 2019
  • Comments Off on Seputar Big Data edisi #66
Apache, Artificial Intelligece, Big Data

Seputar Big Data edisi #66

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ketiga bulan Maret 2019.

Artikel dan berita

  1. Big data AI startup Noble.AI raises a second seed round from a chemical giant
    Noble.AI, sebuah perusahaan AI berbasis yang mengklaim dapat mempercepat pengambilan keputusan dalam R&D, mendapatkan pendanaan baru dari Solvay Ventures, cabang VC dari sebuah perusahaan kimia besar, Solvay SA. Meskipun ronde tersebut dirahasiakan, TechCrunch mengetahui bahwa total pendanaan yang diperoleh Noble.AI hingga saat ini adalah US$8,6 juta.
  2. Big Data – The Budget Myth
    Banyak departemen TI mengimplementasi big data dengan membuat anggaran untuk perangkat keras dan perangkat lunak saja. Mereka tidak menyadari bahwa keberhasilan solusi mereka di masa depan tergantung pada perencanaan anggaran yang efektif untuk beberapa area penting lainnya.
  3. Singapore’s Top 10 High Growth Analytics & AI Startups With The Highest Funding
    Investasi modal ventura di startup Singapura tumbuh subur beberapa tahun terakhir dengan banyak investasi di bidang AI, IoT, analitik, data sains, dan startup cloud. Artikel ini mengulas 10 startup terkemuka di bidang teknologi yang mendapat pendanaan terbesar dalam dua tahun terakhir di Singapura.
  4. UW campuses using big data to predict students at risk of dropping out
    University of Wisconsin System baru-baru ini menyewa jasa konsultan big data untuk membantu mengidentifikasi siswa yang berisiko dan menyelamatkan mereka dari drop out. UW menandatangani kontrak untuk lima tahun senilai $10,8 juta. UW mendapatkan akses ke perangkat lunak analitik prediktif yang menghitung “skor risiko” siswa berdasarkan demografi, nilai tes dan transkrip sekolah menengah mereka.
  5. Researchers teach neural networks to determine crowd emotions
    Para ahli dari Higher School Of Economics telah mengembangkan suatu algoritma yang mendeteksi emosi dari sekelompok orang pada video berkualitas rendah. Solusi ini memberikan keputusan hanya dalam seperseratus detik, lebih cepat daripada algoritma lain yang ada, dengan akurasi yang sama. Hasilnya dijelaskan dalam makalah ‘Emotion Recognition of a Group of People in Video Analytics Using Deep Off-the-Shelf Image Embeddings.’

Tutorial dan pengetahuan teknis

  1. How to Train a Keras Model 20x Faster with a TPU for Free
    Artikel ini menjelaskan bagaimana melatih Model LSTM menggunakan Keras dan Google CoLaboratory dengan TPU untuk mengurangi waktu pelatihan secara eksponensial dibandingkan dengan GPU pada mesin lokal Anda, secara gratis.
  2. A Gentle Introduction to Computer Vision
    Artikel ini menyajikan pengenalan terhadap bidang computer vision (CV), mencakup definisi, tujuan, tantangan dan apa task yang diselesaikan menggunakan CV.
  3. Harnessing Organizational Knowledge for Machine Learning
    Salah satu hambatan terbesar dalam mengembangkan aplikasi pembelajaran mesin (ML) adalah kebutuhan akan kumpulan data berlabel yang besar untuk melatih model. Google bekerja sama dengan Stanford dan Brown University, mengeksplorasi bagaimana pengetahuan yang ada dalam suatu organisasi dapat digunakan sebagai supervisi tingkat tinggi yang lebih ‘noisy’, atau sering disebut ‘weak supervision’, untuk melabeli kumpulan data training dengan cepat.
  4. Using Apache Spark to Query a Remote Authenticated MongoDB Server
    Apache Spark adalah salah satu alat open source paling populer untuk data besar. Pelajari cara menggunakannya untuk mengambil data dari server MongoDB jarak jauh.
  5. SOA vs. EDA: Is Not Life Simply a Series of Events?
    Kapan Anda harus menggunakan API? Kapan Anda harus menggunakan event? Sebagian besar arsitektur perangkat lunak kontemporer adalah gabungan dari dua pendekatan ini. Artikel ini mencoba menjelaskan dalam istilah awam apa itu arsitektur berbasis event (EDA) dan membandingkannya dengan arsitektur berorientasi layanan (SOA).
  6. The Importance of Data Lineage
    Dalam hal pengumpulan dan analisis yang akurat dari sejumlah besar informasi, data lineage merupakan aspek yang sangat penting. Artikel ini menjelaskan mengenai apa itu data lineage, dan mengapa data lineage perlu dicatat.
  7. Top R Packages for Data Cleaning
    Pembersihan data adalah salah satu tugas yang paling penting dan memakan waktu bagi para data saintis. Berikut ini adalah paket R paling populer untuk data cleansing.

Rilis Produk

  1. Apache Kudu 1.9.0 Released
    Rilis 1.9.0 ini adalah rilis minor yang mencakup perbaikan bugs, penambahan fitur, peningkatan dan optimasi.
  2. Apache NiFi 1.9.1 release
    Versi 1.9.1 ini adalah bug dan stability release.
  3. Apache Kylin 2.6.1 released
    Versi ini merupakan rilis bugfix sesudah versi 2.6.0, dengan 7 peningkatan fitur dan 19 perbaikan bugs. Apache Kylin adalah Engine analitik terdistribusi yang dirancang untuk memberikan antarmuka SQL dan analisis multidimensional di atas Apache Hadoop.

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Feb 13 / 2019
  • Comments Off on Seputar Big Data edisi #62
Artificial Intelligece, Big Data, IoT, Spark

Seputar Big Data edisi #62

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ke 2 bulan Februari 2019.

Artikel dan berita

  1. Databricks’ Recent $250 Mn Funding Shows How The Spark Creators Are Ahead In The AI Game
    Ali Ghodsi dan Matei Zaharia, penemu Spark dan pendiri Databricks, memanfaatkan perubahan tren dan kebutuhan Big Data dengan menyediakan platform analitik terpadu.
    Bahkan minggu lalu perusahaan yang berbasis di San Francisco tersebut kembali memperoleh putaran pendanaan blockbuster sebesar $250 juta, yang menjadikan nilai dari Databricks sekitar $2,75 miliar.
  2. How to Become a Data Engineer: A Guide
    Salah satu pekerjaan yang paling menarik dan diminati di seluruh dunia saat ini: big data engineer. Big data engineer adalah para profesional yang memproses kumpulan data besar untuk memberikan analisis pada organisasi atau perusahaan, yang selanjutnya dapat digunakan untuk membuat keputusan di masa depan untuk menghindari kesalahan.
  3. Pizza Delivery Businesses Turn to Big Data Analytics for Record Growth
    Big data analytic untuk bisnis pengiriman pizza ternyata memiliki dampak yang luar biasa. Akibatnya, banyak perusahaan pengiriman pizza berkembang pesat.
  4. Toyota’s moonshot: Self-driving car for sale — in a year
    Mereka menyebutnya sebagai Toyota’s moonshot: hanya dalam satu tahun, pembuat mobil terbesar di Jepang ingin mulai menjual kendaraan self-driving yang dikatakannya akan “most powerful supercomputer on wheels”. Milestone pertama yaitu pada tahun 2020, ketika Toyota berencana untuk memperkenalkan kendaraan yang mampu mengemudi sendiri di jalan raya.
  5. Contrasting Hortonworks (HDP) and Dropbox (DBX)
    Dropbox (NASDAQ: DBX) dan Hortonworks (NASDAQ: HDP) keduanya adalah perusahaan komputer dan teknologi, tetapi mana yang merupakan saham unggulan?
  6. Here’s How Big Data Is Transforming Augmented Reality
    Big data benar-benar mengubah fungsi AR dan VR. Artikel berikut menceritakan bagaimana perusahaan modern mengubah AR dari mimpi menjadi kenyataan dengan memanfaatkan kekuatan kumpulan data yang sangat luas.
  7. Here’s What Cybersecurity Experts Worry About This Year
    “Ancaman keamanan big data berikutnya sedang berlangsung,” demikian diungkapkan Jason Hong, associate professor dari the human computer interaction institute, Carnegie Mellon University.
  8. Why Cloudera Stock Gained 22.1% in January
    Saham Cloudera (NYSE: CLDR) naik 22,1% pada Januari, menurut data dari S&P Global Market Intelligence. Saham perusahaan ini sempat mengalami penurunan sekitar 35% dalam tiga bulan terakhir tahun 2018, tetapi diuntungkan dari rebound pasar saham di awal tahun 2019 dan beberapa klarifikasi tentang strateginya setelah merger dengan Hortonworks.

Tutorial dan pengetahuan teknis

  1. Perfume Recommendations using Natural Language Processing
    Doc2Vec, Latent Semantic Analysis, and Sentiment Analysis dapat digabungkan untuk membuat rekomendasi yang tepat dalam sebuah antarmuka chatbot.
  2. Best Public Datasets for Machine Learning and Data Science: Sources and Advice on the Choice
    Ribuan kumpulan data publik tentang berbagai topik – mulai dari tren kebugaran teratas dan resep bir hingga tingkat keracunan pestisida – tersedia online. Untuk menghabiskan lebih sedikit waktu dalam pencarian dataset yang tepat, kita harus tahu di mana mencarinya.
  3. Learning from Graph data using Keras and Tensorflow
    Ada banyak data yang dapat direpresentasikan dalam bentuk graph seperti di jejaring sosial, jaringan biologis atau telekomunikasi. Penggunaan fitur graph dapat meningkatkan kinerja model. Namun, merepresentasikan data graf tidak mudah. Artikel ini mengeksplorasi beberapa cara untuk menangani graf generik untuk melakukan klasifikasi node berdasarkan representasi graf yang dipelajari langsung dari data.
  4. Introduction to Apache Spark’s Core API (Part II)
    Dalam bagian kedua dari serial pengenalan Spark API ini dibahas mengenai fungsi dan method yang dapat digunakan untuk bekerja dengan pair RDD, dilengkapi beberapa contoh dalam Python.
  5. KubernetesExecutor for Airflow
    Dalam rilis 1.10 Airflow memperkenalkan executor baru untuk menjalankan worker secara terskala: Kubernetes executor. Artikel ini membahas mengenai apa itu Airflow dan masalah apa yang dipecahkannya, Kubernetes executor dan bagaimana perbandingannya dengan Celery executor, serta contoh penerapannya di minikube.

Rilis Produk

  1. Microsoft announces general availability of Azure Data Explorer and Azure Data Lake Storage Gen2
    Microsoft mengumumkan ketersediaan umum Azure Data Explorer (ADX) dan Azure Data Lake Storage Gen2 (ADLS Gen2) – dua layanan yang dikatakan akan memberi pelanggan Azure fleksibilitas yang lebih besar dalam mengelola data yang tidak terstruktur, atau data yang dihasilkan dari interaksi di web, software-as-a-service, media sosial, aplikasi seluler, dan perangkat iot.
  2. Black Knight Launches Rapid Analytics Platform, a Premier Cloud-Based Virtual Lab for Working with Big Data and Complex Analytics
    Black Knight, Inc. (NYSE: NYSE: BKI), penyedia terkemuka perangkat lunak, data, dan analisis terintegrasi untuk industri hipotek dan real estat, mengumumkan peluncuran Rapid Analytics Platform (RAP), sebuah lab analitik virtual interaktif yang inovatif dan interaktif di mana pengguna dapat menggunakan dan mengunggah data, mengeksekusi SQL query, melakukan analitik kompleks dan melatih model machine learning – semua dalam satu ruang kerja tunggal.
  3. Apache Solr 7.7.0 released
    Apache Solr 7.7.0 mencakup 7 fitur baru, 20 bug fixes, 15 peningkatan dan 8 perubahan lain. Pengguna Solr versi sebelumnya sangat disarankan melakukan upgrade ke versi ini terkait isu security, yaitu mekanisme whitelist pada manajemen “shards”.
  4. Introducing Ludwig, a Code-Free Deep Learning Toolbox
    Uber merilis Ludwig, “toolbox” open source yang dibangun di atas kerangka kerja TensorFlow Google yang memungkinkan pengguna untuk melatih dan menguji model AI tanpa harus menulis kode. Dengan menggunakan Ludwig, para ahli dan peneliti dapat menyederhanakan proses prototyping dan merampingkan pemrosesan data sehingga mereka dapat lebih fokus pada pengembangan arsitektur deep learning daripada data wrangling.

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Jan 09 / 2017
  • Comments Off on Seputar Big Data edisi #1
Apache, Big Data, Hadoop, Implementation, IoT, Social Media, Storage, Storm, Uncategorized

Seputar Big Data edisi #1

Seputar Big Data edisi #1

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu pertama bulan Januari 2017.

Artikel dan berita

  1. datafloq.com - 4 Industries Leading the Way in IoT Integration
    Perkembangan Internet of Thing saat ini sangat pesat. Diprediksi dalam waktu dekat, hampir semua perangkat akan terkoneksi satu sama lainnya untuk membuat hidup kita lebih mudah. Ada 4 industri yang diperkirakan akan mengambil manfaat dari IoT.
  2. AWS Big Data Blog - Decreasing Game Churn: How Upopa used ironSource Atom and Amazon ML to Engage Users
    Apakah pernah mengalami kesulitan untuk menjaga loyalitas pengguna supaya tidak meninggalkan game atau aplikasi, setelah bersusah untuk menarik pengguna? Upopa, sebuah studio game yang memanfaatkan machine learning untuk memprediksi perilaku para pengguna game
  3. oreilly.com - 7 AI trends to watch in 2017
    Pada tahun 2016 lalu, banyak terjadi inovasi-inovasi yang luar biasa, banyak investasi di bidang Artificial Intelligent baik pada perusahaan besar maupun startup. Bagaimana dengan tahun 2017?
  4. DZone - Understanding Machine Learning
    Apa sebetulnya Machine Learning? Sebuah penjelasan mengenai machine learning, cara kerjanya dan bagaimana penggunaannya.
  5. Yahoo Finance - Hadoop Big Data Analytics Market Worth 40.69 Billion USD by 2021
    Menurut sebuah laporan market research yang dipublikasikan oleh MarketsandMarkets, pasar big data analytics akan berkembang dari USD 6.71 miliar di tahun 2016 akan menjadi USD 40.69 miliar di tahun 2021.
  6. insideBIGDATA - Loggly Introduces Gamut™ Search for Massive-Scale Log Analysis
    Loggly, perusahaan di balik, kelas enterprise layanan manajemen log berbasis cloud, memperkenalkan Gamut ™ Search, teknologi analisa log yang khusus dirancang untuk merespon langsung pencarian pada data bervolume sangat besar dan dalam periode waktu yang lama.
  7. BrightPlanet - Social Media Data – Instagram Pulls Back on API Access
    Program pemantauan sosial media perlu melakukan perubahan dan terbuka untuk opsi lain pada data open-source. Seperti Instagram melakukan beberapa perubahan akses API, dan akses ke data-data akan dibatasi.

 

Tutorial dan pengetahuan teknis

  1. ZDNet - Hands-on with Azure Data Lake: How to get productive fast
    Microsoft Azure Data Lake saat ini telah tersedia secara umum, tapi apa fungsinya, dan bagaimana cara kerjanya? Artikel berikut merupakan overview seputar tools dan kemampuan layanan, untuk membantu memahami dan meningkatkan produktifitas.
  2. KDnuggets - Internet of Things Tutorial: WSN and RFID – The Forerunners
    Wireless Sensor Network dan RFID adalah kunci utama untuk memahami konsep-konsep yang lebih kompleks dari IoT dan teknologinya.
  3. KDnuggets - Internet of Things Tutorial: WSN and RFID – The Forerunners
    Wireless Sensor Network dan RFID adalah kunci utama untuk memahami konsep-konsep yang lebih kompleks dari IoT dan teknologinya.
  4. IBM Big Data Hub - How to build an all-purpose big data engine with Hadoop and Spark
    Beberapa organisasi sering salah dalam mengoptimalkan penggunakan Hadoop dan Spark bersama-sama, terutama karena masalah kompleksitas. Padalah kombinasi keduanya memungkinkan untuk analisa data yang lebih luas dan mendukung use case yang lebih banyak.
  5. DZone Big Data - Kafka Avro Scala Example
    Tutorial mengenai cara menulis dan membaca pesan dalam format Avro dari/ke Kafka. Bagaimana cara menghasilkan pesan untuk dikodekan menggunakan Avro, cara mengirim pesan tersebut ke Kafka, dan bagaimana untuk mengkonsumsi dengan konsumen dan akhirnya bagaimana untuk dibaca dan digunakan.
  6. IBM Hadoop Dev - Enable Snappy Compression for Improved Performance in Big SQL and Hive
    Ketika loading data ke dalam tabel Parquet, Big SQL akan menggunakan kompresi Snappy secara default. Pada Hive, secara default kompresi tidak diaktifkan, akibatnya tabel bisa secara signifikan menjadi lebih besar
  7. KDnuggets - Generative Adversarial Networks – Hot Topic in Machine Learning
    Apa Generative Adversarial Networks (GAN)? Ilustratif sederhana dari GAN adalah dengan mengambil contoh seperti memprediksi frame berikutnya dalam urutan video atau memprediksi kata berikutnya saat mengetik di google search.
  8. MapR - Monitoring Real-Time Uber Data Using Spark Machine Learning, Streaming, and the Kafka API (Part 2)
    Ini merupakan bagian kedua dari tutorial untuk membuat pemantauan secara realtime mobil-mobil yang digunakan oleh Uber. Tutorial ini menggunakan algoritma k-means pada Apache Spark untuk melakukan pengelompokan data secara realtime
  9. LinkedIn Engineering - Asynchronous Processing and Multithreading in Apache Samza, Part I: Design and Architecture
    Apache Samza terus digunakan oleh LinkedIn dan perusahaan lain untuk melakukan pemrosesan stream. Pada sistem pengolahan stream lainnya menyederhanakan model pemrograman untuk menjadi synchronous and stream/event-based, sedangkan Samza mengembangkan model asynchronous.
  10. MapR - Processing Image Documents on MapR at Scale
    Sebuah tutorial dari MapR untuk pemrosesan gambar dengan menggunakan Apache Spark dan Tesseract OCR engine

 

Rilis produk

  1. GitHub - kafka-utilities
    Sebuah project yang dishare oleh wushujames di hithub.com yang memberikan script untuk menganalisa keadaan klaster Kafka, untuk menentukan broker yang dapat digunakan untuk partisi under-replicated
  2. GitHub - burry
    Burry adalah backup recovery tool yang digunakan untuk membackup dan mengembalikan service pada Zookeepr dan etcd. Tools ini dibuat oleh Michael Hausenblas dan dapat diunduh pada github.com

 

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
Tertarik dengan Big Data beserta ekosistemnya? Gabung