:::: MENU ::::

idBigData

Posts Categorized / Blockchain

  • Jun 20 / 2022
  • Comments Off on Seputar Big Data Edisi #84
AI, Apache, Artificial Intelligece, Big Data, Blockchain, Cryptocurrency, Google, Implementation, Komunitas, Social Media

Seputar Big Data Edisi #84

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama pertengahan pertama bulan juni 2022.

Artikel dan berita

  1. LaMDA and the Sentient AI Trap
    Google baru-baru ini memberikan status cuti administratif kepada Blake Lemoine, peneliti Google AI, setelah yang bersangkutan mempublikasikan klaim bahwa LaMDA, sebuah model bahasa yang dirancang untuk berkomunikasi dengan manusia, hidup, memiliki akal dan empati. Lemoine bahkan menuntut diberikannya perwakilan hukum untuk LaMDA. Sementara itu, para ahli di bidang etika menyatakan bahwa perdebatan tentang apakah sebuah model AI memiliki kesadaran sebagai makhluk hidup, justru mengalihkan perhatian dari masalah yang lebih penting dan nyata, seperti kolonialisme AI, salah tangkap akibat bias, dll.

  2. Social Engineering Kill–Chain: Predicting, Minimizing & Disrupting Attack Verticals
    Social engineering adalah modus yang menarik bagi penjahat saiber, karena dengan biaya dan resiko rendah, dapat memberikan keberhasilan tinggi. Pada kenyataannya, meskipun teknologi cybersecurity semakin maju, kerentanan keamanan oleh manusia tetap sama. Dalam Cybersecurity Insight Reports menyatakan bahwa serangan rekayasa sosial dan human error sebagai salah satu dari 3 ancaman teratas selama beberapa tahun terakhir. Artikel ini membahas dengan cukup dalam mengenai rekayasa sosial dalam cybersecurity, serta langkah yang perlu diambil untuk mengatasinya.

  3. ‘The Music Has Stopped’: Crypto Firms Quake as Prices Fall
    Seiring dengan goncangnya pasar cryptocurrency, perusahaan-perusahaan kripto memberhentikan staf, membekukan penarikan, dan melakukan berbagai tindakan untuk membendung kerugian. Hal ini menimbulkan banyak pertanyaan tentang kesehatan dan kestabilan ekosistem kripto secara umum.

  4. Big Data Dukung Pupuk Kaltim Raup Laba Bersih Rp3,19 Triliun
    Setelah membukukan laba mengesankan pada tahun 2021, senilai Rp 6,17 triliun, terbesar dalam sejarahnya, PT Pupuk Kaltim (PKT) memulai 2022 dengan optimistis. Pada kuartal 1 2022, PKT membukukan laba bersih Rp3,19 triliun, meningkat hampir empat kali lipat dibandingkan dengan kuartal 1 2021 (year on year).Salah satu kunci kesuksesan mereka adalah transformasi digital untuk meningkatkan kinerja, serta diperkuat dengan pemanfaatan Big Data dalam program MAKMUR, sebuah program kemitraan pertanian terpadu yang dipelopori PKT.

  5. Future of UK Defence Artificial Intelligence Launched
    Pemerintah Inggris mengungkapkan rencana untuk masa depan teknologi pertahanan Kecerdasan Buatan (AI) Inggris yang mutakhir pada London Tech Week AI Summit. Strategi dan kebijakan tentang penggunaan AI yang ‘Ambisius, Aman, dan Bertanggung Jawab’ untuk mendukung Pusat Pertahanan AI yang baru, yang akan menjadi pusat visioner untuk mendukung dan mengembangkan teknologi ini di seluruh Angkatan Bersenjata Inggris.Pemerintah Inggris mengungkapkan rencana untuk masa depan teknologi pertahanan Kecerdasan Buatan (AI) Inggris yang mutakhir pada London Tech Week AI Summit. Strategi dan kebijakan tentang penggunaan AI yang ‘Ambisius, Aman, dan Bertanggung Jawab’ untuk mendukung Pusat Pertahanan AI yang baru, yang akan menjadi pusat visioner untuk mendukung dan mengembangkan teknologi ini di seluruh Angkatan Bersenjata Inggris.

Tutorial dan pengetahuan teknis

  1. R Fundamentals – From Syntax to Control Structures
    Pengenalan dasar mengenai R, mulai dari apakah bahasa R, bagaimana menulis kode dalam R, komponen dan utilitas RStudio. Artikel ini bertujuan untuk membantu dalam mengenal sintaks dan fungsi umum dari bahasa R, dan menggunakan RStudio untuk menulis serta mengeksekusi kode R untuk melakukan operasi dasar

  2. Modernizing Testing With Data Pipelines
    Pelajari bagaimana sintesis data dan data pipelines dapat menawarkan solusi yang scalable untuk membuat data yang konsisten serta menyerupai kebutuhan dunia nyata, untuk kebutuhan pengujian sistem.

  3. 3 Ways Understanding Bayes Theorem Will Improve Your Data Science
    Teorema Bayes memberikan cara untuk mengupdate keyakinan kita berdasarkan bukti baru, dengan mempertimbangkan kekuatan keyakinan kita sebelumnya. Dengan menggunakan teorema Bayes, kita berusaha menjawab pertanyaan: bagaimana kemungkinan hipotesis saya berdasarkan bukti baru?
    Artikel ini berbicara tentang tiga cara agar Teorema Bayes dapat meningkatkan kemampuan Data Science kita.

  4. An End-to-End Guide to Publish Your Python Package
    Artikel ini merupakan demo end-to-end untuk melakukan code sharing. Proyek ini bertujuan untuk membantu Anda memahami cara memublikasikan modul/paket python dengan benar di PyPI secara eksternal dan membagikan pekerjaan dengan kolega Anda secara internal.

  5. Docker for Data Science: What every data scientist should know about Docker
    Saat ini Docker sudah menjadi kelaziman bagi data saintis, karena memudahkan untuk melakukan deployment aplikasi beserta dependensinya, tanpa ‘membahayakan’ sistem secara umum. Untuk itu seorang data saintis setidaknya perlu mengetahui apa itu docker dan bagaimana membuat kontainer dengan docker.

  6. Using Normalization Layers to Improve Deep Learning Models
    Jika normalisasi input membantu meningkatkan kinerja model Deep Learning, apakah standarisasi input ke setiap layer dapat membantu meningkatkan kinerja model juga?
    Artikel ini membahas mengenai serba-serbi layer normalisasi serta batch normalization, sebuah teknik untuk menstandarisasi input ke setiap layer di seluruh batch.

  7. Data Statistics and Analysis With Java and Python
    Java dan Python adalah dua bahasa komputer paling populer yang digunakan saat ini. Keduanya sangat matang dan menyediakan alat dan ekosistem teknologi untuk mendukung pengembangan solusi untuk masalah menantang yang muncul di dunia data science. Penting untuk memahami bagaimana keduanya menangani masalah yang berbeda, serta keunggulan dan kelemahan masing-masing. Kapan perlu memilih salah satu, dan kapan menggabungkan keduanya.Artikel ini menjelaskan mengenai cara menganalisis data tabular menggunakan Java Streams dan Python Pandas, serta membandingkan bagaimana kinerja dan skala untuk sejumlah besar data.

  8. [FREE Ebook] IPython Cookbook, Second Edition (2018)
    IPython Cookbook, Second Edition (2018) by Cyrille Rossant. Python merupakan salah satu bahasa pemrograman terpopuler untuk data science dan komputasi numerik. IPython memberikan antarmuka interaktif yang efisien untuk analisis dan visualisasi data.Buku ini berisi banyak resep yang praktis untuk komputasi numerik dan analisis data. Menjelaskan pengenalan dasar hingga trik canggih IPython/Jupyter, untuk membantu Anda menulis kode yang lebih baik dan lebih cepat.Bagian pertama buku ini mencakup teknik pemrograman: kualitas kode dan reproduksibilitas, optimalisasi kode, komputasi paralel, serta graphic card programming. Bagian kedua membahas data science, statistik, machine learning, pemrosesan sinyal dan citra, dynamical system, pemrosesan data GIS, serta matematika murni dan terapan.

Rilis Produk

  1. Apache Flume 1.10.0 released
    Apache Flume team mengumumkan release Flume versi 1.10.0.
    Flume adalah service terdistribusi, handal, dan efektif untuk mengumpulkan, meng-agregasi, dan memindahkan log data berukuran besar. Flume 1.10.0 memperbaiki CVE-2022-25167, vulnerability di JMSSource yang berkaitan dengan penggunaan JNDI.

  2. Apache Impala 4.1.0 release
    Tim Apache Impala mengumumkan rilis Impala 4.1.0. Impala adalah mesin SQL terdistribusi berkinerja tinggi. Rilisnya tersedia di: https://impala.Apache.org/downloads.html

  3. Apache SkyWalking 9.1.0 released
    SkyWalking: alat monitor kinerja aplikasi untuk Sistem terdistribusi, yang dirancang khusus untuk microservice, cloud native, dan arsitektur berbasis container (Docker, Kubernetes, Mesos).Rilis ini berisi sejumlah fitur baru, perbaikan bug, dan peningkatan dari versi 9.0.0.

  4. OpenNLP 2.0.0 released
    Apache OpenNLP library adalah toolkit berbasis pembelajaran mesin untuk pemrosesan teks bahasa alami. Mendukung berbagai proses NLP yang paling umum, seperti tokenisasi, segmentasi kalimat, part-of-speech tagging, ekstraksi named-entity, chunking, dan parsing.

  5. Apache Hop 2.0.0
    Rilis 2.0.0 ini merupakan rilis major yang mencakup penyelesaian 151 tiket.Hop adalah platform integrasi data open source yang mudah digunakan, cepat dan fleksibel.Hop bertujuan bertujuan untuk memfasilitasi semua aspek orkestrasi data dan metadata. Pengembangan visual memungkinkan developer menjadi lebih produktif.

  6. Apache Bigtop 3.1.0 released
    Bigtop adalah proyek Apache Foundation untuk Infrastructure Engineer dan Data Scientist yang membutuhkan packaging, pengujian, dan konfigurasi komprehensif komponen big data open source terkemuka. Bigtop mendukung berbagai komponen/proyek, termasuk di antaranya Hadoop, HBase, Spark, dll.
    Beberapa highlight dari rilis ini meliputi:

    • Dukungan untuk Debian 11, Fedora 35, dan Rocky Linux 8
    • Upgrade terhadap beberapa komponen misalnya, HBase, Kafka, Spark, Zeppelin , ZooKeeper, dll.

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Oct 24 / 2019
  • Comments Off on Seputar Big Data edisi #77
Apache, Artificial Intelligece, Big Data, Blockchain, machine learning

Seputar Big Data edisi #77

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu IV bulan Oktober 2019.

Artikel dan berita

  1. Google confirms ‘quantum supremacy’ breakthrough
    Google mengumumkan secara resmi bahwa mereka berhasil mencapai supremasi kuantum. Google menyatakan bahwa prosesor Sycamore 54-qubit-nya mampu melakukan dalam 200 detik perhitungan yang jika dilakukan oleh superkomputer paling kuat di dunia akan memerlukan waktu 10.000 tahun. Namun klaim ini dibantah oleh IBM dalam blog post mereka Senin lalu.
  2. Microsoft’s AI rewrites sentences based on context
    Salah satu permasalahan pelik bagi mesin dalam percakapan adalah mendeteksi konteks. Padahal konteks pembicaraan adalah bagian yang sangat krusial. Para periset dari Microsoft baru-baru ini melakukan penelitian mengenai penyesuaian ujaran terakhir dari serangkaian percakapan dengan menggunakan konteks yang terakhir dipakai. Penelitian ini diklaim mencapai hasil yang memuaskan dari segi kualitas pengubahan maupun dari segi kualitas respon yang dihasilkan dalam percakapan.
  3. Blockchain’s Shocking Impact on the Restaurant Supply Industry
    Blockchain telah mengubah banyak sektor bisnis, termasuk beberapa sektor yang mungkin tidak diperhitungkan akan terpengaruh. Salah satunya adalah industri supply chain untuk restoran.
  4. Growing Depth Of Background Checks In The Big Data Age
    Pemeriksaan rekam jejak di era big data berkembang menjadi lebih mendalam dan lebih kompleks. Artikel ini mengupas mengenai dampak big data terhadap pemeriksaan latar belakang atau riwayat hidup.

Tutorial dan pengetahuan teknis

  1. How YouTube is Recommending Your Next Video
    Bagaimana YouTube menentukan rekomendasi video selanjutnya untuk anda? Artikel ini mengupas mengenai paper dan algoritma rekomendasi yang digunakan Youtube.
  2. Taking DuckDB for a spin
    DuckDB adalah database kolumnar embedded yang dioptimasi untuk analitics. Posting ini membahas mengenai cara menggunakannya melalui binding Python, dan membandingkan kinerja dengan SQLite pada beberapa query.
  3. Understanding Blockchain Technology by building one in R
    Semua orang berbicara mengenai Blockchain, namun sayangnya tidak banyak yang tahu mengenai teknologi yang mendasarinya. Artikel ini menjelaskan mekanisme kerja blockchain dengan memberikan contoh implementasi sederhana dalam R.
  4. Creating an Open Standard: Machine Learning Governance using Apache Atlas
    Machine learning adalah salah satu kemampuan paling penting bagi bisnis modern untuk tumbuh dan tetap kompetitif saat ini. Tetapi ini menciptakan tantangan tata kelola baru dan unik yang saat ini sulit dikelola. Artikel ini memaparkan mengenai apa dan bagaimana Machine Learning governance dan penerapannya menggunakan Apache Atlas.
  5. Learnings from the journey to continuous deployment
    Pengalaman linkedin dalam melakukan continuous development. Bagaimana mereka memanage ribuan microservice, melakukan frequent rilis dan commit secara seamless dengan tetap mempertahankan kualitas layanan
  6. A Kafka Tutorial for Everyone, no Matter Your Stage in Development
    Kumpulan artikel mengenai tutorial Kafka yang cukup komprehensif, mulai dari dasar pengenalan, setup, development dalam berbagai tahap, sampai testing dan koneksi ke framework lain.

Rilis Produk

  1. Introducing Glow: an open-source toolkit for large-scale genomic analysis
    Glow adalah toolkit open-source yang dibangun di atas Apache Spark™ yang memudahkan dan mempercepat penggabungan data genomic dan fenotip untuk data preparation, analisis statistik, dan pembelajaran mesin pada skala biobank.
  2. Introducing Apache Arrow Flight: A Framework for Fast Data Transport
    Arrow Flight adalah protokol untuk mengirim data dengan cepat dan efisien dalam format Arrow, yang dibangun di atas gRPC. Meskipun masih dalam pengembangan awal, namun Arrow Flight diharapkan akan berperan penting dalam meningkatkan efisiensi pemrosesan data berskala besar.
  3. Open Sourcing Mantis: A Platform For Building Cost-Effective, Realtime, Operations-Focused Applications
    Netflix membuka kode Mantis, platform yang mereka gunakan untuk development. Mantis adalah platform layanan microservice streaming yang memungkinkan para developer untuk meminimalkan cost monitoring dan pengoperasian sistem terdistribusi yang kompleks.
  4. Apache Kylin 2.6.4 released
    Kylin 2.6.4 adalah rilis perbaikan bugs dengan 27 perbaikan di dalamnya. Apache Kylin adalah Distributed Analytics Engine yang menyediakan antarmuka SQL dan analisis multidimensi (OLAP) di atas Apache Hadoop.
  5. Apache Arrow 0.15.0 released
    Versi 1.15.0 ini mencakup 711 penyelesaian isu dari rilis sebelumnya. Apache Arrow adalah platform pengembangan lintas bahasa untuk data dalam memori. Bahasa yang didukung saat ini termasuk C, C ++, C #, Go, Java, JavaScript, MATLAB, Python, R, Ruby, dan Rust.
  6. Beam 2.16.0 Released!
    Apache Beam adalah model pemrograman terpadu untuk mendefinisikan dan menjalankan pipeline pemrosesan data, termasuk ETL, batch, dan stream. Rilis ini mencakup perbaikan bugs, peningkatan serta penambahan fitur dan kinerja.
  7. Apache HBase 2.1.7 is now available for download
    Rilis ini mencakup sekitar 61 perbaikan bugs maupun peningkatan kinerja, termasuk upgrade jackson dan perbaikan terhadap beberapa bug yang kritikal.
  8. Apache Tuweni (incubating) 0.9.0 released
    Apache Tuweni adalah seperangkat library dan tools untuk membantu pengembangan blockchain dan perangkat lunak terdesentralisasi lainnya dalam Java dan bahasa JVM lainnya. Mencakup lybrary byte tingkat rendah, serialisasi dan codec deserialisasi (mis. RLP), berbagai fungsi kriptografi dan primitif, dan lain-lain. Saat ini Apache Tuweni mencapai versi 0.9.0 (incubating).

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Apr 05 / 2019
  • Comments Off on Seputar Big Data edisi #68
AI, Artificial Intelligece, Big Data, Blockchain, Hadoop, Implementation, IoT, machine learning, Medical Analytics, Social Media, Storage, Storm

Seputar Big Data edisi #68

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu terakhir bulan Maret 2019.

Artikel dan berita

  1. Drillers Turning to Big Data in the Hunt for Cheaper Oil | Rigzone
    Industri minyak bumi dan gas alam mencari cara untuk menciptakan peluang bisnis baru dengan menggunakan teknologi informasi, kecerdasan buatan, big data dan analitik. Implementasi big data analytics ini diperkirakan akan men-disrupt dan mentransformasi bisnis, sebagaimana yang terjadi pada internet.
  2. Microsoft partners with OpenClassrooms to recruit and train 1,000 AI students
    Microsoft Microsoft berkerjasama dengan OpenClassroom, sebuah platform platform pendidikan online dari Perancis, untuk melatih dan merekrut siswa yang diperkirakan mampu menguasai bidang AI. OpenClassroom akan merekrut sekitar 1.000 kandidat AI dari seluruh AS, Inggris, dan Perancis.
  3. AI in Logistics: Data-Driven Shifts to Boost Your Business
    Bagi perusahaan yang bergerak dibidang logistik, AI merupakan suatu keharusan bagi organisasi untuk dapat bertahan dan meningkatkan daya saing. Menurut Forbes Insight, 65% pemimpin industri percaya bahwa logistik, transportasi, dan supply chain telah bergabung ke dalam era “transformasi menyeluruh.” Laporan Accenture juga mengungkapkan bahwa 36% organisasi besar, menengah, dan kecil telah berhasil mengadopsi AI untuk proses logistik dan supply chain. Dan 28% responden survei berada di ambang penyebaran AI di bidang ini.
  4. 11 Artificial Intelligence Trends Every Business Must Know in 2019
    Artificial Intelligence (AI) telah menjadi game changer bagi bisnis global dan membuka pintu ke berbagai kemungkinan yang tak terhitung. Dengan integrasi AI dalam bisnis, diperkirakan ekonomi global akan tumbuh secara eksponensial di tahun-tahun mendatang. Ada 11 poin penting yang harus menjadi fokus utama untuk membangun strategi AI di perusahaan.
  5. How Financial Institutions Are Becoming Champions Of Big Data
    Karena banyaknya regulasi dan undang-undang yang mengikat, menjadikan sektor keuangan memiliki ruang yang sempit dalam berinovasi. Akibatnya, pemanfaatan big data menjadi tertinggal. Namun saat ini, hal tersebut mulai berubah. Keberhasilan perusahaan Fintech dan bank tradisional akan bergantung pada kemampuan mereka untuk memanfaatkan big data dalam menggali potensi bisnis.
  6. Researchers find 540 million Facebook user records on exposed servers
    Peneliti keamanan dari UpGuard menemukan ratusan juta informasi pengguna Facebook ada di server publik tanpa sengaja. Cultura Colectiva, perusahaan media digital Meksiko, meninggalkan lebih 540 juta data pengguna, termasuk komentar, reaksi, nama akun dan banyak lagi, di Amazon S3 tanpa kata sandi, yang memungkinkan siapapun dapat mengakses data tersebut.

Tutorial dan pengetahuan teknis

  1. Setup your Raspberry Pi Model B as Google Colab (Feb ’19) to work with Tensorflow, Keras and OpenCV
    Tutorial mengenai instalasi Tensorflow, Keras dan OpenCV pada Raspberry Pi.
  2. Forget APIs Do Python Scraping Using Beautiful Soup, Import Data File from the web: Part 2
    Saat ini, Data memainkan peran penting dalam setiap industri. Dan sebagian besar data ini berasal dari internet. Dalam tutorial ini , menjelaskan mengenai penggunaan paket Beautiful Soup pada python untuk melakukan web scraping.
  3. The Importance of Distributed Tracing for Apache-Kafka-Based Applications
    Artikel ini menjelaskan bagaimana melengkapi aplikasi berbasis Kafka dengan kemampuan penelusuran terdistribusi untuk membuat aliran data antara komponen event-based lebih terlihat. Mencakup Kafka clients, aplikasi Kafka Streaming, Kafka Connect pipelines dan KSQL.
  4. 4 Approaches to Overcoming Label Bias in Positive and Unlabeled Learning
    Label bias dalam machine learning di mana data yang tersedia adalah data positif dan data tanpa label, adalah salah satu masalah paling umum yang dihadapi oleh praktisi machine learning. Hal ini bisa menjadi masalah sulit untuk dideteksi dan dapat secara serius menghambat generalisasi model. Artikel ini membahas 4 pendekatan untuk mengatasi masalah tersebut.
  5. A text mining function for websites
    Artikel mengenai contoh implementasi text mining untuk situs web, dengan menggunakan bahasa R.
  6. Spark Structured Streaming Joins
    Pada artikel ini, akan dijelaskan mengenai metode JOIN yang tersedia di Spark Structured Streaming. Dalam proses streaming, kita mungkin memiliki beberapa sumber data statis dan streaming. Data-data tersebut mungkin saja harus digabungkan. Kita akan mempelajari bagaimana Spark Structured Streaming menangani berbagai jenis JOIN antara dataset statis dan streaming.
  7. How to Load, Convert, and Save Images With the Keras API
    Keras merupakan pustaka deep learning menyediakan API yang sangat baik dalam mengolah gambar (load, prepare dan augment). Juga termasuk didalamnya fungsi-fungsi tidak terdokumentasi yang memungkinkan untuk memuat, mengkonversi, dan menyimpan file gambar dengan cepat dan mudah.

Rilis Produk

  1. Open-sourcing PyTorch-BigGraph for faster embeddings of extremely large graphs
    Tim Facebook AI mengumumkan open-sourcing PyTorch-BigGraph (PBG), sebuah tool yang memungkinkan produksi embedding grafik yang lebih cepat dan mudah untuk grafik besar.

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Jan 31 / 2019
  • Comments Off on Seputar Big Data edisi #60
Big Data, Blockchain

Seputar Big Data edisi #60

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ke 4 bulan Januari 2019.

Artikel dan berita

  1. Blockchain and big Data: A great marriage
    Blockchain dan Big Data adalah teknologi yang sedang trend dan berkembang dengan pesat yang juga menjadi agenda banyak perusahaan untuk diimplementasikan.
    Keduanya diharapkan untuk secara radikal mengubah cara bisnis dan diimplementasikan oleh organisasi atau perusahaan di masa mendatang.
  2. “I See Data” — Forge.AI Mines The World’s Unstructured Data
    Big Data sudah sesuatu yang umum diperbincangkan di hampir setiap industri dan untuk hampir setiap interaksi bisnis atau pelanggan. Tetapi bagaimana jika kita ternyata hanya mengetahui bagian kulitnya saja? Itu adalah pertanyaan menarik yang diajukan oleh salah satu pendiri Forge.AI Jennifer Lum.
  3. Data could help Vietnam take the agriculture lead in a digital economy
    André Laperrière, Direktur Eksekutif Global Open Data for Agriculture & Nutrition (GODAN), berbincang dengan reporter Viọt Nam News mengenai peran data dalam pertanian pintar (smart agriculture) dan pembangunan berkelanjutan.
  4. Hotels using big data to check out guests
    Hilton, sebuah perusahaan perhotelan multinasional AS, telah memanfaatkan arsitektur data modern untuk mendapatkan wawasan(insight) dari data dan untuk melayani pelanggan dengan lebih baik. Hilton berfokus pada penggunaan analisa data untuk mendapatkan informasi 360 derajat dari setiap pelanggan, termasuk data pemesanan, data profil, dan bahkan detail tentang bagaimana mereka menggunakan fasilitas hotel.
  5. How Big Data is Transforming the Construction Industry?
    Industri konstruksi merupakan salah satu industri menangani beberapa proyek yang paling mahal dan memakan waktu di dunia. Sejumlah besar sumber daya dan tenaga kerja manual digunakan dalam pekerjaan konstruksi besar yang menghasilkan banyak data.

Tutorial dan pengetahuan teknis

  1. Build a Pipeline for Harvesting Medium Top Author Data
    Cara Menggunakan Luigi dan Docker untuk membuat Data Engineering Pipeline sederhana untuk memperoleh penulis atau kontributor terbanyak dalam site Medium.
  2. 7 Steps to Mastering Basic Machine Learning with Python — 2019 Edition
    Ada banyak sekali materi yang tersedia secara bebas di luar sana untuk orang yang tertarik mempelajari machine learning dengan Python. Artikel ini menyajikan 7 jalur pembelajaran untuk menguasai machine learning dengan Python, dibagi menjadi 3 posting, masing-masing untuk topik dasar, menengah dan lanjutan.
  3. Face Recognition Smart Lock with LTE Pi HAT
    Sebuah project untuk membuka pintu secara otomatis dengan menggunakan pengenalan wajah yang diimplementasikan dalam Raspberry Pi.
  4. HDFS Offline Analysis of FsImage Metadata
    Tutorial mengenai cara menganalisis dan memvisualisasikan metadata yang disimpan dalam file XML menggunakan beberapa alat data besar open source, seperti HDFS, Hive, dan GnuPlot. Data yang dianalisa adalah metadata HDFS (FsImage).

Rilis Produk

  1. The Apache Software Foundation Announces Apache® Hadoop® v3.2.0
    Hadoop v3.2.0 yang dinantikan akhirnya dirilis pada 23 Januari lalu. Rilis ini merupakan salah satu rilis terbesar dalam Apache Hadoop 3.x line, yang mencakup banyak fitur baru dan lebih dari 1000 perubahan. Beberapa fitur penting yaitu peningkatan konektor Cloud, Hadoop Submarine untuk development, training dan deployment deep learning, serta dukungan terhadap aplikasi yang long-running.
  2. Apache Kerby 2.0.0 is released
    Apache Kerby ™ adalah Java Kerberos binding, bertujuan untuk memberikan implementasi yang intuitif dan interoperable, library, KDC dan berbagai macam fasilitas yang mengintegrasikan PKI, OTP dan token (OAuth2) seperti yang dibutuhkan dalam lingkungan modern seperti cloud, Hadoop dan mobile. Versi ini mencakup 43 resolved issues sejak rilis 1.1.1 pada Mei 2018 lalu.

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Mar 23 / 2018
  • Comments Off on MeetUp #19 Universitas Andalas, Padang
Apache, Artificial Intelligece, Big Data, Blockchain, Forum Info, Implementation, Komunitas, Social Media

MeetUp #19 Universitas Andalas, Padang

Pada meetup ke #19 ini idBigData menyapa rekan-rekan di kota Padang. Kali ini idBigData bekerja sama dengan Universitas Andalas, AIDI (Asosiasi Ilmuwan Data Indonesia), dan Labs247. Meetup dilaksanakan pada tanggal 13 Maret 2018 yang lalu, di gedung perpustakaan Universitas Andalas. Antusiasme rekan-rekan idBigData di Padang terlihat dari jumlah peserta yang mencapai sekitar 300 orang.

Acara dimulai pada pukul 9 pagi, dan dibuka dengan sambutan dari Rektor Universitas Andalas, Prof. Dr. Tafdhil Husni, S.E., M.B.A. dan Dekan Fakultas Teknologi Informasi, Dr. Ahmad Syafruddin Indrapriyatna, M.T.

Pembicara pertama adalah Husnil Kamil, M.T. dari Universitas Andalas, yang menyampaikan mengenai Big Data dalam Dunia Pendidikan. Dilanjutkan oleh CEO Labs247, Beno K. Pradekso, mengenai Big Data dan Deep Learning. Pembicara selanjutnya adalah chairman idBigData, Sigit Prasetyo, dengan materi Open Source Big Data Platform. Ditutup oleh Bagus Rully Muttaqien dari AIDI, menyampaikan topik Big Data dan Media Sosial.

Video meetup #19 dapat disaksikan di sini.


meetup-19-1

meetup-19-2

meetup-19-3

meetup-19-4

meetup-19-5

meetup-19-6

meetup-19-7

meetup-19-8

meetup-19-9

meetup-19-10

meetup-19-11

meetup-19-12

Contributor :

M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng.
Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun.
Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.
  • Dec 29 / 2017
  • Comments Off on Seputar Big Data Edisi #44 [Kilas Balik 2017]
Apache, Artificial Intelligece, Big Data, Blockchain, Hadoop, Implementation, IoT

Seputar Big Data Edisi #44 [Kilas Balik 2017]

Edisi terkahir di tahun 2017 akan menampilkan beberapa berita yang dikutip dari berbagai site selama tahun 2017 yang akan sangat menarik jika dibaca kembali. Mulai dengan rilis baru Hadoop 3.0, penerapan Big Data di pemerintahan Indonesia seperti BI, Dirjen Pajak dan PT POS hingga berita tentang sebuah robot yang memperoleh status kewarganegaraan.

  1. The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability
    Apache Hadoop 3.0.0 akhirnya dirilis minggu lalu. Beberapa fitur penting yang ditambahkan adalah HDFS erasure encoding, a preview dari v2 YARN Timeline Service, peningkatan YARN/HDFS Federation, dan lain sebagainya.
  2. Big Data Is the New Push for Bank Indonesia
    Seperti halnya bank central di negara lain seperti Rusia, China, Inggris dan lainnya, Bank Indonesia beralih menggunakan mesin atau yang sering disebut dengan istilah Big Data, untuk membantu membuat kebijakan menjadi lebih efektif.
  3. Usai Paradise Papers, DJP Bakal Punya Big Data Pajak dari AEoI
    Direktorat Jenderal Pajak (DJP) Kementerian Keuangan akan memiliki data dengan skala besar dan valid dari otoritas pajak seluruh negara saat implementasi pertukaran data secara otomatis (Automatic Exchange of Information/AEoI) per September 2018
  4. PT Pos Bangun Big Data Analytic
    Hingga kini, baru 36 persen masyarakat Indonesia yang memiliki akun bank. Sedangkan 64 persen masyarakat yang tinggal di pelosok belum tersentuh keuangan inklusif karena sulitnya akses ke perbankan. Untuk membantu masyarakat tersebut, PT Pos tengah membangun big data analytic. Lewat big data analytic, Pos akan membuat kredit skoring yang nantinya bisa dikerjasamakan dengan perbankan untuk penyaluran pembiayaan.
  5. Saudi Arabia grants citizenship to a robot for the first time ever
    Sebuah berita cukup menjadi sorotan, dimana sebuah robot bernama Sophia diberi status kewarganegaraan oleh pemerintah Arab Saudi. Hal ini merupakan sebuah tonggak sejarah akan kebangkitan teknologi AI.
  6. Top Trends in the Gartner Hype Cycle for Emerging Technologies, 2017
    Garner merilis The Gartner Hype Cycle for Emerging Technologies 2017, yang berfokus pada 3 mega trend, yaitu Artificial Intelligent, Transparently Immersive Experiences dan Digital Platforms. Para arsitek dan inovator teknologi harus mengeksplorasi dan memahami 3 mega trend tersebut untuk dapat melihat dampaknya terhadap bisnis.
  7. How Big Data Mines Personal Info to Craft Fake News and Manipulate Voters
    Banyak orang memasang atau membagikan status dan content lain di media sosial dengan maksud mempengaruhi orang lain. Tapi bagaimana jika justru status dan posting kita itu dipergunakan untuk mempengaruhi kita sendiri? Cambridge Analytica, salah satu perusahaan di balik kampanye Donald Trump, mengungkapkan mengenai “psychographic profiling”, yaitu memanfaatkan data-data sosial media untuk membentuk kampanye yang sesuai dengan profil emosi dan psikologis pengguna sosial media.
  8. The 10 Coolest Big Data Startups Of 2017 (So Far)
    Banyak startup yang bermain di area big data memfokuskan diri untuk memberikan solusi terhadap masalah dalam menghubungkan sumber data yang berbeda dan memindahan data ke dalam cloud untuk memudahkan akses dan analisa. Ada juga tren yang sedang berkembang yaitu penggunaan machine learnig dan artificial intelligence dalam aplikasi big data untuk membuat sistem yang lebih cerdas.
  9. What Amazon taught us this week: Data-centric companies will devour competitors
    Apa sebenarnya keuntungan yang bisa didapatkan Amazon dengan akuisisi jaringan retail Whole Foods, terutama dari sisi penguasaan data dan pemanfaatannya? Berikut ini analisis dan beberapa pelajaran yang didapat dari langkah yang diambil Amazon tersebut.
  10. Guizhou to become China’s ‘Big Data Valley’
    Akhir Mei lalu puluhan ribu pengunjung memadati “International Big Data Industry Expo 2017” yang diselenggarakan di Guizhou, China. Saat ini Guizhou dikembangkan sebagai “Big Data Valley”-nya China, yang menjadi tempat yang menarik bukan hanya bagi start-up, namun juga bagi industri besar seperti misalnya Alibaba, Qualcomm, IBM, Huawei, Tencent, Baidu, Lenovo dan Foxconn.
  11. Cloudera Announces Pricing of Initial Public Offering, Marking its Debut as a Public Company
    Cloudera memulai hari sebagai sebuah perusahaan terbuka dengan melakukan penawaran saham perdana seharga $15. Pada akhir hari mengalami peningkatan harga sebesar 20%.
  12. Firing on All Cylinders: The 2017 Big Data Landscape
    Pada tahun 2017 ini adalah sebuah phase penerapan Big Data dalam segala bidang, yang membuat istilah Big Data itu sendiri berangsur menghilang. “Big Data + AI” menjadi suatu pasangan yang digunakan banyak aplikasi modern yang dibangun, baik untuk penerapan terhadap konsumen maupun perusahaan.
  13. Gartner’s 2017 Take on Data Science Software
    Gartner telah merilis Gartner Magic Quadran for Data Science Platforms 2017. Dari sekitar 100 perusahaan yang menjual software data sains, Gartner memilih 16 perussahaan yang memiliki pendapatan tinggi atau pendapatan rendah tetapi pertumbuhan yang tinggi. Setelah mendapat masukan baik dari pelanggan maupun perwakilan perusahaan, Gartner memberikan nilai pada perusahaan dengan kriteria “kelengkapan visi” dan “kemampuan untuk melaksanakan” visi tersebut.

    14.  

    Contributor :

    Tim idbigdata
    always connect to collaborate every innovation 🙂
  • Dec 04 / 2017
  • Comments Off on Seputar Big Data Edisi #40
Apache, Big Data, Blockchain, Forum Info, Hadoop, Implementation, Medical Analytics

Seputar Big Data Edisi #40

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ke 4 bulan November 2017

Artikel dan Berita

  1. Nearly 40% of Data Professionals Spend Half of their Time Prepping Data Rather than Analyzing It
    Menurut survey yang dilakukan oleh TMMData bekerja sama dengan Digital Analytics Association, menemukan bahwa sekitar 40% dari para profesional yang bekerja di bidang pengolahan data, menghabiskan lebih dari 20 jam per minggu untuk mengakses, menggabungkan dan menyiapkan data daripada melakukan analisis data.
  2. Predicting Analytics: 3 Big Data Trends in Healthcare
    Perangkat wearable, sensor dan data lake menjadi suatu hal yang umum digunakan pada industri kesehatan, sehingga analisis data dapat menawarkan sistem perawatan yang lebih personal dan hemat biaya.
  3. Usai Paradise Papers, DJP Bakal Punya Big Data Pajak dari AEoI
    Direktorat Jenderal Pajak (DJP) Kementerian Keuangan akan memiliki data dengan skala besar dan valid dari otoritas pajak seluruh negara saat implementasi pertukaran data secara otomatis (Automatic Exchange of Information/AEoI) per September 2018
  4. Infrastructure 3.0: Building blocks for the AI revolution
    Saat ini kita telah memasuki era machine learning dan artificial intelligence. Gabungan antar data yang masif, sistem penyimpanan yang murah, sistem komputasi yang fleksibel dan perkembangan algoritma, terutama dalam bidang deep learning, telah menghasilkan aplikasi yang tadinya hanya ada dalam novel fiksi ilmiah

Tutorial dan Pengetahuan Teknis

  1. Using WebSockets With Apache NiFi
    Tutorial mengenai implementasi Websocket server dan client menggunakan Apache Nifi.
  2. Transactions in Apache Kafka
    Artikel lanjutan mengenai transaksi dalam Apache Kafka. Membahas mengenai berbagai aspek dari Kafka transaction API, yaitu use case, detail transaction API untuk Java client, dan pertimbangan yang perlu diambil dalam menggunakan API tersebut.
  3. A Framework for Approaching Textual Data Science Tasks
    Membahas secara singkat dan jelas mengenai kerangka kerja untuk proses-proses data sains tekstual, serta perbedaan antara NLP dan teks mining.
  4. An Introduction to Blockchain
    Popularitas blockchain saat ini semakin meningkat. Blockchain memberikan tingkat keamanan yang cukup tinggi, bahkan diklaim ‘hack resistance’
  5. Customer Analytics: Using Deep Learning With Keras To Predict Customer Churn
    Menyajikan dengan lengkap dan detail mengenai implementasi prediksi churn menggunakan R on Keras Deep Learning. Model yang dibuat adalah Artificial Neural Network, dengan akurasi sampai 82 % dengan menggunakan dataset IBM Watson Telco Customer Churn.
  6. Mapping “world cities” in R
    Tutorial mengenai data wrangling dan visualisation menggunakan R. Menampilkan peta “world cities”, yaitu kota-kota yang telah diidentifikasi oleh Jaringan Riset Globalisasi dan Kota Dunia (GaWC), sebagai kota yang sangat terhubung dan berpengaruh dalam ekonomi dunia.
  7. [DATASET] The MNIST Database of Handwritten Digits
    Kumpulan image untuk klasifikasi digit hasil tulisan tangan. Dataset ini dianggap bagus untuk deep learning karena cukup kompleks untuk digunakan dalam jaringan syaraf tiruan, namun tetap dapat diproses menggunakan sebuah CPU.
  8. [FREE EBOOK]
    Ebook dari Databricks, tentang pengenalan dasar dan praktis mengenai Spark, disertai contoh code.

Rilis Produk

  1. November Update of KSQL Developer Preview Available
    KSQL, streaming SQL engine untuk Kafka yang pada Agustus lalu diluncurkan versi developer preview-nya, merilis update pertama. Selanjutnya rilis update rencananya akan dilakukan sebulan sekali, dan program beta segera diluncurkan.

    2. Apache® Impala™ as a Top-Level Project
    Apache mengumumkan bahwa project Impala, database analitik untuk Apache Hadoop, naik statusnya menjadi top level project.

  2. Apache Kerby 1.1.0 released
    Apache Kerby adalah binding Java Kerberos yang menyediakan implementasi, library, KDC, dan berbagai fasilitas yang mengintegrasikan PKI, OTP dan token untuk environment cloud, Hadoop dan mobile.
    Versi 1.1.0 ini merupakan rilis major, yang mencakup implementasi dukungan cross-realm dan modul GSAPI.

    3.  

    Contributor :

    Tim idbigdata
    always connect to collaborate every innovation 🙂
  • Nov 23 / 2017
  • Comments Off on Seputar Big Data Edisi #39
Artificial Intelligece, Big Data, Blockchain, Hadoop

Seputar Big Data Edisi #39

Beberapa tema yang tersaji minggu ini, Rilis Hadoop 2.9.0, bagaimana AI mempercepat pengembangan obat, potensi blockchain dan big data, hingga [FREE BOOK] memahami dasar-dasar algoritma machine learning yang dapat difahami oleh siswa ataupun pembaca non-expert.

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ketiga bulan November 2017

Artikel dan Berita

  1. Big data and machine learning algorithms could increase risk of collusion: ACCC
    Anggapan yang umum selama ini adalah, penggunaan data dan teknologi informasi dapat meningkatkan transparansi dan fairness, namun ternyata hal sebaliknya dapat juga terjadi. Komisi pengawasan persaingan usaha dan perlindungan konsumen Australia (ACCC) memberikan ikhtisar mengenai kemungkinan terjadinya kasus di mana algoritma machine learning dapat digunakan sebagai alat untuk melakukan pelanggaran hukum dalam persaingan usaha.
  2. The Big Idea Behind Big Data
    Salah satu teori yang sangat powerful dan banyak digunakan, terutama dalam big data, adalah network theory. Mulai dari bagaimana ‘memotong’ penyebaran penyakit menular, memahami dan memprediksi perekonomian, mendeteksi jaringan teroris, sampai dengan meningkatkan penjualan. Artikel ini mengupas dengan menarik mengenai teori ini.
  3. Belong partners with American Cancer Society to help beat cancer with AI
    Hari ini, Belong: Beating Cancer Together – aplikasi chat yang menghubungkan antara pasien dengan dokter dan profesional – telah mengumumkan kemitraan dengan American Cancer Society. Belong bukan hanya aplikasi chat dan komunikasi, tetapi juga mengkombinasikan AI, Machine Learning dan Big Data, yang membantu pasien untuk memperoleh informasi, edukasi dan bantuan pribadi.
  4. How AI Is Helping Speed Drug Development
    Pengembangan obat adalah proses yang rumit dan memakan waktu yang lama. Untuk sebuah obat sampai dapat dikonsumsi pasien rata-rata memerlukan waktu 12 tahun. Bagaimana AI dapat membantu mempercepatnya?
  5. Blockchain and Big Data: When Two Super Technologies Meet, What Happens?
    Blockchain menjadi fenomena baru yang berkembang dengan pesat. Apa itu blockchain, apa hubungannya dengan big data, bagaimana pemanfaatannya dan bagaimana peluangnya di masa depan?
  6. China: Police ‘Big Data’ Systems Violate Privacy, Target Dissent
    Big Data adalah alat yang dapat digunakan untuk kebaikan, namun juga dapat digunakan untuk mengekang hak asasi manusi. HRW menyerukan Pemerintah China untuk menghentikan pemantauan dan pengumpulan data terhadap masyarakatnya, sebelum mereka memiliki hukum yang jelas mengenai perlindungan privasi. Saat ini pemerintah China mengawasi dan mencatat berbagai detail informasi dari ratusan juta rakyat biasa, dan menggunakan data tersebut untuk mengidentifikasi mereka yang memiliki pemikiran yang tidak sejalan dengan pemerintah. Selanjutnya pemerintah melakukan pengintaian terhadap orang-orang tersebut.

Tutorial dan pengetahuan teknis

  1. Cassandra to Kafka Data Pipeline (Part 2)
    Tutorial berikut merupakan bagian kedua dari pemanfaatan Cassandra dan Kafka. Pada bagian ini akan dijelaskan mengenai Change Data Capture pada Cassandra.
  2. How to Build a Geographic Dashboard with Real-Time Data
    Dalam posting ini, diperlihatkan bagaimana membangun dashboard geografis interaktif menggunakan Displayr, Plotly dan R. Hal ini sangat menarik karena menggunakan studi kasus untuk melacak posisi real-time pesawat militer.
  3. How to Prepare a Photo Caption Dataset for Training a Deep Learning Model
    Dalam tutorial ini akan diperlihatkan bagaimana mempersiapkan foto dan deskripsi tekstual yang siap dalam mengembangkan model deep learning untuk membuat foto caption otomatis.
  4. [DATASET] YouTube-8M Dataset
    Open dataset kali ini adalah YouTube-8M, yaitu kumpulan video yang sudah ditandai, terdiri dari jutaan ID video YouTube dan label terkait dari beragam kosa kata dari 4700+ entitas visual. Google menyatakan bahwa data ini dirancang untuk dapat digunakan untuk melakukan training model dasar dalam waktu satu hari dengan satu mesin, maupun untuk melakukan berbagai eksplorasi mendalam dengan model yang lebih kompleks, yang dapat memakan waktu berhari-hari bahkan berminggu-minggu.
  5. [FREE EBOOK] Understanding Machine Learning: From Theory to Algorithms
    Machine learning adalah salah satu bidang ilmu yang paling cepat berkembang, dengan aplikasi yang luas. Buku ini memberikan penjelasan teoritis tentang gagasan yang mendasari machine learning dan derivasi matematis yang mengubahnya menjadi algoritma praktis. Buku ini menyajikan dasar-dasar dan algoritma machine learning dengan cara yang dapat difahami oleh siswa maupun pembaca non-expert dalam bidang statistik, ilmu komputer, matematika, dan teknik.

Rilis produk

  1. Apache Hadoop 2.9.0 released
    Apache Hadoop 2.9.0 dirilis baru-baru ini. Ini merupakan rilis pertama dari Hadoop 2.9.x, dan mencakup fitur-fitur baru yang bersifat major seperti misalnya Timeline Service, YARN Federation, YARN Web UI, HDFS, dan CapacityScheduler API
  2. Apache Kafka 0.11.0.2 Released
    Apache Kafka versi 0.11.0.2 telah dirilis. Di dalamnya meliputi beberapa perbaikan penting termasuk satu bug fixing yang berkaitan dengan data loss.
  3. Apache ZooKeeper 3.4.11
    Rilis 3.4.11 Apache Zookeper mencakup beberapa bug fixes dan perbaikan.
  4. Apache Phoenix 4.13 released
    Apache Phoenix memungkinkan OLTP berbasis SQL dan analytics operasional untuk Apache Hadoop menggunakan Apache HBase sebagai penyimpanan, dan menyediakan integrasi dengan ekosistem Apache lain seperti Spark, Hive, Pig, Flume, dan MapReduce.
    Phoenix versi 4.x kompatibel dengan HBase 0,98 dan 1,3. Rilis 4.13.0 ini mencakup perbaikan pencatatan statistik, perbaikan bug kritikal untuk pembuatan snapshot, dan perbaikan bug lainnya.
  5. Apache Hive 2.3.2 Released
    Apache Hive 2.3.2 dirilis minggu ini. Rilis ini mencakup bug fix di beberapa sub komponen, termasuk klien metastore Hive dan Kerberos.

 

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Nov 02 / 2017
  • Comments Off on Seputar Big Data Edisi #36
Apache, Big Data, Blockchain, Hadoop, Implementation, Spark

Seputar Big Data Edisi #36

Beberapa artikel teknis menarik mengenai Keras – sebuah Python Deep Learning library, pemanfaatan Apache Flink untuk risk engine, perbandingan antara Apache Arrow, Parquet dan ORC, serta tutorial mengenai penggunaan Spark dan SparkSQL untuk memproses file csv. Dari segmen news ditampilkan penerapan big data analytics oleh PT Pos Indonesia, MIT yang membangun FeatureHub untuk crowdsourcing big data analytics, dan implikasi blockchain bagi industri asuransi. Tidak ketinggalan juga beberapa rilis open source, diantaranya yaitu Apache Spark 2.1.2. Hive, Pandas, dan OpenNLP.

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu 4 bulan Oktober 2017.

Artikel dan Berita

  1. The Amazing Ways Spotify Uses Big Data, AI And Machine Learning To Drive Business Success
    Spotify, layanan musik on-demand terbesar di dunia, dikenal sebagai pendobrak batas teknologi. Perusahaan musik digital dengan lebih dari 100 juta pengguna ini terus meningkatkan kemampuan layanan dan teknologinya melalui beberapa akuisisi serta pemanfaatan big data, kecerdasan buatan dan machine learning.
  2. Crowdsourcing big-data analysis
    Langkah pertama dalam proses analisis big data dalah identifikasi fitur, yaitu data poin yang memiliki nilai prediktif, yang berguna dalam proses analisis. Langkah ini biasanya memerlukan intuisi manusia. Peneliti MIT membangun sebuah sistem kolaborasi, yang diberi nama FeatureHub. Dengan alat ini diharapkan proses identifikasi fitur dapat dilakukan secara efisien dan efektif. Dengan FeatureHub, para data saintis dan domain expert dapat masuk ke dalam sebuah situs untuk mereview permasalahan dan mengajukan fitur yang akan digunakan. FeatureHub kemudian akan melakukan pengetesan berbagai kemungkinan kombinasi fitur tersebut terhadap target data, untuk menentukan kombinasi mana yang paling tepat untuk permasalahan tertentu.
  3. Keuangan Inklusif, PT Pos Bangun Big Data Analytic
    Hingga kini, baru 36 persen masyarakat Indonesia yang memiliki akun bank. Sedangkan 64 persen masyarakat yang tinggal di pelosok belum tersentuh keuangan inklusif karena sulitnya akses ke perbankan. Untuk membantu masyarakat tersebut, PT Pos tengah membangun big data analytic. Lewat big data analytic, Pos akan membuat kredit skoring yang nantinya bisa dikerjasamakan dengan perbankan untuk penyaluran pembiayaan.
  4. What PredictionIO does for machine learning and Spark
    Apache PredictionIO dibangun di atas Spark dan Hadoop, dan menyediakan template yang dapat dikustomisasi untuk task-task yang umum.
    Aplikasi mengirimkan data ke server event untuk melakukan training model, kemudian meng-query engine untuk mendapatkan prediksi berdasarkan model tersebut. Kemudahan apa yang ditawarkan oleh Apache PredictionIO?
  5. Blockchain Implications Every Insurance Company Needs To Consider Now
    Teknologi blockchain sangat berpotensi mengguncang industri asuransi dan mengubah cara berbagi data, memproses klaim dan mencegah fraud. Namun implementasinya di industri asuransi saat ini masih dalam tahap eksplorasi awal. Untuk dapat merealisasikan potensi blockchain yang sangat besar implikasinya tersebut, Industri asuransi perlu secara aktif bekerja sama dengan para pionir, regulator, dan pakar-pakar industri. Perusahaan-perusahaan asuransi pun harus mulai mencoba memanfaatkan blockchain dalam proses internal mereka untuk mendapatkan pembelajaran guna memanfaatkan teknologi ini.

Tutorial dan Pengetahuan Teknis

  1. 7 Steps to Mastering Deep Learning with Keras
    Apakah anda tertarik untuk mempelajari Keras? Apakah Anda sudah memiliki pemahaman tentang bagaimana neural network bekerja? Artikel berikut ini menyajikan tujuh langkah praktis untuk menguasai dasar-dasar Keras dengan mudah dan cepat.
  2. StreamING Machine Learning Models: How ING Adds Fraud Detection Models at Runtime with Apache Flink®
    Artikel ini menjelaskan bagaimana ING menggunakan Apache Flink untuk risk engine mereka. Mereka menggunakan Apache Spark, Knime, dan Apache Zeppelin untuk training model secara batch dan menggunakan Flink untuk komponen real-time. Mereka menggunakan data PMML, yang dikirim melalui Kafka, untuk memperbarui aplikasi Flink. Arsitektur yang digunakan memungkinkan mereka menerapkan algoritma baru dengan zero downtime, seketika.
  3. Apache Arrow vs. Parquet and ORC: Do we really need a third Apache project for columnar data representation?
    Setelah Apache Parquet dan ORC, muncullah Apache Arrow sebagai representasi format data kolumnar. Apakah kemunculan Arrow menawarkan kelebihan atau perbedaan dibanding dua format yang lainnya? Artikel ini membahas dengan detail mengenai kolumnar data format dan perbandingan di antara ketiga format tersebut, lengkap dengan benchmark.
  4. ETL Pipeline to Transform, Store and Explore Healthcare Dataset With Spark SQL, JSON and MapR-DB
    Tutorial ini menjelaskan cara menggunakan Spark untuk membaca data dari file CSV, mengubahnya menjadi skema yang terdefinisi dengan baik (dalam hal ini Scala Case Class), dan melakukan query menggunakan SparkSQL. Ada juga contoh kode untuk menyimpan data di MapR-DB dan membacanya kembali.

Rilis Produk

  1. Spark Release 2.1.2
    Spark 2.1.2 baru saja dirilis. Ada lebih dari 100 perbaikan bug dan berbagai penyempurnaan pada versi ini.
  2. Pandas v0.21.0
    Ini adalah major rilis dari 0,20,3 mencakup sejumlah perubahan, deprecation, fitur baru, penyempurnaan, dan peningkatan kinerja API serta sejumlah besar perbaikan bug. User sangat disarankan melakukan upgrade ke versi ini.
  3. Hive – Version 2.3.1
    Hive versi 2.3.1 dirilis minggu lalu dengan beberapa bug fixing dan penyempurnaan.
  4. Apache OpenNLP 1.8.3
    Rilis ini memperkenalkan beberapa fitur baru, perbaikan bug, dan penyempurnaan. Versi ini memerlukan Java 1.8 dan Maven 3.3.9.

 

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Oct 31 / 2017
  • Comments Off on Teknologi Blokchain akan Menghubungkan Seluruh Industri
Artificial Intelligece, Big Data, Blockchain, Implementation, IoT, Uncategorized

Teknologi Blokchain akan Menghubungkan Seluruh Industri

Blockchain adalah topik yang hangat dan diminati banyak orang saat ini. Teknologi blockchain dianggap mampu mengatasi berbagai permasalahan yang berkaitan dengan teknologi, profesional maupun personal. Blockchain dipandang sebagai solusi yang elegan dan aman, yang dapat membuka berbagai kemungkinan transaksi. Namun meskipun trend adopsi blockchain ini cukup agresif, masih belum banyak pembahasan mengenai potensi pengaruhnya terhadap proses transaksi di berbagai sektor industri.

Blockchain banyak disebut dalam konteks pembahasan cryptocurrency, namun sesungguhnya kekuatan blockchain adalah pada fleksibilitas transaksionalnya, dan kegunaannya jauh lebih luas daripada sekedar pertukaran mata uang saja.

Blockchain bersifat ‘transaction agnostic’.
Hampir semua transaksi di dunia saat ini melibatkan banyak pihak di dalam setiap prosesnya. Misalnya dalam proses jual beli rumah atau penandatanganan kontrak, banyak orang atau elemen terlibat di dalamnya.

Industri-industri perbankan, real estat, pinjaman hipotek, semuanya dibangun di atas jutaan transaksi kecil semacam ini. Dari transaksi-transaksi kecil tersebut akan timbul sejumlah pajak dan biaya-biaya lain. Penggunaan blockchain dapat menghilangkan ‘serpihan’ transaksi semacam ini, sehingga memangkas biaya dan waktu yang diperlukan, dan menghilangkan banyak perantara yang terlibat dalam sebuah transaksi.

Seperti yang di jelaskan oleh François Zaninotto : “Blockchain adalah buku besar fakta, direplikasi di beberapa komputer yang dipasang di jaringan peer-to-peer. Fakta bisa berupa apapun, mulai dari transaksi moneter hingga signature konten. Anggota jaringan adalah individu anonim yang disebut nodes. Semua komunikasi di dalam jaringan memanfaatkan kriptografi untuk mengidentifikasi pengirim dan penerima dengan aman. Bila sebuah node ingin menambahkan fakta ke buku besar, sebuah konsensus terbentuk dalam jaringan untuk menentukan di mana fakta ini seharusnya muncul di buku besar; Konsensus ini disebut block.”
Teknologi ini secara konseptual bisa dipandang sebagai sebuah jaringan terdistribusi yang aman, yang terbentuk dari orang-orang yang terverifikasi.

Penerapan aplikasi teknologi blockchain lebih luas dari yang dibayangkan sebelumnya, dan sudah ada beberapa indikasi pengembangannya. Salah satunya adalah adanya platform prototipe dan aplikasi yang sudah di deploy. Indikasi lain adalah adanya investasi berkelanjutan oleh banyak VC, dan pengembangan berbagai platform aplikasi. Dan yang tidak kalah pentingnya, proses pembentukan konsorsium dan kemitraan juga sudah berjalan. IBM saat ini sedang bekerja sama dengan tujuh bank Eropa untuk mengembangkan platform blockchain, dan konsorsium R3CEV dibentuk untuk memajukan teknologi blockchain terutama di bidang keuangan.

Topik blockchain ini menjadi salah satu tema yang dikupas pada meetUp ke #18 idbigdata yang diselenggarakan di Bina Nusantara University beberapa waktu lalu. Deden Hasanudin (Solution Lead IBM Global Business Services- IBM) membawa judul “Berkenalan dengan Blockchain, Teknologi dibalik Bitcoin”, dapat idbigdata-ers saksikan kembali di channel youtube idbigdata.


Sumber : https://www.forbes.com/sites/steveandriole/2017/10/25/blockchain-ai-will-rewire-whole-industries/#653563ad1e89

Contributor :

Vinka
pecinta astronomi yang sejak kecil bercita-cita menjadi astronaut, setelah dewasa baru sadar kalau tinggi badannya tidak akan pernah cukup untuk lulus seleksi astronaut.
M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng.
Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun.
Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.
Tertarik dengan Big Data beserta ekosistemnya? Gabung