:::: MENU ::::

Posts Tagged / Blockchain

  • Oct 24 / 2019
  • Comments Off on Seputar Big Data edisi #77
Apache, Artificial Intelligece, Big Data, Blockchain, machine learning

Seputar Big Data edisi #77

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu IV bulan Oktober 2019.

Artikel dan berita

  1. Google confirms ‘quantum supremacy’ breakthrough
    Google mengumumkan secara resmi bahwa mereka berhasil mencapai supremasi kuantum. Google menyatakan bahwa prosesor Sycamore 54-qubit-nya mampu melakukan dalam 200 detik perhitungan yang jika dilakukan oleh superkomputer paling kuat di dunia akan memerlukan waktu 10.000 tahun. Namun klaim ini dibantah oleh IBM dalam blog post mereka Senin lalu.
  2. Microsoft’s AI rewrites sentences based on context
    Salah satu permasalahan pelik bagi mesin dalam percakapan adalah mendeteksi konteks. Padahal konteks pembicaraan adalah bagian yang sangat krusial. Para periset dari Microsoft baru-baru ini melakukan penelitian mengenai penyesuaian ujaran terakhir dari serangkaian percakapan dengan menggunakan konteks yang terakhir dipakai. Penelitian ini diklaim mencapai hasil yang memuaskan dari segi kualitas pengubahan maupun dari segi kualitas respon yang dihasilkan dalam percakapan.
  3. Blockchain’s Shocking Impact on the Restaurant Supply Industry
    Blockchain telah mengubah banyak sektor bisnis, termasuk beberapa sektor yang mungkin tidak diperhitungkan akan terpengaruh. Salah satunya adalah industri supply chain untuk restoran.
  4. Growing Depth Of Background Checks In The Big Data Age
    Pemeriksaan rekam jejak di era big data berkembang menjadi lebih mendalam dan lebih kompleks. Artikel ini mengupas mengenai dampak big data terhadap pemeriksaan latar belakang atau riwayat hidup.

Tutorial dan pengetahuan teknis

  1. How YouTube is Recommending Your Next Video
    Bagaimana YouTube menentukan rekomendasi video selanjutnya untuk anda? Artikel ini mengupas mengenai paper dan algoritma rekomendasi yang digunakan Youtube.
  2. Taking DuckDB for a spin
    DuckDB adalah database kolumnar embedded yang dioptimasi untuk analitics. Posting ini membahas mengenai cara menggunakannya melalui binding Python, dan membandingkan kinerja dengan SQLite pada beberapa query.
  3. Understanding Blockchain Technology by building one in R
    Semua orang berbicara mengenai Blockchain, namun sayangnya tidak banyak yang tahu mengenai teknologi yang mendasarinya. Artikel ini menjelaskan mekanisme kerja blockchain dengan memberikan contoh implementasi sederhana dalam R.
  4. Creating an Open Standard: Machine Learning Governance using Apache Atlas
    Machine learning adalah salah satu kemampuan paling penting bagi bisnis modern untuk tumbuh dan tetap kompetitif saat ini. Tetapi ini menciptakan tantangan tata kelola baru dan unik yang saat ini sulit dikelola. Artikel ini memaparkan mengenai apa dan bagaimana Machine Learning governance dan penerapannya menggunakan Apache Atlas.
  5. Learnings from the journey to continuous deployment
    Pengalaman linkedin dalam melakukan continuous development. Bagaimana mereka memanage ribuan microservice, melakukan frequent rilis dan commit secara seamless dengan tetap mempertahankan kualitas layanan
  6. A Kafka Tutorial for Everyone, no Matter Your Stage in Development
    Kumpulan artikel mengenai tutorial Kafka yang cukup komprehensif, mulai dari dasar pengenalan, setup, development dalam berbagai tahap, sampai testing dan koneksi ke framework lain.

Rilis Produk

  1. Introducing Glow: an open-source toolkit for large-scale genomic analysis
    Glow adalah toolkit open-source yang dibangun di atas Apache Spark™ yang memudahkan dan mempercepat penggabungan data genomic dan fenotip untuk data preparation, analisis statistik, dan pembelajaran mesin pada skala biobank.
  2. Introducing Apache Arrow Flight: A Framework for Fast Data Transport
    Arrow Flight adalah protokol untuk mengirim data dengan cepat dan efisien dalam format Arrow, yang dibangun di atas gRPC. Meskipun masih dalam pengembangan awal, namun Arrow Flight diharapkan akan berperan penting dalam meningkatkan efisiensi pemrosesan data berskala besar.
  3. Open Sourcing Mantis: A Platform For Building Cost-Effective, Realtime, Operations-Focused Applications
    Netflix membuka kode Mantis, platform yang mereka gunakan untuk development. Mantis adalah platform layanan microservice streaming yang memungkinkan para developer untuk meminimalkan cost monitoring dan pengoperasian sistem terdistribusi yang kompleks.
  4. Apache Kylin 2.6.4 released
    Kylin 2.6.4 adalah rilis perbaikan bugs dengan 27 perbaikan di dalamnya. Apache Kylin adalah Distributed Analytics Engine yang menyediakan antarmuka SQL dan analisis multidimensi (OLAP) di atas Apache Hadoop.
  5. Apache Arrow 0.15.0 released
    Versi 1.15.0 ini mencakup 711 penyelesaian isu dari rilis sebelumnya. Apache Arrow adalah platform pengembangan lintas bahasa untuk data dalam memori. Bahasa yang didukung saat ini termasuk C, C ++, C #, Go, Java, JavaScript, MATLAB, Python, R, Ruby, dan Rust.
  6. Beam 2.16.0 Released!
    Apache Beam adalah model pemrograman terpadu untuk mendefinisikan dan menjalankan pipeline pemrosesan data, termasuk ETL, batch, dan stream. Rilis ini mencakup perbaikan bugs, peningkatan serta penambahan fitur dan kinerja.
  7. Apache HBase 2.1.7 is now available for download
    Rilis ini mencakup sekitar 61 perbaikan bugs maupun peningkatan kinerja, termasuk upgrade jackson dan perbaikan terhadap beberapa bug yang kritikal.
  8. Apache Tuweni (incubating) 0.9.0 released
    Apache Tuweni adalah seperangkat library dan tools untuk membantu pengembangan blockchain dan perangkat lunak terdesentralisasi lainnya dalam Java dan bahasa JVM lainnya. Mencakup lybrary byte tingkat rendah, serialisasi dan codec deserialisasi (mis. RLP), berbagai fungsi kriptografi dan primitif, dan lain-lain. Saat ini Apache Tuweni mencapai versi 0.9.0 (incubating).

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Nov 02 / 2017
  • Comments Off on Seputar Big Data Edisi #36
Apache, Big Data, Blockchain, Hadoop, Implementation, Spark

Seputar Big Data Edisi #36

Beberapa artikel teknis menarik mengenai Keras – sebuah Python Deep Learning library, pemanfaatan Apache Flink untuk risk engine, perbandingan antara Apache Arrow, Parquet dan ORC, serta tutorial mengenai penggunaan Spark dan SparkSQL untuk memproses file csv. Dari segmen news ditampilkan penerapan big data analytics oleh PT Pos Indonesia, MIT yang membangun FeatureHub untuk crowdsourcing big data analytics, dan implikasi blockchain bagi industri asuransi. Tidak ketinggalan juga beberapa rilis open source, diantaranya yaitu Apache Spark 2.1.2. Hive, Pandas, dan OpenNLP.

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu 4 bulan Oktober 2017.

Artikel dan Berita

  1. The Amazing Ways Spotify Uses Big Data, AI And Machine Learning To Drive Business Success
    Spotify, layanan musik on-demand terbesar di dunia, dikenal sebagai pendobrak batas teknologi. Perusahaan musik digital dengan lebih dari 100 juta pengguna ini terus meningkatkan kemampuan layanan dan teknologinya melalui beberapa akuisisi serta pemanfaatan big data, kecerdasan buatan dan machine learning.
  2. Crowdsourcing big-data analysis
    Langkah pertama dalam proses analisis big data dalah identifikasi fitur, yaitu data poin yang memiliki nilai prediktif, yang berguna dalam proses analisis. Langkah ini biasanya memerlukan intuisi manusia. Peneliti MIT membangun sebuah sistem kolaborasi, yang diberi nama FeatureHub. Dengan alat ini diharapkan proses identifikasi fitur dapat dilakukan secara efisien dan efektif. Dengan FeatureHub, para data saintis dan domain expert dapat masuk ke dalam sebuah situs untuk mereview permasalahan dan mengajukan fitur yang akan digunakan. FeatureHub kemudian akan melakukan pengetesan berbagai kemungkinan kombinasi fitur tersebut terhadap target data, untuk menentukan kombinasi mana yang paling tepat untuk permasalahan tertentu.
  3. Keuangan Inklusif, PT Pos Bangun Big Data Analytic
    Hingga kini, baru 36 persen masyarakat Indonesia yang memiliki akun bank. Sedangkan 64 persen masyarakat yang tinggal di pelosok belum tersentuh keuangan inklusif karena sulitnya akses ke perbankan. Untuk membantu masyarakat tersebut, PT Pos tengah membangun big data analytic. Lewat big data analytic, Pos akan membuat kredit skoring yang nantinya bisa dikerjasamakan dengan perbankan untuk penyaluran pembiayaan.
  4. What PredictionIO does for machine learning and Spark
    Apache PredictionIO dibangun di atas Spark dan Hadoop, dan menyediakan template yang dapat dikustomisasi untuk task-task yang umum.
    Aplikasi mengirimkan data ke server event untuk melakukan training model, kemudian meng-query engine untuk mendapatkan prediksi berdasarkan model tersebut. Kemudahan apa yang ditawarkan oleh Apache PredictionIO?
  5. Blockchain Implications Every Insurance Company Needs To Consider Now
    Teknologi blockchain sangat berpotensi mengguncang industri asuransi dan mengubah cara berbagi data, memproses klaim dan mencegah fraud. Namun implementasinya di industri asuransi saat ini masih dalam tahap eksplorasi awal. Untuk dapat merealisasikan potensi blockchain yang sangat besar implikasinya tersebut, Industri asuransi perlu secara aktif bekerja sama dengan para pionir, regulator, dan pakar-pakar industri. Perusahaan-perusahaan asuransi pun harus mulai mencoba memanfaatkan blockchain dalam proses internal mereka untuk mendapatkan pembelajaran guna memanfaatkan teknologi ini.

Tutorial dan Pengetahuan Teknis

  1. 7 Steps to Mastering Deep Learning with Keras
    Apakah anda tertarik untuk mempelajari Keras? Apakah Anda sudah memiliki pemahaman tentang bagaimana neural network bekerja? Artikel berikut ini menyajikan tujuh langkah praktis untuk menguasai dasar-dasar Keras dengan mudah dan cepat.
  2. StreamING Machine Learning Models: How ING Adds Fraud Detection Models at Runtime with Apache Flink®
    Artikel ini menjelaskan bagaimana ING menggunakan Apache Flink untuk risk engine mereka. Mereka menggunakan Apache Spark, Knime, dan Apache Zeppelin untuk training model secara batch dan menggunakan Flink untuk komponen real-time. Mereka menggunakan data PMML, yang dikirim melalui Kafka, untuk memperbarui aplikasi Flink. Arsitektur yang digunakan memungkinkan mereka menerapkan algoritma baru dengan zero downtime, seketika.
  3. Apache Arrow vs. Parquet and ORC: Do we really need a third Apache project for columnar data representation?
    Setelah Apache Parquet dan ORC, muncullah Apache Arrow sebagai representasi format data kolumnar. Apakah kemunculan Arrow menawarkan kelebihan atau perbedaan dibanding dua format yang lainnya? Artikel ini membahas dengan detail mengenai kolumnar data format dan perbandingan di antara ketiga format tersebut, lengkap dengan benchmark.
  4. ETL Pipeline to Transform, Store and Explore Healthcare Dataset With Spark SQL, JSON and MapR-DB
    Tutorial ini menjelaskan cara menggunakan Spark untuk membaca data dari file CSV, mengubahnya menjadi skema yang terdefinisi dengan baik (dalam hal ini Scala Case Class), dan melakukan query menggunakan SparkSQL. Ada juga contoh kode untuk menyimpan data di MapR-DB dan membacanya kembali.

Rilis Produk

  1. Spark Release 2.1.2
    Spark 2.1.2 baru saja dirilis. Ada lebih dari 100 perbaikan bug dan berbagai penyempurnaan pada versi ini.
  2. Pandas v0.21.0
    Ini adalah major rilis dari 0,20,3 mencakup sejumlah perubahan, deprecation, fitur baru, penyempurnaan, dan peningkatan kinerja API serta sejumlah besar perbaikan bug. User sangat disarankan melakukan upgrade ke versi ini.
  3. Hive – Version 2.3.1
    Hive versi 2.3.1 dirilis minggu lalu dengan beberapa bug fixing dan penyempurnaan.
  4. Apache OpenNLP 1.8.3
    Rilis ini memperkenalkan beberapa fitur baru, perbaikan bug, dan penyempurnaan. Versi ini memerlukan Java 1.8 dan Maven 3.3.9.

 

Contributor :


Tim idbigdata
always connect to collaborate every innovation 🙂
  • Oct 31 / 2017
  • Comments Off on Teknologi Blokchain akan Menghubungkan Seluruh Industri
Artificial Intelligece, Big Data, Blockchain, Implementation, IoT, Uncategorized

Teknologi Blokchain akan Menghubungkan Seluruh Industri

Blockchain adalah topik yang hangat dan diminati banyak orang saat ini. Teknologi blockchain dianggap mampu mengatasi berbagai permasalahan yang berkaitan dengan teknologi, profesional maupun personal. Blockchain dipandang sebagai solusi yang elegan dan aman, yang dapat membuka berbagai kemungkinan transaksi. Namun meskipun trend adopsi blockchain ini cukup agresif, masih belum banyak pembahasan mengenai potensi pengaruhnya terhadap proses transaksi di berbagai sektor industri.

Blockchain banyak disebut dalam konteks pembahasan cryptocurrency, namun sesungguhnya kekuatan blockchain adalah pada fleksibilitas transaksionalnya, dan kegunaannya jauh lebih luas daripada sekedar pertukaran mata uang saja.

Blockchain bersifat ‘transaction agnostic’.
Hampir semua transaksi di dunia saat ini melibatkan banyak pihak di dalam setiap prosesnya. Misalnya dalam proses jual beli rumah atau penandatanganan kontrak, banyak orang atau elemen terlibat di dalamnya.

Industri-industri perbankan, real estat, pinjaman hipotek, semuanya dibangun di atas jutaan transaksi kecil semacam ini. Dari transaksi-transaksi kecil tersebut akan timbul sejumlah pajak dan biaya-biaya lain. Penggunaan blockchain dapat menghilangkan ‘serpihan’ transaksi semacam ini, sehingga memangkas biaya dan waktu yang diperlukan, dan menghilangkan banyak perantara yang terlibat dalam sebuah transaksi.

Seperti yang di jelaskan oleh François Zaninotto : “Blockchain adalah buku besar fakta, direplikasi di beberapa komputer yang dipasang di jaringan peer-to-peer. Fakta bisa berupa apapun, mulai dari transaksi moneter hingga signature konten. Anggota jaringan adalah individu anonim yang disebut nodes. Semua komunikasi di dalam jaringan memanfaatkan kriptografi untuk mengidentifikasi pengirim dan penerima dengan aman. Bila sebuah node ingin menambahkan fakta ke buku besar, sebuah konsensus terbentuk dalam jaringan untuk menentukan di mana fakta ini seharusnya muncul di buku besar; Konsensus ini disebut block.”
Teknologi ini secara konseptual bisa dipandang sebagai sebuah jaringan terdistribusi yang aman, yang terbentuk dari orang-orang yang terverifikasi.

Penerapan aplikasi teknologi blockchain lebih luas dari yang dibayangkan sebelumnya, dan sudah ada beberapa indikasi pengembangannya. Salah satunya adalah adanya platform prototipe dan aplikasi yang sudah di deploy. Indikasi lain adalah adanya investasi berkelanjutan oleh banyak VC, dan pengembangan berbagai platform aplikasi. Dan yang tidak kalah pentingnya, proses pembentukan konsorsium dan kemitraan juga sudah berjalan. IBM saat ini sedang bekerja sama dengan tujuh bank Eropa untuk mengembangkan platform blockchain, dan konsorsium R3CEV dibentuk untuk memajukan teknologi blockchain terutama di bidang keuangan.

Topik blockchain ini menjadi salah satu tema yang dikupas pada meetUp ke #18 idbigdata yang diselenggarakan di Bina Nusantara University beberapa waktu lalu. Deden Hasanudin (Solution Lead IBM Global Business Services- IBM) membawa judul “Berkenalan dengan Blockchain, Teknologi dibalik Bitcoin”, dapat idbigdata-ers saksikan kembali di channel youtube idbigdata.


Sumber : https://www.forbes.com/sites/steveandriole/2017/10/25/blockchain-ai-will-rewire-whole-industries/#653563ad1e89

Contributor :


Vinka
pecinta astronomi yang sejak kecil bercita-cita menjadi astronaut, setelah dewasa baru sadar kalau tinggi badannya tidak akan pernah cukup untuk lulus seleksi astronaut.

M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng.
Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun.
Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.
Tertarik dengan Big Data beserta ekosistemnya? Gabung