:::: MENU ::::

idBigData

Posts Categorized / pertanian

  • Sep 25 / 2021
  • Comments Off on Seputar Big Data Edisi #81
AI, Artificial Intelligece, Hadoop, Komunitas, pertanian

Seputar Big Data Edisi #81

Hai temans.. we’re back! Kali ini kembali kami hantarkan kumpulan berita, artikel, tutorial dan blog mengenai Big Data dan AI yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ke-4 bulan September 2021.

Artikel dan berita

  1. $5.9 million ransomware attack on farming co-op may cause food shortage
    Koperasi pertanian yang berbasis di Iowa, NEW Cooperative Inc. terkena serangan ransomware yang membuat mereka terpaksa meng-offline-kan sistem. Kelompok BlackMatter yang berada di balik serangan tersebut telah mengajukan permintaan tebusan sebesar 5,9 juta US Dollar. Koperasi pertanian tersebut menyatakan serangan itu dapat berdampak signifikan pada pasokan produk makanan untuk publik jika mereka tidak dapat meng-online-kan kembali sistem mereka.
  2. Gartner Hype Cycle for AI 2021 : AI is moving fast and will be ready for prime time sooner than you think
    Melalui penggunaan pemrosesan bahasa alami (NLP) dan teknologi baru seperti AI generatif, knowledge graph, dan composite AI, organisasi semakin banyak menggunakan solusi AI untuk menciptakan produk baru, memperbaiki produk yang sudah ada, serta menumbuhkan basis pelanggan mereka.
    Empat tren berikut mendominasi lanskap AI tahun ini: Operasionalisasi inisiatif AI; Penggunaan data, model dan komputasi yang efisien; AI yang Bertanggung Jawab (Responsible AI); dan Data untuk AI.
  3. Improved algorithms may be more important for AI performance than faster hardware
    Ketika berbicara tentang AI, inovasi algoritma jauh lebih penting daripada inovasi perangkat keras — terutama jika data yang terlibat mencapai miliaran hingga triliunan. Keesimpulan tersebut diungkapkan tim ilmuwan Computer Science and Artificial Intelligence Laboratory (CSAIL) MIT, yang melakukan apa yang mereka klaim sebagai studi pertama tentang seberapa cepat peningkatan algoritma dalam berbagai contoh kasus.

Tutorial dan pengetahuan teknis

  1. Hadoop Benchmarking dengan Terasort
    Setelah melakukan instalasi ataupun konfigurasi sebuah klaster Hadoop, kita perlu melakukan benchmarking, yaitu menguji apakah MapReduce dan HDFS bekerja dengan baik. Artikel ini menjelaskan mengenai benchmarking klaster Hadoop menggunakan utilitas Terasort.
  2. Using deep learning to detect abusive sequences of member activity
    Tim AI Anti-Penyalahgunaan di LinkedIn menggunakan model untuk mendeteksi dan mencegah berbagai jenis penyalahgunaan, termasuk pembuatan akun palsu, scraping profil anggota, spam otomatis, dan pengambilalihan akun.
    Dalam posting ini dibahas gambaran teknis tentang teknik pemodelan urutan aktifitas, tantangan yang dihadapi, dan bagaimana pemodelan tersebut mengatasi permasalahan yang dihadapi.
  3. Hyperparameter Optimization With Random Search and Grid Search
    Algoritma pembelajaran mesin memiliki hyperparameter yang dapat diatur untuk mendapatkan hasil pemodelan yang terbaik.
    Salah satu cara untuk mendapatkan nilai hyperparameter yang optimal adalah dengan melakukan optimasi atau tuning hyperparameter. Dalam tutorial ini dijelaskan bagaimana melakukan random search dan grid search hyperparameter tuning untuk permasalahan klasifikasi dan regresi, menggunakan scikit-learn.
  4. Getting Started With Kafka and Rust (Part 1)
    Tutorial ini merupakan bagian pertama dari 2 artikel mengenai bagaimana menggunakan Rust dengan Kafka. Dalam artikel ini dijelaskan Kafka Producer API, sedangkan crate atau library yang digunakan adalah rust-rdkafka.
  5. [FREE EBOOK] Python Data Science Handbook – Jake VanderPlas.
    Panduan lengkap untuk memulai hands-on machine learning menggunakan Python. Menjelaskan secara detail dan praktis berbagai algoritma machine learning lengkap dengan source code implementasinya menggunakan scikit-learn.
    Disertakan juga penjelasan mengenai package dan library Python yang penting untuk data science: numpy, Pandas, matplotlib, dan tentunya scikit-learn.
    Buku ini juga dapat diakses dan didownload dalam bentuk jupyter notebook.
  6. [DATASET] Casual Conversations Dataset
    Dataset ‘Casual Conversations’ terdiri dari lebih dari 45.000 video (3.011 peserta) dan dimaksudkan untuk menilai kinerja model yang sudah terlatih dalam computer vision dan audio untuk tujuan yang telah disepakati dalam perjanjian pengguna data. Video tersebut menampilkan individu berbayar yang setuju untuk berpartisipasi dalam proyek, dan secara eksplisit memberikan label usia dan jenis kelamin mereka sendiri. Video-video tersebut direkam di AS dengan beragam kelompok orang dewasa dalam berbagai usia, jenis kelamin, dan kelompok warna kulit yang berbeda.

Rilis Produk

  1. Apache Geode 1.14.0
    Apache Geode adalah platform manajemen data yang menyediakan model konsistensi seperti database, pemrosesan transaksi yang andal, dan arsitektur shared-nothing untuk mempertahankan kinerja latensi yang sangat rendah dengan pemrosesan konkurensi tinggi.
    Rilis ini mencakup sejumlah besar perbaikan bug, peningkatan, dan penambahan beberapa statistik untuk memantau kondisi cluster.
  2. Apache Hudi 0.9.0 released
    Apache Hudi (Hadoop Upserts Deletes and Incrementals) mengelola penyimpanan dataset analitik besar di DFS (Cloud Store, HDFS, atau penyimpanan lain yang kompatibel dengan Hadoop FileSystem) dan menyediakan kemampuan untuk melakukan query.
    Rilis ini mencakup penyelesaian lebih dari 380 issue, terdiri dari fitur-fitur baru serta peningkatan umum dan perbaikan bug. Diantaranya yaitu dukungan untuk Spark SQL DML/DDL, serta beberapa hal penting terkait query, writer, integrasi flink, dan peningkatan delta streamer.
  3. Apache DolphinScheduler 1.3.8 released
    Apache DolphinScheduler adalah sistem penjadwal Big Data workflow visual yang cloud-native. Dalam versi 1.3.8 ini dilakukan banyak optimasi di Doker & K8s. Image docker mendukung banyak arsitektur, seperti arm64, system default parameters optimization , dan sebagainya. Dilakukan pula optimasi dalam hal user experience.

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Jan 22 / 2018
  • Comments Off on Seputar Big Data Edisi #45
Apache, Artificial Intelligece, Big Data, Forum Info, Hadoop, Implementation, pertanian, Storage

Seputar Big Data Edisi #45

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ketiga bulan Januari 2018

Artikel dan Berita

  1. Alibaba neural network defeats human in global reading test
    Satu lagi bidang di mana AI dapat mengungguli manusia. Kali ini Alibaba neural network (dan Microsoft Research Asia) berhasil meraih skor lebih tinggi dari yang dicapai manusia dalam tes pemahaman bacaan (reading comprehension) kategori Exact Match. Tes yang bernama SQuAD ini berisi lebih dari 100 ribu soal-jawab berdasarkan lebih dari 500 artikel wikipedia. Dalam ranking nilai EM mereka tercatat skor tertinggi manusia sebesar 82.304, Alibaba 82.440 dan Microsoft 82.650.
  2. How Mining Companies manage Big Data Analytics to Benefit the Business
    Berbagai teknologi baru dalam industri pertambangan memberi kesempatan kepada perusahaan untuk menganalisis peralatan dan proses yang tidak pernah mereka lakukan sebelumnya. Namun demikian, dengan teknologi baru ini muncul tantangan baru: bagaimana mengelola data yang dihasilkan oleh teknologi tersebut untuk mendorong bisnis. Berikut ini beberapa keuntungan dan use case dari big data untuk industri pertambangan.
  3. Big Data, Small Target: The Smart Approach To Artificial Intelligence
    Tidak semua inisiatif big data berjalan baik, bahkan menurut Gartner, hanya 15% bisnis yang berhasil melewati tahap percontohan atau pilot project big data.
    Dengan semakin besarnya tekanan di dunia bisnis untuk melakukan penerapan AI, dikhawatirkan semakin banyak perusahaan yang mengadopsi teknologi ini tanpa memahaminya terlebih dahulu. Berikut ini beberapa tips untuk memulai proyek big data dan AI maupun ML di perusahaan anda.
  4. Big Data, Analytics, and Machine Learning: Changing Insurance
    Kesuksesan, kegagalan, dan perubahan dalam bisnis asuransi selama ini sebagian besar selalu ditentukan oleh data. Akan tetapi kemunculan big data dan machine learning mengubah peta permainan di dunia asuransi. Pemenangnya adalah yang dapat mengakses data yang paling relevan, menganalisisnya dengan cara baru dan unik, dan menerapkannya pada waktu dan tempat yang tepat, semuanya dengan kecepatan luar biasa.
  5. Big data could soon improve decision making for farmers and fishermen
    Sebuah proyek yang didanai bersama oleh program Horizon 2020 Uni Eropa, melihat bagaimana arus informasi yang dikumpulkan dari tanah, udara dan satelit dapat mendorong pertanian dan perikanan. Proyek Bioekonomi Berbasis Data (DataBio) ini meneliti berbagai aplikasi big data dalam pertanian, kehutanan dan akuakultur, dan bagaimana informasi dapat memberdayakan mereka yang bekerja di sektor-sektor tersebut.
  6. Big data analytics in supply chain: Tackling the tidal wave
    Jumlah data supply-chain tumbuh secara eksponensial, dan perusahaan-perusahaan mulai kewalahan dalam memanfaatkan secara efektif informasi yang tersedia. Penelitian baru mengungkapkan strategi yang dapat mereka adopsi untuk membantu memanfaatkan kekuatan big data.
  7. Georgia researchers are studying the ways AI can reduce traffic accidents in Atlanta
    Kemacetan parah yang terjadi di Atlanta kebanyakan adalah akibat dari kecelakan di persimpangan-persimpangan besar. Untuk mengatasinya, peneliti di Georgia University melakukan studi untuk mengembangkan sistem berbasis citra untuk memantau dan mempelajari keamanan persimpangan besar menggunakan AI dan database real-time berbasis cloud.

Tutorial dan Pengetahuan Teknis

  1. Building a Distributed Log From Scratch, Part 1: Storage Mechanics
    Artikel ini adalah bagian pertama dari serangkaian artikel mengenai message log, membahas mengenai mengapa log penting dalam big data, dan bagaimana mekanisme penyimpanannya.
  2. A Gentle Introduction to Neural Machine Translation
    Penerjemah otomatis merupakan salah satu tugas yang paling menantang dalam bidang AI. Pada awalnya sistem berbasis aturan (rule-based) digunakan untuk menangani permasalahan ini, yang kemudian digantikan oleh metode statistik pada tahun 90an. Saat ini metode yang banyak digunakan adalah model deep neural network. Artikel ini menjelaskan mengenai tantangan yang dihadapi dalam pengembangan penerjemah otomatis dan efektifitas model neural machine translation.
  3. Parsing in Python: Tools and Libraries (Part 8)
    Bagian terakhir dari 8 artikel mengenai parsing dalam python. Mengupas dengan detail berbagai tools dan library dalam python yang dapat digunakan untuk melakukan data parsing, dan apa kelebihan dari masing-masing tool dan library tersebut. Pastikan anda membaca seri-seri sebelumnya.
  4. Elasticsearch for Dummies
    Blog post ini menjelaskan mengenai dasar-dasar Elasticsearch, kelebihannya, cara menginstalnya dan bagaimana mengindeks dokumen menggunakan Elasticsearch.
  5. Apache Mesos, Apache Kafka and Kafka Streams for Highly Scalable Microservices
    Artikel ini menjelaskan mengenai bagaimana membangun infrastuktur mikroservis yang skalabel dan mission-critical menggunakan Apache Kafka, Kafka Streams API, dan Apache Mesos di dalam platform Confluent dan Mesosphere.
  6. A Primer on Web Scraping in R
    Mengakses informasi dari halaman web seringkali membutuhkan usaha ekstra. Sebenarnya banyak package yang telah tersedia dalam R untuk mempermudah data saintis yang ingin mengakses data tersebut. Artikel ini membahas beberapa di antaranya, lengkap dengan contoh langkah demi langkah penggunaannya.

Rilis Produk

  1. Apache BookKeeper 4.6.0
    Apache BookKeeper 4.6.0 mencakup peningkatan kinerja, sebuah API baru yang menggunakan Builder pattern, sebuah admin API baru, dan masih banyak lagi.
  2. Apache NiFi 1.5.0
    Rilis Apache NiFi 1.5.0 mencakup perbaikan support untuk Apache Kafka, integrasi dengan apache Atlas untuk lineage, perbaikan untuk KErberos handling, integrasi dengan NiFi registry untuk versi dan manajemen definisi flow, dan lain sebagainya.
  3. Apache MADlib 1.13
    Apache MADlib memungkinkan big data machine learning dari SQL. Rilis 1.13 mencakup perbaikan bugs dan fitur-fitur baru, termasuk implementasi HITS dan peningkatan untuk KNN.
  4. Apache Sentry 1.7.1
    Versi 1.7.1 of Apache Sentry dirilis dengan perbaikan security untuk CVE.
  5. Apache Samza 0.14.0
    Rilis 0.14.0 mencakup perbaikan kinerja (dengan RocksDB untuk status lokal, incremental checkpoint dan permintaan asinkronus ke servis eksternal), sebuah API baru untuk complex stream processing, sistem input/output yang pluggable, dan berbagai perbaikan yang memudahkan deployment cluster berskala besar.
  6. Apache HBase 1.4.0
    Apache HBase 1.4.0 mencakup lebih dari 660 issue. Fitur utama termasuk shaded client yang diharap dapat meningkatkan kompatibiltas, peningkatan terhadap autorestart, peningkatan metric RegionServer, dan lain-lain.
  7. Strimzi 0.1.0
    Rilis perdana dari Strimzi, yaitu sekumpulan image dan template konfigurasi untuk mendeploy Apache Kafka di atas Kubernetes/OpenShift.

 

Contributor :

Tim idbigdata
always connect to collaborate every innovation 🙂
  • Jul 31 / 2017
  • Comments Off on Pertanian Kecil Bertemu Big Data
Big Data, Implementation, pertanian, Uncategorized

Pertanian Kecil Bertemu Big Data

Washington - Para peneliti telah memulai untuk membawa AI dan Big Data dalam pertanian skala kecil dan pertanian negara berkembang. Tujuannya untuk menjawab salah satu tantangan terbesar di abad 21 nanti yaitu meningkatkan sumber pangan dunia tanpa harus merusak planet ini.

Bagi Ranveer Chandra, seorang peneliti dari Microsoft, ini bagaikan kembali ke asal. Chandra menghabiskan 4 bulan dalam setahun di kebun milik keluarganya di India.“Tidak ada air, tidak ada listrik, tidak ada toilet” katanya. Kerbau digunakan untuk membajak sawah, seperti yang mereka lakukan selama berabad-abad.

Di sebagian besar negara berkembang, pertanian dikelola tidak dengan teknologi yang tinggi dan modern. Walaupun demikian tuntutan pertanian pada negara berkembang ini semakin meningkat, populasi tumbuh lebih cepat dari rata-rata.

Seiring dengan ledakan populasi global yang mendekati 10 miliar pada tahun 2050 mendatang, para petani perlu meningkatkan produksi pertanian tanpa harus melakukan pemababatan hutan atau mencemari tanah dan air dengan pupuk dan pestisida yang berlebihan.

Keakuratan Pertanian

Untuk meningkatkan produktifitas setiap meter persegi lahan pertanian yang ada, petani membutuhkan informasi yang akurat mengenai kondisi tanah. Sehingga pemberian air, pupuk ataupun pestisida hanya pada tempat yang membutuhkan

Saat ini, pertanian berskala besar telah menggunakan teknologi yang memiliki tingkat keakuratan yang tinggi. Peralatan bertani sekarang dapat menanam benih pada kepadatan tanah yang berbeda dan menerapkan jumlah pupuk yang berbeda di berbagai lahan. Pemantau air dapat memberi petani data secara real-time tentang berapa banyak air yang diterima tanaman.

Namun, alat-alat ini terlalu mahal untuk pertanian berskala kecil dan petani pada negara berkembang. Chandra berharap teknologi ini dapat dimiliki dengan biaya yg lebih terjangkau

Kecerdasan Buatan

Untuk meningkatkan produktifitas setiap meter persegi lahan pertanian yang ada, petani membutuhkan informasi yang akurat mengenai kondisi tanah. Sehingga pemberian air, pupuk ataupun pestisida hanya pada tempat yang membutuhkan

Saat ini, pertanian berskala besar telah menggunakan teknologi yang memiliki tingkat keakuratan yang tinggi. Peralatan bertani sekarang dapat menanam benih pada kepadatan tanah yang berbeda dan menerapkan jumlah pupuk yang berbeda di berbagai lahan. Pemantau air dapat memberi petani data secara real-time tentang berapa banyak air yang diterima tanaman.

Namun, alat-alat ini terlalu mahal untuk pertanian berskala kecil dan petani pada negara berkembang. Chandra berharap teknologi ini dapat dimiliki dengan biaya yg lebih terjangkau

imgs_smallfarmmeetsbigdata
Soil sensors connected to artificial intelligence map soil moisture, temperature and acidity. (Credit: Microsoft)

Artificial intelligence

Chandra mengembangkan sistem yang terkoneksi pada sensor tanah ke jaringan melalui saluran tv yang tidak terpakai. Frekuensi "white space" ini dapat memberikan koneksi internet broadband jarak jauh. Beberapa rumah sakit dan sekolah di lokasi terpencil di Afrika sudah online melalui konektivitas white space ini, kata Chandra.

Setiap sensor tanah tersebut menghasilkan gambar kondisi pada lahan pertanian. Untuk menghubungkan petak-petak lahan ke monitor, Chandra mengambil gambar menggunakan drone atau bisa juga menggunakan sebuah smartphone yang diterbangkan dengan balon.

Selanjutnya, AI membandingkan hasil foto dengan data pada sensor dan mengisi celah-celah lahan yg masih kosong, juga memetakan tanah bagian mana yg memiliki kadar asam yang tinggi atau yang membutuhkan lebih banyak air misalnya

AI juga dapat membantu memantau keadaan ternak, melalui webcam dapat diidentifikasi hewan yang sedang sakit karena tidak bergerak, misalnya.

Cikal bakal bisnis

Chandra berharap dapat membuat sistem ini dengan biaya dibawah $100. Model bisnis yang berbeda sedang dipertimbangkan juga, tambahnya. Misalnya, petani dapat berbagi sistem, atau penyedia layanan pertanian lokal dapat menyewanya kepada mereka.

Microsoft hanyalah salah satu dari sekian banyak perusahaan teknologi yang menganggap pertanian sebagai lahan subur bagi revolusi teknologi. Google berinvestasi pada sebuah perusahaan startup yang mengumpulkan data petani tentang bagaimana perbedaan varietas tanaman pada berbagai lahan pertaniandari tahun ke tahun, sehingga petani dapat membuat keputusan yang lebih baik mengenai varietas apa yang terbaik untuk mereka. Amazon mengumumkan rencana untuk membeli rantai makanan Whole Foods dan telah juga berinvestasi di ritel makanan di negara lain.

Sumber :
https://www.voanews.com/a/agriculture-technology-small-farms-big-data/3918239.html

Contributor :

Vinka Palupi
pecinta astronomi yang sejak kecil bercita-cita menjadi astronaut, setelah dewasa baru sadar kalau tinggi badannya tidak akan pernah cukup untuk lulus seleksi astronaut.

Tertarik dengan Big Data beserta ekosistemnya? Gabung