:::: MENU ::::

Posts Categorized / Forum Info

  • Nov 17 / 2015
  • Comments Off on Microsoft Machine Learning Toolkit Bergabung ke Open Source
Big Data, Forum Info, Implementation, Uncategorized

Microsoft Machine Learning Toolkit Bergabung ke Open Source

Kurang dari seminggu setelah Google mengumumkan dibukanya status TensorFlow menjadi open source, Microsoft pun membuka akses ke machine learning platform mereka, DMTK (Distributed Machine Learning Toolkit).

DMTK dikembangkan oleh lab penelitian Microsoft Asia, dan di dalamnya mencakup server-based framework yang memungkinkan developer melakukan pemrograman machine learning dengan mudah. Toolkit ini juga mencakup dua algoritma yang dikembangkan Microsoft untuk melatih komputer untuk berbagai tugas.

Langkah Google dan Microsoft ini meramaikan persaingan dalam menanamkan pengaruh dan menciptakan tenaga-tenaga ahli di bidang machine learning, setelah sebelumnya di awal tahun ini Facebook juga membuka Torch , sistem deep-learning mereka. Sedangkan bagi Microsoft, strategi ini adalah langkah lebih jauh untuk menarik para developer, setelah mereka melengkapi Azure dengan kemampuan machine learning dalam cloud.

Saat ini DMTK sudah tersedia di github dengan lisensi MIT.

Contributor :

M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng. Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun. Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.

  • Nov 16 / 2015
  • Comments Off on Kini Anda pun Bisa Ikut Mengembangkan Google Machine Learning Engine
Big Data, Forum Info, Implementation, Uncategorized

Kini Anda pun Bisa Ikut Mengembangkan Google Machine Learning Engine

Baru-baru ini Google mengumumkan bahwa mereka membuka TensorFlow menjadi open source dengan lisensi Apache 2.

Tensor Flow sendiri adalah machine learning engine yang dipakai Google di banyak aplikasi mereka, mulai dari pengenalan suara, SmartReply yang membantu pengguna dengan mengidentifikasi email penting sekaligus memberikan usulan balasannya, pengenalan gambar yang memungkinkan kita melakukan pencarian berdasarkan foto, mengenali dan menerjemahkan tulisan dari sebuah foto, dan lain-lain.

Menurut Google, engine ini dapat digunakan baik dalam riset maupun komersial, mulai dari mesin besar sampai telepon genggam. TensorFlow menggunakan metode deep learning dalam prosesnya, namun dapat juga menggunakan reinforcement learning and logistic regression.

Tentunya tidak semua aspek dari machine learning engine ini dibuka untuk umum. Saat ini hanya beberapa algoritma saja yang dicakup dalam paket open source ini. Dan tentunya Google tidak membuka arsitektur dari infrastruktur luar biasa canggih di balik engine tersebut. Versi open source ini pun adalah versi yang hanya akan berjalan di single computer, bukan yang bisa berjalan di jaringan yang besar. Namun demikian, langkah ini tetaplah sebuah langkah yang luar biasa, mengingat TensorFlow adalah bagian dari aplikasi inti Google saat ini.

Dengan langkah ini Google mengharapkan akan banyak pihak yang ikut mengembangkan teknologi Artificial Intelligence, terutama dengan menggunakan tools mereka. Dengan demikian diharapkan teknologi ini dapat berkembang dengan lebih cepat. Cara ini juga diharapkan dapat mencetak banyak ahli di bidang AI, dan membantu Google untuk menemukan calon-calon potensial untuk ditarik bekerja di Google.

Google sudah mempersiapkan website yang dilengkapi dengan tutorial dan dokumentasi untuk mulai mempelajari machine learning. Kini siapapun dapat ikut serta mengembangkan TensorFlow, termasuk anda.

Selamat belajar!

Contributor :


M. Urfah
Penyuka kopi dan pasta (bukan copy paste) yang sangat hobi makan nasi goreng.
Telah berkecimpung di bidang data processing dan data warehousing selama 12 tahun.
Salah satu obsesi yang belum terpenuhi saat ini adalah menjadi kontributor aktif di forum idBigdata.
  • Nov 03 / 2015
  • Comments Off on Pivotal Analytics Engine Memperkuat Ekosistem Open Source Hadoop
Apache, Big Data, Forum Info, Implementation, Uncategorized

Pivotal Analytics Engine Memperkuat Ekosistem Open Source Hadoop

Akhir september 2015 lalu, Pivotal mengumumkan telah menyumbangkan HAWQ dan MADLib kepada dunia open source melalui Apache Software Foundation. Pivotal merupakan sebuah perusahaan penyedia perangkat lunak dan layanan pengembangan aplikasi untuk data dan analisis berbasis teknologi komputasi awan.

Apache HAWQ, diluncurkan pertama kali tahun 2013 dengan nama Pivotal HAWQ, yang dibangun berdasar pengetahuan dan pengalaman yang diperoleh dari pengembangan data warehouse sistem Pivotal Greenplum dan PostgreSQL. Apache HAWQ menyediakan kemampuan untuk melakukan query dengan antarmuka SQL pada Hadoop secara native. HAWQ dapat membaca dan menulis data dari HDFS.

Apache HAWQ memiliki beberapa keunggulan :

1. Kinerja yang sangat tinggi
Arsitektur pemrosesan paralel HAWQ memberikan throughput kinerja tinggi dan waktu respon yang cepat, berpotensi mendekati real time, dan dapat menangani data berskala petabyte, serta beroperasi secara native dengan Hadoop.

2.ANSI SQL
mendukung antarmuka SQL, yang tentu saja akan mudah diintegrasikan dengan aplikasi lain termasuk BI/visualisasi tools, serta mampu mengeksekusi query yang kompleks.

3. Integrasi dengan Ekosistem Hadoop.
Terintegrasi dan dapat dikelola melalui YARN, serta dapat diinstal dengan AMBARI. HAWQ juga mendukung Parquet, AVRO, HBase dan lainnya. HAQW mudah diupgrade untuk menjaga kinerja dan kapasitas melalui penambahan nodes.

MADlib merupakan machine learning library untuk SQL yang terintegrasi dengan HAWQ. MADlib dikembangkan oleh Pivotal, bekerjasama dengan peneliti dari Unversitas California, Berkeley, Universitas Standford, Universitas Florida dan klien dari Pivotal. MADlib telah digunakan di bidang finansial, otomotif, media, telekomunikasi dan industri transportasi.

Dalam press release yang diumumkan melalui pivotal.io, Gavin Sherry, Vice President dan CTO Pivotal, berkeyakinan bahwa teknologi HAWQ dan MADlib sebagai proyek inkubasi Apache akan memberikan kemampuan pemrosesan SQL yang belum pernah terjadi sebelumnya kepada pengembang dan pengguna Hadoop.

sumber :

http://pivotal.io/big-data/press-release/pivotal-open-sources-top-analytics-engine

http://hawq.incubator.apache.org/

http://madlib.incubator.apache.org/

Contributor :


Vinka Palupi
pecinta astronomi yang sejak kecil bercita-cita menjadi astronaut, setelah dewasa baru sadar kalau tinggi badannya tidak akan pernah cukup untuk lulus seleksi astronaut.
  • Oct 13 / 2015
  • Comments Off on Big Data untuk Penanggulangan Bencana : Ketika Data Menyelamatkan Jiwa
Big Data, Forum Info, Implementation, IoT, Uncategorized

Big Data untuk Penanggulangan Bencana : Ketika Data Menyelamatkan Jiwa

Menangani bencana alam adalah sebuah pekerjaan yang tidak mudah.Sering kali diperlukan koordinasi berlapis-lapis dan komunikasi antara berbagai organisasi bahkan berbagai negara untuk dapat memberikan bantuan dengan efektif. Permasalahan ini masih ditambah lagi dengan keadaan wilayah yang rusak setelah tertimpa bencana alam, dan putusnya jalur-jalur komunikasi akibat kerusakan infrastruktur. Di beberapa negara berkembang, infrastruktur ini tidak memadai bahkan kadang tidak tersedia sama sekali. Pemerintah biasanya memegang peranan penting dalam mengatasi tantangan-tantangan logistik semacam ini, akan tetapi beberapa tahun belakangan ini ada lagi hal penting yang terbukti sangat membantu penanganan bencana, yaitu adanya usaha pemerintah untuk mendukung kebebasan penggunaan dan penyebaran data sesudah kejadian-kejadian darurat.

Inisiatif untuk menyediakan open data dan mendukung pengembangan teknologi baru terkait data, terbukti telah menyelamatkan banyak jiwa. Mulai dari bencana gempa bumi tahun 2010 di Haiti sampai dengan gempa bumi di Nepal tahun 2015. Pembuat kebijakan di seluruh dunia perlu melihat contoh-contoh nyata tersebut untuk dapat meningkatkan dukungan mereka dalam hal penanggulangan bencana, maupun untuk lebih mempersiapkan diri menghadapi kemungkinan adanya bencana di masa yang akan datang.

Open data telah menjadi salah satu alat yang paling bermanfaat dalam membantu para relawan dan pekerja tanggap darurat, dengan memberikan informasi geospasial yang terkini dan akurat, dan memberikan informasi yang sangat diperlukan untuk melakukan perencanaan dan penentuan prioritas dalam pengambilan keputusan bagi organisasi kemanusiaan maupun pemerintah. Platform data geospasial semacam OpenStreetMap, yaitu sebuah project pemetaan yang bersifat open source, memungkinkan para relawan untuk memperkirakan tingkat kerusakan dengan cepat, dan memonitor pelaksanaan penanggulangan bencana.

Sesudah super taifun Haiyan melanda Filipina pada bulan November 2013, Palang Merah Internasional dan para relawan online berkolaborasi dalam melakukan lebih dari 1.5 juta update pada OpenStreetMap dalam waktu 6 hari saja, dengan menggabungkan laporan yang bersifat crowdsource dari berbagai pekerja lapangan dengan data dari lembaga geospasial Amerika serta data dari pemerintah Filipina.

Untuk mengantisipasi kedatangan Hurricane Sandy, pemerintah kota New York menerbitkan peta daerah evakuasi yang terbaru di portal open datanya, dan bekerja sama dengan organisasi seperti The New York Times dan Google’s Crisis Response Team untuk mengolah dan menggabungkan data dari penampungan, pusat distribusi makanan, dan jalur-jalur evakuasi. Sebuah pekerjaan yang diperkirakan memerlukan 10 kali lipat tenaga dibanding metode tradisional.

Saat ini usaha penanggulangan bencana untuk Nepal memanfaatkan Humanitarian Data Exchange, sebuah open portal yang menggabungkan data-data penting dari pemerintah, lembaga kemanusiaan, dan sumber akademik, yang sebelumnya sangat sulit atau memakan banyak waktu bagi para relawan dan pekerja sosial untuk mendapatkannya. Sebagai contoh, para relawan dapat menemukan data sebaran curah hujan dari USAID bersama dengan data batas administratif Nepal dari University of Georgia, serta data harga bahan makanan dari World Food Programme dari PBB.

Selain menyediakan data yang penting, pemerintah juga dapat berperan penting dalam mendukung inovasi teknologi yang dapat membantu para relawan. Sesudah Badai Sandy melanda New York, dilakukan upaya penanggulangan bencana menggunakan teknologi analytics yang dibuat oleh Palantir, sebuah perusahaan yang dimulai dari pendanaan CIA, untuk memprediksi lokasi-lokasi yang mungkin paling memerlukan obat-obatan, makanan, dan pakaian, serta mengkoordinasikan usaha untuk mengatasinya. Di Nepal, para relawan bencana berhasil menyelamatkan empat korban yang terjebak dalam reruntuhan dengan menggunakan sensor canggih dari NASA dan U.S. Department of Homeland Security, yang dapat mendeteksi detak jantung di balik timbunan reruntuhan. Dan baru-baru ini U.S. National Science Foundation bersama Lembaga Sains dan Teknologi Jepang menjalin kerja sama untuk mengembangkan teknologi tanggap darurat yang bersifat data-driven, mulai dari sistem penyampaian informasi yang context-aware sampai dengan algoritma pencarian yang dapat mengenali bau, untuk mendeteksi polutan dan bahan berbahaya menggunakan jaringan sensor dalam air maupun udara.

Tentunya tidak hanya pemerintah yang berperan penting dalam hal penanggulangan bencana, sektor swasta pun dapat menyumbangkan data yang penting untuk kejadian-kejadian darurat. Ketika gempa bumi dan tsunami Tohoku memporak porandakan Jepang pada 11 Maret 2011, pemerintah Jepang meminta pabrikan mobil semacam Toyota dan Honda untuk mengaktifkan GPS tracking di kendaraan yang mereka buat. Perusahaan-perusahaan ini menggunakan data perjalanan pengguna mobil mereka, yang menunjukkan di mana para pengemudi memutar arah akibat kerusakan jalan, kecelakaan dan hambatan lainnya, untuk membuat peta yang akurat tentang jalur-jalur yang aman dan masih dapat dilalui dalam waktu hanya 24 jam setelah terjadinya bencana.

Jenis-jenis data tools ini telah terbukti sangat membantu aksi tanggap darurat dan dapat menyelamatkan banyak jiwa. Dukungan yang terus menerus dari pemerintah sangat mendukung kesuksesan upaya semacam ini. Meyadari hal ini, para pembuat kebijakan hendaknya mengetahui cara-cara untuk dapat mendukung secara proaktif pengembangan dan penggunaan teknologi data bagi penanggulangan bencana, dan melakukan upaya pencegahan terhadap potensi masalah yang bisa muncul, tanpa menunggu datangnya keadaan darurat. Sebagai contoh, sebagian besar data geospasial yang sangat penting bagi kegiatan tanggap darurat sumbernya adalah dari pemerintah, akan tetapi tanpa komitmen yang mengikat secara hukum bagi pemerintah dan lembaganya untuk membuka akses terhadap open data, data krusial ini bisa jadi tidak terakses oleh para relawan.

Di tingkat lokal, negara bagian dan propinsi, para pengambil keputusan mestinya mencontoh apa yang dilakukan oleh pemerintah kota New York dan membangun portal open data yang robust, berisi informasi yang bermanfaat bagi masyarakat di masa darurat. Negara-negara yang memiliki sarana hendaknya terus berinvestasi dalam riset dan pengembangan project data yang dapat menjadi penyelamat jiwa dalam keadaan bencana.

Seiring munculnya metode baru yang berbasiskan data, seperti misalnya penggunaan data telepon selular untuk mengawasi penyebaran Ebola di Afrika Barat, masyarakat mungkin khawatir akan resiko terganggunya privacy sehingga enggan untuk berpartisipasi. Di samping itu, negara dengan aturan privacy yang ketat mungkin tidak dapat mengikuti jejak Jepang dalam kesuksesannya memanfaatkan sistem emergency car tracking yang disebutkan di atas. Meski demikian, para pengambil keputusan memiliki tanggung jawab untuk mempertimbangkan dengan sungguh-sungguh bahwa keuntungan penggunaan teknologi yang dapat menyelamatkan jiwa ini bisa jadi jauh lebih besar dari resiko privacy yang mungkin timbul.

Meskipun bencana alam dan bencana lainnya mungkin tak dapat dihindarkan terjadinya, penggunaan data telah terbukti dapat mengurangi kerusakan dan kerugian material maupun jiwa yang ditimbulkannya. Dan dengan dukungan dari para pembuat keputusan, mestinya penggunaan data dan teknologinya akan dapat menyelamatkan jauh lebih banyak lagi jiwa.

Diterjemahkan dari : http://www.datainnovation.org/2015/07/big-data-means-big-relief-for-disaster-victims/

  • Oct 08 / 2015
  • Comments Off on Penerapan Deep Learning Dalam Mendeteksi Malware
Forum Info, Implementation, Uncategorized

Penerapan Deep Learning Dalam Mendeteksi Malware

Tim data science dari Cylance , tengah mengembangkan pendeteksi malware dengan menggunakan teknik yang disebut “Deep Learning”, sebuah subset lebih rinci dari machine learning. Teknik ini yang diklaim mampu mendeteksi dan menentukan apakah sepenggal kode mengandung malware atau tidak hanya dalam waktu 100 milidetik bahkan kurang.

Dengan peningkatan jumlah malware yang dihasilkan setiap hari, kebutuhan untuk metode yang lebih otomatis dan cerdas untuk belajar, beradaptasi, dan menangkap malware sangat penting. Cylance memiliki sampai 2 petabyte data set untuk digunakan dalam teknik machine learning.

Matt Wolf, kepala data science di Cylance, mengatakan bahwa ia dan timnya biasanya menggunakan beberapa ratus CPU yang berjalan selama berhari-hari untuk memproses dan bekerja dalam mengolah data, dan membutuhkan waktu berminggu-minggu bahkan bulanan untuk melatih mesin untuk belajar tentang hal-hal tersebut. Dibutuhkan ratusan gigabyte memori, CPU dan "mesin besar," katanya.

Menurut Wolf, premis utama di balik machine learning adalah pencocokan pola. Ketika melihat sebuah malware, mungkin tidak akan terlihat pola. Tapi ketika melihat setengah dari miliaran contoh, mungkin ada banyak sekali pola yang relatif mudah untuk dibedakan. Tujuan dari model ini adalah untuk menemukan pola-pola ini.

Konsep dalam penggunaan machine learning dan deep learning bukan merupakan suatu hal yang baru, tetapi dalam beberapa tahun terakhir hal ini menjadi lebih realistis untuk diimplementasikan. Dengan opsi komputasi awan membuat biaya komputasi big data menjadi lebih terjangkau, karena kita tidak perlu membangun data center dengan ratusan server lagi.

Sebuah sistem deep learning akhirnya bisa menggantikan alat deteksi malware yang ada saat ini, Wolff mengatakan. "Sebuah sistim machine learning lebih efektif dari mesin berbasis signature”

Untuk informasi lebih lengkap, dapat mengakases artikel Researchers Enlist Machine Learning In Malware Detection DISINI

Contributor :


Sigit Prasetyo
Seorang pengembara dunia maya, sangat suka mengeksplorasi dan menelusuri tautan demi tautan dalam internet untuk memperoleh hal-hal menarik. Saat ini sedang berusaha mengasah ilmu googling. Memiliki kegemaran memancing walaupun saat ini lebih sering memancing di kantor, terutama memancing emosi.

  • Oct 06 / 2015
  • Comments Off on idBigdata MeetUp #5
Forum Info, Komunitas, Uncategorized

idBigdata MeetUp #5

Setelah pada MeetUp sebelumnya idBigdata mengunjungi kota Bandung, pada MeetUp ke – 5 ini idBigdata memilih Surabaya sebagai tuan rumah. Antusiasme idBigdata-ers sudah terlihat sejak hari pertama pendaftaran dibuka. Bahkan beberapa idBigdata-ers sudah hadir di venue 1 jam sebelum acara dimulai.

MeetUp kali ini bekerjasama dengan Jurusan Sistem Informasi FTIS-ITS dan dibuka oleh Bp. Dr Eng Febriliyan Samopa, ketua Jurusan Sistem Informasi FTIF-ITS.

Acara ini terdiri dari 4 sesi, di mana pada setiap sesi disediakan waktu diskusi sehingga para peserta bisa langsung bertanya atau sharing tentang pemaparan topik yg sedang diberikan. Pada sesi pertama bapak Noor Azam dari KLAS (Kelompok Linux Arek Suroboyo) memaparkan topik khusus berjudul Open Source & Bigdata. Sesi ini berakhir bersamaan dengan masuknya waktu dzuhur dan makan siang.

Peserta berkumpul kembali di venue MeetUp pada pukul 13.00, dan sesi kedua dilanjutkan oleh ibu Nur Aini, M.Sc, Eng, ITS dengan judul yang cukup provokatif : Linked Data, Even A Cow Can Find Your Data. Topik berlanjut ke arah yg lebih teknis di sesi 3, oleh Joko Mulyono dari Solusi247 dengan tema khusus : Real Time Processing.

Topik terakhir dengan judul : Berkenalan Dengan Solr dipaparkan oleh Sigit Prasetyo dari idBigdata sekaligus menjadi penutup dari rangkaian acara MeetUp ke – 5 idBigdata di ITS kali ini.

Acara diikuti oleh berbagai kalangan mulai dari akademisi, implementor di bidang bisnis, dan juga dari pemerintahan. MeetUp ke-5 idBigdata ini juga dapat diakses secara online melalui live.idBigdata.com. Diharapkan acara MeetUp ini bisa terus berlanjut sehingga komunitas idBigdata bisa terus bersinergi, berkolaborasi, dan berinovasi.

IdBigdata-ers juga bisa mengakses seluruh rangkaian acara MeetUp sebelumnya di live.idbigdata.com

Contributor :


Vinka Palupi
pecinta astronomi yang sejak kecil bercita-cita menjadi astronaut, setelah dewasa baru sadar kalau tinggi badannya tidak akan pernah cukup untuk lulus seleksi astronaut.

  • May 04 / 2015
  • Comments Off on idBigData MeetUp #3
Big Data, Forum Info, Komunitas

idBigData MeetUp #3

suasana kelas idBigData MeetUp #3

Bekerjasama dengan Departemen Teknik Elektro FTUI, kali ini idBigData mengunjungi Depok untuk mengadakan MeetUp ketiga, pada tanggal 24 april 2015 kemarin. idBigData MeetUp merupakan kegiatan rutin yang lebih dari sebagai ajang berkumpul dan saling sapa, tetapi juga untuk berbagi ilmu.

Kepala Departemen Teknik Elektro FTUI, Ir. Gunawan Wibisono, Msc, PhD, dalam sambutan pembukaan mengatakan bahwa Departemen Teknik Elektro FTUI telah menerapkan mata kuliah yang terintegrasi dengan sertifikasi. Hal ini dilakukan dalam rangka mempersiapkan sumber daya yang siap bersaing di dunia kerja Indonesia yang mulai Agustus 2015 harus terbuka dalam kerangka Masyarakat Ekonomi Asean. Sementara itu Sigit Prasetyo, sebagai kuncen idBigData, memberikan sedikit bocoran bahwa untuk tahun ini idBigData akan merencanakan konferensi bigdata Indonesia yg ke-2 sebagai rangkaian dari program berbagi pengetahuan kepada komunitas.

Pembicara pertama, Beno K Pradekso, CEO PT Dua Empat Tujuh, dengan presentasinya Big Data Boost Business Productivity, bercerita mengenai bagaimana perkembangan big data dan bagaimana pengaruhnya terhadap perkembangan teknologi yang mengikutinya. Pada kesempatan ini pula beliau memperkenalkan kembali salah satu tools Hadoop data processing yang dikembangkan oleh PT Dua Empat Tujuh, yaitu HGrid247.

MapR Technologies yang merupakan perusahaan di balik distro hadoop MapR, juga turut berpartisipasi dalam kegiatan MeetUp idBigData kali ini. Allen Day, Principal Data Scientist MapR Technologies, menjelaskan bagaimana Hadoop berperan dalam pemrosesan data genomics.

Pada sesi ke tiga Ardiansyah M.Eng, DTE FTUI, memperkenalkan  Big Data Training & Research Collaboration at DTE-FTUI. Dilanjutkan dengan sesi terakhir yang dibawakan oleh Dwika Sudrajat, Director of VIDE Freeman Consulting Group dengan topic berjudul “Solution and Business Big Data”

idBigData Meetup #3 yang dimulai pukul 14.00 WIB ini diikuti oleh berbagai kalangan mulai dari mahasiswa, dosen, penggiat open source, implementor di bidang bisnis, dan juga dari pemerintahan. Diharapkan acara MeetUp ini bisa terus berlanjut sehingga komunitas idbigdata bisa terus bersinergi, berkolaborasi, dan berinovasi. Untuk informasi kegiatan berikutnya dapat mengikuti sosmed kita di facebook, twitter dan youtube

Contributor :


Vinka Palupi
pecinta astronomi yang sejak kecil bercita-cita menjadi astronaut, setelah dewasa baru sadar kalau tinggi badannya tidak akan pernah cukup untuk lulus seleksi astronaut.

Pages:123456
Tertarik dengan Big Data beserta ekosistemnya? Gabung