Data Preparation: Pembersihan Data dari Missing dan Noise, serta Pemilihan Atribut yang Relevan
ฝัง
- เผยแพร่เมื่อ 10 ก.พ. 2025
- Data Preparation
Hukum ke 3 dari 9 hukum data mining menurut Tom Khabaza (Tom Khabaza, Nine Laws of Data Mining, 2010 ): Data preparation is more than half of every data mining process. Kita akan menghabiskan 50% usaha dan energi kita untuk urusan data preparation atau preprocessing ketika mengolah data menjadi pengetahuan.
Materi ini adalah lanjutan materi data mining, setelah konsep dijelaskan, 5 peran data mining diuraikan, kemudian praktek dilakukan dengan Rapidminer. Materi data prepraration akan menguraikan tentang apa yang harus dilakukan supaya kita bisa menyiapkan data, membersihkan data, dan mengurangi noise. Dan akhirnya kita bisa mendapatkan data yang relatif bersih dan rapi, yang kemudian siap diolah menggunakan algoritma data mining.
Download slide dan dataset: romisatriawaho...
Romi Satria Wahono Institute
Blog: romisatriawahon...
TH-cam: / romisatriawahono
Facebook: / romisatriawahono
Instagram: / romisatriawahono
Twitter: / romisw
Mantaap.. ini nih yg saya tunggu2. Thanks prof. 🙏
Ditunggu seri selanjutnya.
siap lanjut mas
@@RomiSatriaWahono Prof.. file data examination download dimana ya? (1:01:40) gak ada di file romi-dataset.zip dari web romisatriawahono.net/dm/.
Ketika kuliah gak mudeng mudeng, eh setelah lulus sekian lama dengan mengamati tiap detail penjelasannya dengan pelan pelan baru mudeng Pak 😂😂
naaah .. sounds good mas hehehe
Terima kasih, Pak Romi... Barokallah selalu buat Pak Romi...
amiiin .. siap mbak ... lanjut
Alhamdulilah yg ditunggu sudah muncul mantap Pak Romi
siap lanjut mas
Mantap Pak Romi ini yang saya tunggu-tunggu..
ok sip .. lanjut mas
Ijin bertanya pak, apakah bisa dibuatkan tutorial preprocessing menggunakan google colabs pak?
googling saja mbak, banyak kok, konsep preprocessing itu sama, hanya praktiknya agak beda di tiap tools ..
sangat mencaerahkan, terima kasih Prof.
siap ... lanjut mas
ijin download materi bapak romi, terima kasih atas ilmunya
Siap, lanjut mas
terima kasih ilmunya pak romi sangat bermanfaat, izin download materi ya
siap monggo mas
Terima kasih pak. Untuk buku belajar data mining berbahasa indonesia mulai dari pemula ke mahir, mohon rekomendasinya.
pakai buku textbooks bahasa inggris saja mqs ... lebih solid dan sistematis... dan juga diupdate terus setiap 3-4 tahun sekali
pak romi, apakah PCA hanya bisa digunakan untuk data numeric saja? saya coba dengan data nominal ada notif "regular attributes must be of type numeric"
naaah sudah tahu jawabannya ... hehehe
Izin download ilmunya lagi Pak Romi
siap ... lanjut mas ..
terima kasih pak Romi, apakah algoritma deep learning seperti ccn dan lstm bisa di impelmentasikan pada aplikasi rapidminer ini.?
sebagian ada sebagai operator di rapid miner .
Terima kasih pak, semoga ada pembahasan text mining^^
saya bahas di ujung materi lain sepertinya ... coba ditelusuri saja
@@RomiSatriaWahono oh setelah saya liat definisi text mining, di wiki. ternyata sudah include (dijelaskan) dalam video ini. terima kasih pak ^^
@@RomiSatriaWahono saya mampu mengerjakan tugas 1 ^_^ dalam waktu 1 jam haha
Izin bertanya pak bagaimana cara Kita tentukan data yang kita punya ini harus kita Reduction baik itu feature selection atau ekstrasi
pahami konsep data preprocessing yg sudah aku jelaskan
Pak mau tanya, feature selection untuk cluster bisa menggunakan yg mana ya?
Saya sdh coba pakai forward selection dengan kmeans dan menggunakan cluster distance performance tp eror
Mohon pencerahannya
errornya apa dicek dan dipecahkan sesuai dengan pesan errornya
Maap mau tanya lagi pak..
Pak saya kan mau mining data transaksi untuk mencari hubungan antar barangnya dengan FP-GROWTH.
Ada 1000 item barang atau ada 1000 kolom di dataset Saya.
Masalahnya adalah pas kita import dataset, semua type atribut default.nya polynomial, dan Saya kan harus ngerubah ke binominal.
Pertanyaanya sy ngerubah type atributnya itu emng satu" sesuai sama tutorial pak Romi atau ada cara yang lebih cepat ?
Kalo ada, pake operator apa pak?
Sy sudah cari operator Change type Polynomial to Binominal g ada .
Berhubung ini kolomnya ada banyak bgt, dan butuh makan waktu klo ngerubah satu persatu.
lha datanya sebenarnya gimana bentuknya? dia bener2 polynominal?
@@RomiSatriaWahono datanya mentahnya emng polynomial Pak, contohnya ga cuma 0 dan 1 tapi ada juga 2, 3 dst..
Klo untuk datanya itu bisa sy preprocessing dulu, tapi untuk penentuan tipe atributnya yng sy bingung,
Gmn cara ganti ke binominal sekaligus.
data binominal itu 0 dan 1 atau beli dan tidak .... jangan2 salah data, fp growth itu data transaksi beli dan tidak lho ...
Pak Romi,
Saya tanya, terkadang ada data yang memiliki ciri yang sama namun berbeda pada label.
Misalkan
No X Y Z Label
----------------------------------------
1. a c e Y
2. a c e N
3. a c e N
apa yang harus dilakukan terhadap data tersebut? Apakah yang nomor 1 dirubah labelnya jadi N karena dominan N pada ciri tersebut?
Terima Kasih Pak
hmmmm harusnya dibiarkan saja ... nanri algoritma yg akan memfilter sendiri kondisi itu ....
@@RomiSatriaWahono baik terima kasih Pak
Masih belum ngerti pak untuk istilah over fitting kenapa kurang direkomendasikan. Bisa kasih analogi gak pak?
dibaca lagi slideku ya mas ... dan didengarkan ulang youtubenya ....
halo pak romi, ijin bertanya? apakah ada jawaban dari ketiga soal ujian yang ada di slide?
coba dijawab dulu ... kirim ke aku via telegram saja hasilnya nanti kita diskusi ...
Pak ijin bertanya..Setelah model Kita hasilkan dengan menggunakan Rapidminer apakah bisa Kita deploy ke website atau ke mobile Pak? Mohon penjelasan Pak 🙏
Terima kasih
search dengan rapidminer model deployment .. banyak library dan API yg bisa baca model yg dihasilkan rapidminer
Pak mau tanya, sy kan mau nyoba Asosiasi pake fp-grwoth.
Data transaksi saya seperti ini :
Nota01 || Sabun
Nota01 || Handuk
Nota02 || Handuk
Nota02 || Sikat
Saya mau rubah datanya jadi kyak contoh dataset transaksi dari pak Romi, jadi kyak gini .
Nota. || Sabun || Handuk || Sikat
Nota01 || 1 || 1 || 0
Nota02 || 0 || 1 || 1
Caranya gmn pak, pake operator apa?
Soalnya sy coba cari d google dan TH-cam kesulitan ga bisa Nemu.
lihat di youtubeku yg sebelumnya deh ... udah aku bahas .. itu tipe data dibuat binominal saja mas ...
Pak Romi,
Mau tanya lagi, kalo ada 10 feature/ciri apakah semuanya harus digunakan?
Boleh dipilih beberapa saja?
Metode apa yang digunakan untuk memilihnya?
Terima kasih
diikuti videonya ya ... kan udah aku bahas ....
Izin bertanya pak, untuk Data Analyst apakah pembelajarannya hampir sama seperti Data Scientinst kebetulan saya lulusan Ekonomi dan sangat tertarik untuk mempelajari Data Analyst. Terima Kasih
Banyak naming yg digunakan utk menyebut jobdesc yg dekat, monggi disimak yg 7 tren profesi computing
Terimakasih pak Romi atas ilmunya..😊
Mau tanya pak, itu Folder examination.nya bisa didownload dmn ya pak?
Soalnya di folder romi-dataset.RAR yng sy download g ada.🙏🏻🙏🏻
romi-dataset.zip mas ... harusnya ada
@@RomiSatriaWahono up.. saya juga gak nemu foldernya pak.