Hướng Dẫn Các Bước Tiền Xử Lý Dữ Liệu bằng Scikit-Learn

แชร์
ฝัง
  • เผยแพร่เมื่อ 23 ธ.ค. 2024

ความคิดเห็น •

  • @CodeXplore
    @CodeXplore  3 ปีที่แล้ว +8

    Jupyter Notebook cũng như dữ liệu của bài học hôm nay, các bạn có thể tải xuống tại Github Repo Link:
    ✪ Jupyter Notebook & CSV của Video: github.com/CodexploreRepo/data_science/tree/main/Code/P01_Pre_Processing
    Ai muốn làm nội dung gì thì comment bên dưới cho CodeXplore biết nha :)

  • @nam2222nam
    @nam2222nam ปีที่แล้ว +3

    Rất ý nghĩa từ nội dung đến cách chia sẻ và cách sống!🎉

    • @CodeXplore
      @CodeXplore  ปีที่แล้ว

      Cảm ơn bạn đã ủng hộ 👏

  • @vutran-pj8zf
    @vutran-pj8zf 3 ปีที่แล้ว +3

    trước tiền xử lí data thì có bước thu thập dữ liệu (Crawling data) , hiện tại python có selenium crawl nhưng khá lâu , bs4 thì nhanh hơn nhưng ko làm việc với js , scrapy nhanh nhất nhưng muốn crawling website code bằng js cần docker + flash . Hi vọng ae admin kênh làm 1 khóa scrapy +docker+flash để crawl những web code bằng js ( shopee , lazada , tiki ,vv...vv) e xin cảm ơn !

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +2

      Wow good suggestion ! Anh sẽ note và làm em nhé ! Cảm ơn em đã luôn ủng hộ CodeXplore !

    • @minhdao1622
      @minhdao1622 3 ปีที่แล้ว

      hay quá , mình cũng đang cần cái này. Hi vọng ad làm series về crawling data nữa thì quá tuyệt

  • @PhuongPham-ox6se
    @PhuongPham-ox6se 2 หลายเดือนก่อน

    Rất bổ ích, mình cảm ơn channel nhiều

  • @damnguyen3570
    @damnguyen3570 3 ปีที่แล้ว

    Bài giảng của anh rất hay và bao quát toàn bộ kiến thức. Hi vọng anh ra nhiều video ạ!

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Nhất định rồi em nhé ! cảm ơn em đã ủng hộ CodeXplore !

  • @tuenguyen9722
    @tuenguyen9722 3 ปีที่แล้ว +1

    Mong anh tiếp tục phát triển series này ạ. Quá hay luôn anh ơi

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Nhất định rồi em nhé !

  • @doyenn1612
    @doyenn1612 3 ปีที่แล้ว +1

    Thanks a. Mong a ra video nhiều hơn ạ

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Nhất định rồi em nhé ! Hi vọng video hữu ích vs em !

  • @minhnguyenhoang9056
    @minhnguyenhoang9056 3 ปีที่แล้ว +1

    cảm ơn a rất nhiều ạ. Mong a ra nhiều vid hơn về chủ đề khoa học dữ liệu

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Nhất định rồi em nhé ! Hi vọng video hữu ích vs em !

  • @nguyenduong5663
    @nguyenduong5663 3 ปีที่แล้ว +1

    yêu anh zai quá, e hóng lâu lắm rồi ạ

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Hehe thanks bro ! Hẹn em vào 7:30pm tối nay nhé !

  • @huynhvanthuan1838
    @huynhvanthuan1838 2 ปีที่แล้ว

    Cảm ơn anh nhiều nhé! Em đã đăng ký kênh anh và bấm chuông thông báo rồi nha ^^

  • @TuAnh-vb3gr
    @TuAnh-vb3gr 3 ปีที่แล้ว +1

    Em hóng series này ghê á, anh đến ngay lúc em đang cần để làm đồ án luôn. Hi vọng có 1 video nào đó kiểu 1 mô hình nhỏ mà có thể bao quát được ứng dụng thực tế luôn á.

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      thế hả em ! Vinh dự quá, anh sẽ cố gắng em nhé !

  • @quangtran3604
    @quangtran3604 3 ปีที่แล้ว +3

    Anh ra thêm về video data science tiếp đi anh, cứ cuối tuần em chờ suốt.

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Ok em, Team sẽ cố gắng nhé 😀

  • @NGOCLETHITHAO
    @NGOCLETHITHAO หลายเดือนก่อน

    hành động thật ý nghĩa ạ

  • @trungnguyenthanh9455
    @trungnguyenthanh9455 3 ปีที่แล้ว +4

    Anh có thể làm một series về SQL với python được k ạ. A nói rất dễ hiểu. E cám ơn a ạ

  • @life-1193
    @life-1193 ปีที่แล้ว

    cám ơn bạn đã chia sẻ

  • @tep67
    @tep67 6 หลายเดือนก่อน

    anh ra thêm video về machine learning, deep learning như này đi ạ hay quá luôn, học dễ hiểu lắm tr

  • @lyphuong3344
    @lyphuong3344 3 ปีที่แล้ว

    Video huong dan rat chi tiet, cam on anh :)

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      You re welcome em

  • @ndhieunguyen
    @ndhieunguyen 3 ปีที่แล้ว +1

    Anh giảng hay lắm ạ, hi vọng anh sẽ ra thêm video về Data Science

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Nhất định rồi em nhé ! Chúc em có một buổi tối vui vẻ

    • @truongchidien3810
      @truongchidien3810 3 ปีที่แล้ว

      Hề lấu em

  • @hienbui7423
    @hienbui7423 ปีที่แล้ว +1

    Cám ơn anh nhiều ạ

  • @MaiNguyen-mt5ut
    @MaiNguyen-mt5ut 3 ปีที่แล้ว

    rất dễ hiểu ạ, mong team ra nhiều sp hay !

  • @nguyenannie9473
    @nguyenannie9473 3 ปีที่แล้ว +2

    Video của a rất hay ạ! A ơi, bữa nào a làm video hướng dẫn kĩ thuật collect data trên web được không ạ! Cảm ơn a rất nhiều

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Cảm ơn em đã luôn ủng hộ team CodeXp;ore nhé !

  • @chilamnguyen1964
    @chilamnguyen1964 2 ปีที่แล้ว

    Cảm ơn ad

  • @nghiahuynh3416
    @nghiahuynh3416 3 ปีที่แล้ว +1

    Hay lắm người anh em :>

  • @lochuynh6734
    @lochuynh6734 3 ปีที่แล้ว +1

    Trời ơi hóng vd anh mãi

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Hehe, sơ rì vì đã để em phải đợi lâu nhé !

  • @khoanguyentien8449
    @khoanguyentien8449 3 ปีที่แล้ว +4

    a cho e hỏi. khi encode column Country sau khi encode thì sẽ có phát sinh vector n cột tương ứng với value unique phải ko ạ. Nếu đúng như vậy thì với tập data lớn giá trị unique quá lớn thì làm sao mình kiểm soát số cột phát sinh để khi xử lý những cột phía sau ạ. tks a.

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +2

      Một câu hỏi rất hay ! Chính xác rồi em nhé, số n cột sinh ra tương ứng vs unique values trong cột country. Đối với trường hợp có nhiều giá trị unique values, chúng ta có thể dùng kiểu encode khác thay cho One Hote Encoder, vd như Binary Encoder để chuyển về dạng một dãy nhị phân em nhé: contrib.scikit-learn.org/category_encoders/binary.html

    • @khoanguyentien8449
      @khoanguyentien8449 3 ปีที่แล้ว

      @@CodeXplore A có dự định làm series về data engineering ko ạ.

  • @hoami8320
    @hoami8320 ปีที่แล้ว +4

    anh ơi em góp ý cái chỗ lấp dữ liệu null ấy mình nên thay thế đoạn đấy thành [data_df.fillna(data_df.mean() ,inplace=true) ] như này cấu trúc đơn giản dễ hiểu hơn mà lại nhanh gọn ạ ! Em cảm ơn vì bài giản , em chỉ muốn góp ý cho anh và mọi người có gì sai sót a cứ việc chỉ giáo !😁

    • @PhuongBui-tz2ms
      @PhuongBui-tz2ms 11 หลายเดือนก่อน

      cho em hỏi nếu cột có giá trị string bị thiếu thì sao ạ

  • @quanghuytran5645
    @quanghuytran5645 3 ปีที่แล้ว +2

    Video của anh hay quá ạ.
    Anh có thể chia sẻ thêm về một số nguồn học và khóa học về Machine Learning được không ạ??

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Em có thể làm các project trên Kaggle hoặc học course Machine Learning của thầy Andrew Ng trên Coursera em nha

    • @Kubo9802
      @Kubo9802 2 ปีที่แล้ว +1

      @@CodeXplore cho em xin nguồn những project hợp newbie với ạ , em mới học nên còn khá mông lung ạ. Em cảm ơn

  • @tiepchu6650
    @tiepchu6650 2 ปีที่แล้ว +1

    Anh nói dễ hiểu quá ạ. Anh có thể làm thêm Machine Learning cho người mới bắt đầu được ko ạ ?

    • @CodeXplore
      @CodeXplore  ปีที่แล้ว +1

      Nhất định rồi em nhé

  • @hoangdung2213
    @hoangdung2213 3 ปีที่แล้ว +1

    Hi vọng anh làm thêm về các thuật toán machine learning ak

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Nhất Định rồi nhé em !

  • @huyenbuikhanh2510
    @huyenbuikhanh2510 3 ปีที่แล้ว +1

    e hóng mãi

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Hẹn em tối mai nhé ! Chúc em cuối tuần vui vẻ 😄

  • @namquach73
    @namquach73 3 ปีที่แล้ว +1

    hay lắm ạ

  • @hungletri3550
    @hungletri3550 3 ปีที่แล้ว

    23:03 e đang k chọn đc các cốt cần convert như mong muốn ạ. em convert cột 1 2 4 thì cột 4 bị đổi chỗ cho cột 3

  • @minhphambinh2944
    @minhphambinh2944 6 หลายเดือนก่อน

    hay quá anh ơi

  • @minhdao1622
    @minhdao1622 3 ปีที่แล้ว +1

    Hay quá b ơi , b có thể hướng dẫn sâu hơn về sckit learrn cho bước tiếp theo ko . Cảm ơn b nhiều

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Nhất định r b nhé !

  • @anhtuanmai537
    @anhtuanmai537 2 ปีที่แล้ว +1

    hay quá a

    • @CodeXplore
      @CodeXplore  2 ปีที่แล้ว

      Cảm ơn em nha !

  • @ThaoQuynh-c8g
    @ThaoQuynh-c8g 8 หลายเดือนก่อน

    A ơi, a có thể ra video giải thích về PCA được ko ạ? Cách code nữa ạ. Em cảm ơn nhiều

  • @trandanh_nietisland5929
    @trandanh_nietisland5929 3 ปีที่แล้ว +1

    a ơi cho em hỏi là mình StandardScaler dữ liệu train rồi khi dự đoán với dữ liệu thực thì làm thế nào ạ? mong được a rep

  • @doducanh5098
    @doducanh5098 ปีที่แล้ว

    Anh có thể ra thêm cách làm bảng dashboard cho power BI hay Tableau mà khi mình đã có phân tích trên file jupyter notebook được ko a. Kiểu 1 dạng project end to end ấy. Cám ơn a

  • @vietongo8880
    @vietongo8880 ปีที่แล้ว

    qúa đỉnh

  • @quynhvo2113
    @quynhvo2113 3 ปีที่แล้ว

    Anh có thể làm tiếp về select feature được không ạ. Cảm ơn anh rất nhiều!

  • @thuonghater2001
    @thuonghater2001 3 ปีที่แล้ว +1

    Em đang muốn theo học machine learning, theo e tìm hiều thì mới một framework là scikitlearn, a cho e hỏi ngoài ra mình cần học nhưng frame work gì ạ

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Em có thể học Tensorflow hoặc PyTorch em nhé !

  • @blackholeschanel8713
    @blackholeschanel8713 2 ปีที่แล้ว

    Anh cho em hỏi là ở phần Cleaning Data thì mình dùng method "fillna()" của Pandas tốc độ nó có chậm hơn cách làm của anh trong video không ạ?

  • @TinLee99
    @TinLee99 11 หลายเดือนก่อน

    mn cho e hỏi, theo kiến thức e được học thì ta phải tách dữ liệu trước, sau đó mới bắt đầu preprocessing vì khi ta không tách mà ta fit_ transform toàn bộ dữ liệu như vậy sẽ có thể bị data leakage khiến model có thể overfitting nhỉ

  • @tranaitai2035
    @tranaitai2035 3 ปีที่แล้ว

    a có thể ra thêm video hướng dẫn dùng pipeline trong tiền xử lý dữ liệu k a

  • @duynghiavo7915
    @duynghiavo7915 ปีที่แล้ว

    Anh ơi cho em hỏi khi dữ liệu có đến 100 dòng thì làm sao dùng heatmap để show ra dữ liệu bị thiếu được ạ. Vì lúc này biểu đồ nhỏ nên nó chia trục dọc ra thành 0 - 4 - 8 - 12 ...... chứ không phải chia dữ liệu trục dọc ra thành 0 -1 - 2 - .... như dữ liệu chỉ có 10 dòng của anh. Làm cho các dữ liệu ở các vị trí như ( 1,2,3 hay 5,6,7) là các vị trí bị thiếu thì nó không show ra trên hình được ạ. Anh giúp em fix chỗ này với ạ. Em cảm ơn anh

  • @MyNguyen-wz3fd
    @MyNguyen-wz3fd 2 ปีที่แล้ว

    Anh ơi cho em hỏi với ạ. Sau khi tách data xong thì làm thế nào để lưu file về máy dưới dạng csv file ạ?. Em cảm ơn anh

  • @HolyNies
    @HolyNies 2 ปีที่แล้ว

    Cho hỏi cái feature scaling nên làm trước khi hay sau khi train-split mình và cô giáo của mình cũng cãi nhau vài tuần vì cái vụ scale này thank chủ kênh nhé

    • @CodeXplore
      @CodeXplore  2 ปีที่แล้ว

      You are welcome bạn !

    • @mquan147
      @mquan147 ปีที่แล้ว

      phải scaled trước chứ nhỉ

  • @theanhbui4259
    @theanhbui4259 2 ปีที่แล้ว +1

    x_train[:,3:] = sc.fit_transform(x_train[:,3:])
    x_test[:,3:] = sc.transform(x_test[:,3:])
    Hi ad mình đang xem đoạn này, mình đang k hiểu tại sao x_train thì có dùng fit còn x test thì không. fit_transtorm với transform khác nhau chỗ nào vậy ad.

    • @TinLee99
      @TinLee99 11 หลายเดือนก่อน

      fit để model học các dữ liệu mà mình đưa vào, transform để chuyển đổi dữ liệu được đưa vào đó về cùng range với nhau. x_test không được fit vì 2 lý do chính:
      (1) ta đã fit xtrain rồi, tức là model đã học từ các dữ liệu của x_ train, mà dữ liệu của x_train thì cũng tương tự x_test vì nó cùng 1 cột mà ra
      (2) ta không được fit x test vì khi fit x test thì model có thể học dữ liệu của x test điều này gây ra data leakage khiến việc dữ đoán có thể ko chính xác dẫn đến overfitting

  • @tuanbaothan4244
    @tuanbaothan4244 2 ปีที่แล้ว

    Ae cho em hỏi tổ hợp phím để hiện gợi ý code được không ạ? em thử bấm ctrl + space như các IDE khác thì k đc ạ. Cảm ơn mn

  • @matsuatrai6259
    @matsuatrai6259 3 ปีที่แล้ว

    Dạy Git-github đi a

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Anh có làm series về Git rồi em tham khảo nha: th-cam.com/play/PLJcWUrckOCKJ9cL3WtHhK_eHu5Q3aYnDs.html

  • @minhnghia107
    @minhnghia107 3 ปีที่แล้ว +2

    Anh ơi, ví dụ mình muốn tìm các datasets để luyện tập thì nên tìm ở đâu nhỉ?

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Ở Kaggle em nhé !

    • @minhnghia107
      @minhnghia107 3 ปีที่แล้ว

      @@CodeXplore Tks anh, mong a ra thêm về Machine Learning 😉

  • @r0cketRacoon
    @r0cketRacoon 10 หลายเดือนก่อน

    a ơi e tưởng phải bỏ 1 column để tránh dummy variable trap chứ nhỉ?

  • @phamthixuanhienvlog8983
    @phamthixuanhienvlog8983 3 ปีที่แล้ว +1

    anh ơi làm về knowledge based recommendation systems in chọn course với anh

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Good idea 👍 có j anh take note và làm nha

    • @phamthixuanhienvlog8983
      @phamthixuanhienvlog8983 3 ปีที่แล้ว +1

      @@CodeXplore dạ dạ em cảm ơn anh

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      @@phamthixuanhienvlog8983 you re welcome em !

  • @buukhanhong40
    @buukhanhong40 3 ปีที่แล้ว +2

    Em ko hiểu chỗ random.seek(42)
    Nếu mình random mà không cần cái seek(42) nớ thì sao a nhỉ? Mong a giải đáp giúp em.

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Hi em, thì kết quả mỗi lần chạy sẽ khác nhau. Mình fix seed thì kết quả mỗi lần chạy sẽ ra như nhau để vd mình có báo cáo thì số liệu không thay đổi em nhé

    • @mialam2318
      @mialam2318 3 ปีที่แล้ว

      @@CodeXplore con số 42 này mình dựa vào đâu để lấy ạ? E cảm ơn

    • @Trungduc_8
      @Trungduc_8 3 ปีที่แล้ว +1

      @@mialam2318 tùy ý bạn nhé. trong khoảng 2^32 thì phải

  • @tranantony3009
    @tranantony3009 3 ปีที่แล้ว +1

    Anh ơi cho em hỏi xíu : e ngồi code 1 lúc xong tắt máy đi ngủ, qua hôm sau bật tệp đó lên code tiếp thì nó báo lỗi ạ. cứ phải bấm vào từng dòng từ đầu xong bấm command enter để chạy lại từng dòng thì mới code tiếp đc ạ. :(

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Em có thể Chọn option "Restart and Run All Cell" nhé, nó sẽ giúp em chạy lại các cell từ đầu tới cuối

    • @tranantony3009
      @tranantony3009 3 ปีที่แล้ว +1

      @@CodeXplore dạ ok r anh ạ, c.ơn a nhiều ạ :D

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      @@tranantony3009 you re welcome em

  • @huytang8398
    @huytang8398 3 ปีที่แล้ว

    đây có thể xem là một chương trình hoàn chỉnh dùng để thuyết trình không ạ, mình là sinh viên năm 2 ạ

  • @minhhuehoang1831
    @minhhuehoang1831 3 ปีที่แล้ว +1

    Anh đang dùng máy tính gì ạ

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Anh đang dùng con Macbook em nha !

  • @huongnguyenthiviet4658
    @huongnguyenthiviet4658 3 ปีที่แล้ว

    anh ơi, tại sao X_train được fit mà X_test thì không vậy anh? em vẫn chưa hiểu rõ lắm

    • @nguyenhoangthanhminh7648
      @nguyenhoangthanhminh7648 3 ปีที่แล้ว

      Tại vì nó train trên tập X_train rồi đó bạn X_train với X_test là tập con của X mà, nên feature scaling trên training set (tức X_train) có nhiều element hơn do đó X_test nên theo mean() với std() (công thức khúc 41:50) của X_train, theo mình hiểu là v á :3

  • @manhcuong193
    @manhcuong193 3 ปีที่แล้ว +1

  • @khongbietattengi8411
    @khongbietattengi8411 3 ปีที่แล้ว +2

    Mong anh dạy em cách tạo một app trợ lý ảo đơn giản bằng tkinter và video F.R.I.D.A.Y trc của anh ạ ! Em cảm ơn.

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว +1

      Nhất định rồi em nhé ! Hi vọng video hữu ích vs em !

  • @bdepw5348
    @bdepw5348 3 ปีที่แล้ว +2

    nhìn hơi lú :))

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      Xem đi xem lại ngâm cứu nha em ! Bởi vậy anh mới làm từng bước từng bước chứ làm project liền dễ bị nú :))

    • @CodeXplore
      @CodeXplore  3 ปีที่แล้ว

      @DiwenD :D

  • @tutosolve
    @tutosolve 2 ปีที่แล้ว

    quá lòng vòng , ko dễ hiểu lắm