ฝัง
- เผยแพร่เมื่อ 22 มิ.ย. 2022
- Chào mừng bạn đến với video "Thử dùng Airflow để crawl dữ liệu, train model hoàn toàn tự động"! Bạn quan tâm đến việc tự động hóa quy trình thu thập dữ liệu và huấn luyện mô hình? Video này sẽ giới thiệu cho bạn cách sử dụng Airflow để thực hiện điều đó một cách dễ dàng và hiệu quả.
Trong video này, chúng tôi sẽ giải thích về Airflow - một công cụ quản lý công việc và lưu đồ làm việc phổ biến trong lĩnh vực khoa học dữ liệu. Bạn sẽ hiểu cách Airflow giúp bạn tự động hóa các quy trình làm việc phức tạp và quản lý chúng một cách dễ dàng.
Chúng tôi sẽ hướng dẫn bạn cách sử dụng Airflow để crawl dữ liệu từ các nguồn khác nhau và huấn luyện mô hình dữ liệu. Bạn sẽ tìm hiểu cách tạo các bước công việc trong Airflow, định lịch thực hiện chúng và xác định các phụ thuộc giữa chúng để tạo ra một quy trình hoàn chỉnh.
Đặc biệt, chúng tôi sẽ thực hiện một ví dụ thực tế trong video này. Bạn sẽ thấy cách chúng tôi sử dụng Airflow để tự động thu thập dữ liệu từ các nguồn khác nhau, tiền xử lý dữ liệu và huấn luyện mô hình. Bằng cách sử dụng Airflow, quy trình này sẽ được thực hiện một cách tự động và linh hoạt.
Video này sẽ cung cấp cho bạn cái nhìn tổng quan về cách sử dụng Airflow để tự động hóa quy trình crawl dữ liệu và huấn luyện mô hình. Bạn sẽ hiểu cách tận dụng sức mạnh của Airflow để tiết kiệm thời gian và nỗ lực trong quy trình làm việc của mình.
Nếu bạn quan tâm đến việc tự động hóa quy trình crawl dữ liệu và huấn luyện mô hình, hãy không bỏ lỡ video này. Hãy cùng khám phá cách sử dụng Airflow để tạo ra một quy trình làm việc tự động và linh hoạt, giúp bạn tiết kiệm thời gian và tối ưu hóa quá trình làm việc của mình.
Link github: github.com/thangnch/MiAI_Airflow
Xin chào các bạn, rất vui vì các bạn đã ghé thăm vlog Mì AI của tôi!
Hãy join cùng cộng đồng Mì AI nhé!
🎯🎯🎯#MìAI
Fanpage: / miaiblog
Group trao đổi, chia sẻ: / miaigroup
Website: miai.vn
TH-cam: / miaiblog
------
We use "Fun Summer Pop Party Intro" - bought from audiojungle.net.
I have text and pdf license file, i can show it to proof of my purchase. - วิทยาศาสตร์และเทคโนโลยี
Thank you bạn chia sẻ đúng lúc mình đang học.
Yeah. Rất vui vì giúp được bạn. Cần thêm gì bạn post lên facebook.com/groups/miaigroup trao đổi cho vui nhé!
Thuận Đỗ người bạn mới gởi đến bạn lời xin lỗi chân thành nhé ! Hổm giờ bận quá nay mới rảnh đến thăm kênh bạn . Bạn chia sẻ rất hữu ích , Thuận Đỗ đã nhấn vào nút trên cùng rồi nhé bạn ! Mình sẽ đón đợi những clip mới hay từ bạn nữa nè !
Thanks bạn!
Ngon quá
Thanks bạn ủng hộ nha!
Có thể thay đổi tham số model ngay trên giao diện airflow để chạy lại không?
Được luôn bạn. Bạn có thể switch giữa các tham số, đổi kiến trúc model hay làm gì tùy thích vì viêt code python mà. Cần thêm gì bạn post lên facebook.com/groups/miaigroup nhé!
42:07 khắc phục mạng chờ bằng cách thêm độ dài sensor phải ko a?
Đoạn này a nghĩ nên thêm vào code đoạn handle lỗi mạng. Anh code sample nên ko có :D
Làm sao cài thêm các package tensorflow, pymysql, ... vào để chạy các PythonOperator trong airflow được vậy bạn?
Bạn cài vào môi trường python của server chạy Airflow trước sau đó khi execcute nó sẽ load các thư viện đó ra. Cảm ơn bạn ủng hộ nhé! Cần thêm gì bạn post lên facebook.com/groups/miaigroup nhé!
Anh Thắng cho em hỏi chút , phần cài đặt môi trường + airflow em chưa thấy trong bài. Phần này tự tìm hiểu hả anh
Uhm. Cũng khá đơn giản em. Em cài di vướng gì post lên facebook.com/groups/miaigroup nhé!
Anh ơi cho e hỏi tý ạ. Em cũng mới tìm hiểu và dùng cơ bản về Airflow thì nay e muốn không dùng theo kiểu localhost nữa mà muốn public ra cho nhiều người có thể dùng chung và up file lên sử dụng chung thì phải làm sao ạ? Và khi public thế thì e có thể giới hạn quyền cho người nào đăng nhập tài khoản nào thì chỉ xem đc các DAGs của họ còn admin xem đc hết không ạ?
Em post lên facebook.com/groups/miaigroup trao đổi cho tiện nhé!
@ e post mà chưa thấy đc ai xem 🥲🥲🥲
42:38 khúc này task crawl đang bị lỗi thì vì sao anh mark as succesful xong lại chạy được task train model ạ? Dữ liệu nó lấy từ đâu ạ?
Anh đã tải sẵn từ lần chạy trước rồi nên có thể mark tạm được.
anh ơi anh có thể so sánh Apache Airflow với Apache Zeppelin được không ạ. Em đang mắc ở chỗ này ạ
Anh lại chưa dùng con Zep. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem
So sánh con Airflow này với Nifi thì a thấy như thế nào ạ?
Anh lại chưa dùng Nifi :D
anh ơi em không tìm được video train model bằng LSTM, anh cho em xin link với ạ
Bài toán cụ thể của em là gì?
Anh ơi sao em chạy xong cái dag simple mà ko thấy có file nào date.txt hiện ra ạ
Em post lên facebook.com/groups/miaigroup kèm các thông tin ảnh chụp màn hình xem nhé!
@ em post rồi ko ai trả lời ạ :)))
@@ThanhTruong-sf3pc Tag anh vào nhé!
cái airflow này có cài được trên window không anh hay linux với macbook mới cài được vậy
Cài được hết em nhé
A ơi a cài airflow trên window được chưa ạ. E cài dô anaconda lúc chạy cứ báo lỗi SQLite