Cài đặt Airflow - Công cụ bắt buộc cho Data Engineer

Xin chào mọi người,
Trong video tuần này thì không phải là chủ dề Week 3 - Warehousing mà là cài đặt Airflow, một công cụ cần thiết trong quá trình phát triển data platform, được sử dụng rất phổ biến trong các dự án thực tế.
Ngoài ra cũng cập nhật một số thông tin của Data Camping và vì sao xảy ra các trang 404 khi truy cập vào Website.
Key message:
- Data camping update
- 404 error
- Airflow setup
Subscribe to get new videos:
/ @longdatadevlog
Connect here:
/ long-bui-van
www. dat...
/ discord
For more resources, check out:
▶ Free Data Engineering Handbook
de-book.longda...
▶ My dotfiles - Data Dev Setup
github.com/lon...
▶ Tech Blogs
blogs.longdata...
#Dataengineering #SoftwareEngineering

[@longdatadevlog]

Tài liệu cài đặt: de-book.longdatadevlog.com/datacamping/week_2_data_ingestion/airflow/2_setup_nofrills

[@VietTran-bq1pw]

hay quá anh

[@VietTran-bq1pw]

cho mình hỏi làm sao, phân quyền cho người khác vào cùng build ETL nhỉ

[@longdatadevlog]

Best practice thì không nên 2 người cùng một pipeline, code và infrasucture được tích hợp trên CICD. Còn trên Airflow bạn có thể phân quyền theo user và roles ở trang Administration nhé.