Airflow cơ bản - Tìm hiểu về Data Ingestion Orchestration
ฝัง
- เผยแพร่เมื่อ 29 ก.ย. 2024
- Xin chào tất cả mọi người,
Week 2, Video của tuần này với chủ đề Data Camping sẽ cùng nhau cài đặt và thực hành về các task liên quan tới source integration và data ingestion.
Bằng cách tiếp cận từ dễ tới khó, chúng mình sẽ cùng tìm hiểu được các một pipeline sẽ connect và ingest data từ nguồn để đưa vào hệ thống của chúng ta.
Trong tuần này sẽ khá nặng để tìm hiểu về hệ thống data.
Key message:
- Cùng xem qua và review lại tuần trước
- Source System là gì và vì sao lại cần data lake trong việc ingest data
- Tìm hiểu về Airflow, các cài đặt nhanh gọn Airflow trên Local
- Các vấn đề liên quan và các bài toán liên quan tới Data Ingestiion
Subscribe to get new videos:
/ @longdatadevlog
Connect here:
www. dat...
/ long-bui-van
/ discord
For more resources, check out:
📚 Free Data Engineering Handbook
de-book.longda...
💻 My dotfiles - Data Dev Setup
github.com/lon...
🌐 Tech Blogs
blogs.longdata...
#Dataengineering #SoftwareEngineering #airflow #dataingestion
Week 2 - Airflow, Integration and Data Ingestion: de-book.longdatadevlog.com/zoomcamp/week_2_data_ingestion/
Other resources:
github.com/longbuivan/dotfile
blogs.longdatadevlog.com/
Anh ơi sao em không thấy phần homework anh nhỉ
Em check bên Discord giúp anh nhé
Hi anh, cảm ơn anh đã tạo nội dung hữu ích này. Dạ em không truy cập vô được link ạ :v
Link vừa maintained, em truy cập vào domain chính rồi navigate tới nhé. de-book.longdatadevlog.com
@@longdatadevlog Dạ em truy cập được rồi ạ.
thanks anh, em đang follow theo handbook , chúc anh nhiều sức khoẻ và ra được nhiều vid chất lượng ạ.