5 Оркестраторы и работа с Airflow

Airflow - один из самых распространенных инструментов координации задач. Он часто применяется при создании ETL процессов. В этом уроке вы научитесь устанавливать этот инструмент на своей машине, узнаете про особенности работы в Airflow и создадите первый ETL процесс.
Ссылка на материалы
github.com/Ark...

[@alexeybodrov8464]

Cron и проблемы его использования 0:28
Airflow и оркестрация 4:11
Cron-синтаксис 6:40
Основные компоненты Airflow 8:53
Airflow DAG 11:00
Action Operatiors 13:39
Transfers Operators 15:07
Sensors Operators 16:00
Hooks 17:21
Установка Airflow в Docker 19:17
WebUI, DAGs 37:55
WebUI, Security, Browse, Admin 45:41
Создание и запуск простого DAG 47:53
Вопросы 1:01:07

[@stanislove2525]

Самое понятное объяснение основ 🍕

[@Dja_tiger]

Крутое объяснение

[@SeReGa95214]

спасибо! наконец-то получилось запустить, чтобы все работало без dag seems to be missing

[@user-ie3zj8rw5r]

+ объясняют на Windows
+"у меня ничего не работает потому что не запущен docker" как мне этого не хватало неделю назад
- не понял как подключиться базе которая находится вне контейнера на locolhost этого же компьютера

[@alexzir]

Интересно, зачем "прослойка" hook, нельзя сразу обраться myconnection.enginge например?

[@letronas]

Хуки это универсальный интерфейс для взаимодействия с внешними системами. Чтобы не городить свой велосипед каждый раз, когда это не надо.
Плюс, благодаря хукам очень удобно работать с учетными данными, которые вы заносите в Airflow в вкладке connections.
P.S. вопрос для автора возможно устарел, но поможет новичкам

[@Sibbarb9]

Артём привет, а если запускаешь airflow на удалённом сервере , как зайти в него собсна говоря ?)

[@Intellik]

Точно так же, только вместо localhost будет адрес сервера