Airflow Operators. Операторы в Airflow

Рассказываю про примеры использования PythonOperator, BashOperator и PostgresOperator
Другие видео уроки по Airflow и не только plastic-caption-0a9.notion.si...
Тг канал t.me/datamisha
* Параметр dag в операторы передавать не нужно

[@АлексейП-л7ь]

Привет, Михаил! Спасибо за видео!
Чуть не понял одного: есть операторы для Airflow, которые умеют в SQL. Но я думал, что все операции мы выполняем уже внутри таска, например, Load, где мы пишем логику:
1) Получаем данные из предыдущего таска (например, таска Transform)
2) Предположим, мы хотим, чтобы при повторном запуске записи за предыдущий день затирались, вместо которых загружались новые (типичная инкрементная загрузка). Получается, что в таске Load прописывается "DELETE FROM schm.table where dt = :date_to_delete" и там же прописывается with engine.connect() as conn: и так далее, которое по пути удаляет записи и загружает командой df.to_sql(.. .. .. ..).
Я к тому, что для чего в этом случае нужны именно что отдельные sql-таски, если база является, по сути, просто конечной точкой?
И хотелось бы видео про способы передачи данных между тасками. Хуки, файлы и так далее.
Спасибо! :)

[@NOdatamisha]

Привет!
По поводу передачи файлов: по xcom есть видео на бусти boosty.to/nodata_misha/posts/a56f75f2-02e4-4eac-a6d5-a8c67f59aaee но возможно что-то и на ютуб выпущу
Не много не понял по вашему комментарию, но если я правильно понял, то можно например сделать так:
В первой таске Получаем данные и передаем их во вторую таску, которая может как раз является Postgres оператором, в который мы просто передаем 2 sql кода (удаляем вчерашние, загружаем сегодняшние), можно наверное даже в одном передать