ฝัง
- เผยแพร่เมื่อ 26 ต.ค. 2021
- Познакомимся с инструментом Airflow. Разберем что такое DAG и как его настраивать.
Ссылка на спикера: / dmitry-brazhenko
🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!
📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале datalearn.ru/
👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса.
Очень крутое и полезное видео! Огромное спасибо, многое стало понятно :)
наконец-то кто-то нормальнон про аирфлоу объяснил и показал
Позабавили вопросы , которые относятся не к airflow, а к самому пайтону, я как разработчик на пайтоне перешедший в девопс очень умиляюсь вопросам по пространству имён
Блин видео круто. Боже кто-то задал вопрос что такое баш команда, человек даже не открывал терминал и уже в девопсы хочет 😮
Спасибо вам!!
А можно ещё пожелание)
по Pentaho DI сделать дополнительный ролик по- больше ещё примеров..а то есть только установка 4.1..и самые простые основы 4.2.
Павел Новичков рассказывал.
Весьма приятно было послушать и проверить такскать. Особливо завеселил ответ про настроить ручками графы тасков - нет.
Добрый вечер! Как сделать запуск дага с параметрами? Передаваемыми из UI, например нужно загружать данные, частично или полностью. Добавить опцию выбора.
Всем привет! Спасибо за видео)
Подскажите пожалуйста, какие параметры можно указывать в словаре default_args дага?
Спасибо огромное❤
Спасибо за обзор
Отличное введение в AirFlow! Ссылочку на презентацию можно?
У меня во втором задании вышла ошибка после того как пытаюсь сохранить titanic dataframe в csv файл: PermissionError: [Errno 13] Permission denied: 'df.csv'
Сам Airflow у меня развернут в докере на моем компе. Вопрос - какие права надо править? К папке dags в моем компе или это ошибка внутри докера?
Вобще непонятно что делать...
Здравствуйте! А где можно получить ссылку и презентацию?
Презентация интересная, но разрешение видео очень печальное. Могли бы уж 2022 году по лучше записать.
Есть презентация из видео ?
говорили ссылка будет на гит ... и презу как посмотреть с ссылками?
Код: github.com/dmitry-brazhenko/airflow_tutorial
Презентация: docs.google.com/presentation/d/1fpKEyoZul6hz2wR4idvHF1FGSoG078TMwwvm3f0yQeI/edit#slide=id.gf7633a37fa_0_20
всё супер но не помешало бы приложить репозиторий с лабораторкой в гитхабе что бы каждый мог по играться
Замечательный контент, отличный компетентный спикер... Если бы только количество фраз "не могу дать конкретный ответ", "вот с эти лучше к линуксоидам", "я уверен, что так можно, но не знаю как", "не смогу точно по цифрам сказать", "такого опыта не было" не переваливало за десяток, ато и двадцаток.
Я уже хотел вам написать вам в ответ после первых ваших слов, потом дочитал. То же самое впечатление. Спикер - просто пользователь аирфлоу и даже не имеет в принципе широкого кругозора. Про железо какие-то сказки сказал, не понимает простых вопросов..
@@Pipitkov "если бы ты знал женскую тоску по сильному плечууу")) проще надо быть - че знает то рассказывает, и на том - ОГРОМНОЕ спасибо, реально. А вот все эти детские комплексы можно оставить и при себе, а не транслировать их в комментах
,ура
Как сделать так, чтобы папка в докере, повторяла папку в компе? В начале ролика Дмитрий показывал, что у него папка сразу синхронизируется
там же есть команда COPY . которая копирует все из текущей папке в контейнер
Использовать volume?
Есть проприетарные механизмы.
Которые юзаются только в отдельных компаниях и никуда не выкладываются.
Парень докладчик молодой, очень волновался понимаю какого это все мысли путаются, как на реальном собесе ceбя чувствуешь)
25:14 У нас тоже новые DAG'и не сразу появляются в интерфейсе, ждём пару-тройку минут.
Познания спикера странны. Открываем конфигурационный файл и читаем цит."# How often (in seconds) to scan the DAGs directory for new files. Default to 5 minutes.
dag_dir_list_interval = 300"
Блин я не понял в чем сложность запустить последовательно тысячу джобов for task in tasks: t=t>>task Должно сработать
>> это оператор действия над обьектом и поэтоу ничего не мешает выполнить его в цикле . а таски перебирать в цикле
like for DinD example
И вообще вам всем сюда: th-cam.com/video/Tvzc_2P6Evo/w-d-xo.html
Спасибо!
Вот
Странный ролик, про настройку окружения ни слова, открываем пишем.
Ну да: открываем и работаем. А как настроить? -- Так уже всё настроено)) Ролик, наверное, полезный, но чтобы с нуля установить и настроить Airflow, надо найти соответствующее видео. Но тогда нужно ли будет это видео?
Докер в помошь, если нужно без хардкора.@@mikhailkaravaev5668