- 11
- 4 163
NOdata Миша
เข้าร่วมเมื่อ 15 ม.ค. 2021
Работаю дата инженером и говорю об этом
Это сэкономит 90% времени программиста!
Видео уроки по data (Airflow, Clickhouse и многое другое) plastic-caption-0a9.notion.site/0b0d11f1ebcf41b5bd9212fa5c22426b
Тг канал t.me/datamisha
Тг канал t.me/datamisha
มุมมอง: 196
วีดีโอ
Установка ClickHouse
มุมมอง 16214 วันที่ผ่านมา
Видео уроки по data (Airflow, Clickhouse и многое другое) plastic-caption-0a9.notion.site/0b0d11f1ebcf41b5bd9212fa5c22426b Тг канал t.me/datamisha Сайт ClickHouse онлайн play.clickhouse.com/play?user=play Установка ClickHouse локально brew install clickhouse clickhouse server Установка ClickHouse через Docker docker run -d name some-clickhouse-server ulimit nofile=262144:262144 -p 8123:8123 -p ...
Airflow Operators. Операторы в Airflow
มุมมอง 12321 วันที่ผ่านมา
Рассказываю про примеры использования PythonOperator, BashOperator и PostgresOperator Другие видео уроки по Airflow и не только plastic-caption-0a9.notion.site/0b0d11f1ebcf41b5bd9212fa5c22426b Тг канал t.me/datamisha * Параметр dag в операторы передавать не нужно
Airflow на простом примере
มุมมอง 2.2K3 หลายเดือนก่อน
В этом видео я покажу и расскажу как работать с airflow на примере получения данных по api и загрузки их в базу данных Мои видеоуроки по data plastic-caption-0a9.notion.site/0b0d11f1ebcf41b5bd9212fa5c22426b Мой тг канал - t.me/datamisha
Кто такой Data Engineer?
มุมมอง 1743 หลายเดือนก่อน
Ссылка на полезные материалы t.me/datamisha/217 Видеоуроки для data специалистов - boosty.to/nodata_misha Таймкоды: 00:00 - Начинаю 00:21 - Кто он? 00:50 - ETL 02:05 - Про витрины данных 03:17 - Задачи DE 04:24 - Что должен знать DE 06:20 - Плюсы и минусы быть DE 08:05 - Блиц и выводы
NiFi на простом примере
มุมมอง 2114 หลายเดือนก่อน
Тегеграм канал - t.me/datamisha Видеоуроки для data специалистов - boosty.to/nodata_misha О том как NiFi в docker развренуть th-cam.com/video/5n1tszZYsbw/w-d-xo.html
Софт для Data engineer
มุมมอง 1725 หลายเดือนก่อน
В видео рассказывается о необходимом наборе программ для data engineer'a Тегеграм канал - t.me/datamisha Видеоуроки для data специалистов - boosty.to/nodata_misha Таймкоды: 00:00 - Всем привет 00:23 - DBeaver 4:20 - PyCharm 7:36 - Google Chrome
Сменил первую работу в it
มุมมอง 14211 หลายเดือนก่อน
Видеоуроки для data специалистов - boosty.to/nodata_misha Телеграм канал NOdata Миша - t.me/datamisha Таймкоды: 0:00 - Я сменил работу 0:47 - Как понять что пора искать новую работу 2:02 - Где искать работу 3:28 - Как подготовить резюме 5:43 - Как подготовиться и пройти собеседование 9:39 - Как выбрать лучшее условие
Я теперь data engineer
มุมมอง 225ปีที่แล้ว
В ролике рассказываю о своей карьерном пути Видеоуроки для data специалистов - boosty.to/nodata_misha Телеграм канал NOdata Миша t.me/datamisha
Запуск NiFi в Docker | Dockerfile | Установка NiFi
มุมมอง 152ปีที่แล้ว
Установка NiFi Видеоуроки для data специалистов - boosty.to/nodata_misha Телеграм канал data Миша - t.me/ 4lL6y1a6eUcxNzky Курс по Docker - karpov.courses/docker 00:00 | Начало 00:20 | Загрузка образа 01:10 | Развертывание 05:50 | Вход в docker 08:20 | Dockerfile
NiFi+python. Запуск python скрипта в nifi. ExecuteScript. ExecuteStreamCommand.
มุมมอง 385ปีที่แล้ว
Запуск python скрипта в nifi с помощью: 1) ExecuteScript 2) ExecuteStreamCommand Видеоуроки для data специалистов - boosty.to/nodata_misha Телеграм канал data Миша - t.me/ 4lL6y1a6eUcxNzky В текстовом формате - datamisha.ru/2022/11/08/nifipython-запуск-python-скрипта-в-nifi-executescript-executestreamcommand/ 00:00 | 2 способа 00:30 | ExecuteScript 03:25 | ExecuteStreamCommand
codeium
Понравился ролик 👍
Привет! Ты так в сбере и работаешь ? Посмотрел видео твое годичной давности. Подскажи что за ноут у тебя ? Подскажешь Мак бук подойдет дата инженеру ?
Поставил Лайк и подписался
Привет! Сейчас уже работаю в Сбер Образовании Ноут у меня мак бук. И домашний и рабочий
За 10 минут описал то, что я месяц пытался понять из разных отрывков дагов и доки на работе)) еще смотрел модуль по airflow из Карпов курсов - фигня полная, по сравнению с этим объяснением, тут понятно что зачем и для какой цели
Спасибо за комментарий!)
тут надо учесть что месяц тоже не прошел даром, просто в очередной ролик сыграл свою роль, расставил все на свои места :) вот я смотрю и пока что все равно ничего не понимаю, правда не досмотрел еще :)
@@rasiyanin согласен, чем чаще непонятную инфу видишь, тем больше в подкорке она откладывается, видать это был мой случай))
Привет, Михаил! Спасибо за видео! Чуть не понял одного: есть операторы для Airflow, которые умеют в SQL. Но я думал, что все операции мы выполняем уже внутри таска, например, Load, где мы пишем логику: 1) Получаем данные из предыдущего таска (например, таска Transform) 2) Предположим, мы хотим, чтобы при повторном запуске записи за предыдущий день затирались, вместо которых загружались новые (типичная инкрементная загрузка). Получается, что в таске Load прописывается "DELETE FROM schm.table where dt = :date_to_delete" и там же прописывается with engine.connect() as conn: и так далее, которое по пути удаляет записи и загружает командой df.to_sql(.. .. .. ..). Я к тому, что для чего в этом случае нужны именно что отдельные sql-таски, если база является, по сути, просто конечной точкой? И хотелось бы видео про способы передачи данных между тасками. Хуки, файлы и так далее. Спасибо! :)
Привет! По поводу передачи файлов: по xcom есть видео на бусти boosty.to/nodata_misha/posts/a56f75f2-02e4-4eac-a6d5-a8c67f59aaee но возможно что-то и на ютуб выпущу Не много не понял по вашему комментарию, но если я правильно понял, то можно например сделать так: В первой таске Получаем данные и передаем их во вторую таску, которая может как раз является Postgres оператором, в который мы просто передаем 2 sql кода (удаляем вчерашние, загружаем сегодняшние), можно наверное даже в одном передать
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Видеоуроки для data специалистов - boosty.to/nodata_misha
Классное видео! Подскажи, что за тул для БД исплользуешь?
Спасибо! К БД подключаюсь через DBeaver
Молодец
Теперь я тоже мамкин дата инженер 🙂 Спасибо 🚀
Многие мечтают быть дата инженерами, просто не осознают этого 😎
Добавил в избранное и курс по докеру тоже 👍
Спасибо, хорошее введение в профессию, понятно и без пафоса
Спасибо Возвращаетесь еще за кучей полезных видео)
продолжайте. Жду продолжения. Интересно посмотреть на реальные задачи. Спасибо 💪🏼
Спасибо за комментарии! Продолжение обязательно будет)
Спасибо большое за видео, очень помогло! Можно ли для ExecuteStreamCommand как-то задавать параметры и считывать их в скрипте?
Самому не приходилось, но вроде можно. Можете почитать в документации nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.17.0/org.apache.nifi.processors.standard.ExecuteStreamCommand/index.html
@@NOdatamisha Хорошо, спасибо! Как я понял, это делать через аргументы для команды запуска программы. Только вот вопрос, можно ли задавать глобальные переменные для пайплайна и подставлять в аргументы команды запуска?
@@dealenx можно создать атрибут и его подставлять. Завтра попытаюсь поподробнее рассказать)
@@NOdatamisha Хорошо, спасибо!