- 3
- 28 132
Sergei Boikov - Data Engineering for Everyone
เข้าร่วมเมื่อ 30 เม.ย. 2014
Video channel about Business Intelligence (BI) and Data Engineering.
Roadmap for beginner Data Engineers
Подготовил roadmap для начинающих дата инженеров. Этот roadmap отражает мою субъективную точку зрения, основанную на опыте, относительно тех технологий, которые стоит изучать начинающим дата инженерам. Большинство технологий и инструментов относятся к приложениям с открытым исходным кодом, что является особенно актуальным для российских проектов.
Более подробный roadmap для дата инженеров можно найти здесь: github.com/datastacktv/data-engineer-roadmap
Более подробный roadmap для дата инженеров можно найти здесь: github.com/datastacktv/data-engineer-roadmap
มุมมอง: 4 595
วีดีโอ
Один день в жизни Data Engineer
มุมมอง 23K2 ปีที่แล้ว
Data Engineering является одним из самых перспективных направлений в современном IT. Все больше крупных компаний хотят извлекать прибыль из данных. В видео рассказываю о том, кто такой Data Engineer, его задачи и инструменты.
Tutorial: Transform data using Azure Databricks & Data Factory
มุมมอง 6413 ปีที่แล้ว
Трансформирование данных с помощью Azure Databricks и Data Factory Решение задачи трансформации данных с помощью Azure Databricks и Data Factory показывается на примере загрузки данных по Covid за период 2019 года. В качестве источника используется CSV файл. Данные трансформируются с помощью Databricks и загружаются в Azure SQL Database. Для ETL используется Azure Data Factory. Transform data u...
Оставлю комментарий в силу ряда причин
Каким образом Jupyter notebook визуализирует данные ? Это редактор кода, визуализируют либы питоновские…
Добрый день! Спасибо за видео, всё локонично и информативно.
Доброго дня! Спасибо за видео, всё информативно и локанично.
Много сказано, нифига не показано...
Очень понравилось, как вы излагаете материал. Где можно посмотреть ваши курсы? На какой платформе?
Спасибо
Respect for your work!!
А это ж по ходу интересно, понятно что данные разные, но конкретно этот пример напомнил мне мою любовь к географии и атласам, которые я сидел и по 5 часов подряд анализировал, по тому и зно на 188 сдал не открыв книгу ни разу в своей жизни. Будет интересно посмотреть как эти все функции в Азуре пишутся, как это всё обрабатывается и так далее. С сентября начинаю обучение в универе на специальности Data Technologies, надеюсь не пожалею. Из того что я заресорчил направление должно быть интересным, уж точно чем формочки штопать для сайтов.
как успехи?
А так интересно начиналось. Жаль, что только 3 видео на канале.
Информативно! Спасибо большое!
Начало 2:19
🔥🔥🔥
Спасибо!
Содержание не соответствует названию. Неужели было сложно в общих чертах накидать скриншоты рабочего процесса вместо кучи общей информации, которую можно найти где угогдно?
Отличная подача! Когда будет курс?
Спасибо, Игорь! Пока к сожалению пришлось отложить курс
Очень интересно всё рассказали и показали! Спасибо👍
Нравиться четкая подача, без воды. Где курс?
К сожалению, пока пришлось отложить
@@sergeiboikov-dataengineeri4687 жаль. Надеюсь соберётесь. А то есть куча курсов, но 90% вода с винегретом. А у вас хорошая подача
А в описании к видео ссылки нельзя было разместить? К тому же они еще и не рабочие =(
Возможно ли заменить в DE пайтон на го? Учился самостоятельно на го программиста, но позвали в DE. Посмотрел, понравилось. Но везде хотят пайтон, который не перевариваю :)
Боюсь, что наврятли получится так сделать. Python сейчас является дефакто стандартом для DE. Многие инструменты, с которыми работает DE либо написаны на Python либо используют его. Тот же Airflow, который сейчас очень популярный или Pandas и Jupyter ноутбуки для анализа данных.
Побольше бы видео для начинающих, спасибо!)
Спасибо за видео, было бы круто составить роадмап именно по курсам, материалам до джуна, если именно брать фри курсы, либо те, которые стоят немного.
Спасибо за коммент! Постараюсь подготовить такое видео🙂
@@sergeiboikov-dataengineeri4687 ждём!)
I'm a fresher data engineer can i get job in russia
Rock, yes it's possible. There are a lot of positions for middle and higher, but also I found vacancies for junior/middle data engineers. For example, career.habr.com/vacancies/1000105250
Спасибо за видео! Хорошая подача, доступное объяснение. Но родился вопрос : а почему в этом списке нет Hadoop? В частности, Arena Data Hadoop. Мне кажется, что в силу последних событий многие большие компании организовывают миграцию данных именно в ADH и хотя бы поверхностное представление стоит составить любому начинающему.
Елена, спасибо! Согласен, если бы я записывал видео сейчас, то включил бы в него Arenadata и ClickHouse🙂
Срана московія
Очень доступно. Спасибо
Спасибо за очень нужный труд. Продолжайте развивать направление
Спасибо большое, не останавливайтесь)
1. HIVE уже легаси - snowflake - 100% более приорететен сейчас. Ну ли Redshift, ну или BigQuery 2. Jupiter Notebook - это не дата визуализатор, и совсем не альтернатива Табло. Да и вообще и то и другое Дата Инженеру не обязательно 3. Kafka попробовать будет более чем полезно на любом этапе
Подскажите, пожалуйста, насколько релевантен Spark? По вакансиям de вижу вхождение Airflow и Kafka практически везде, а вот Spark четко требуется как будто бы редко?
@@kirillfedorov7595 spark нужен вполне, там где датабрикс- там тотже спарк
Spark или Flink ближе к Data Processing. Data Engineer это ближе к созданию структур данных и их анализу. Разработка процессинга это тоже подразумевает, но требует ещё знаний сред исполнения (ОС, фреймворки, оборудование и прочее)
@@ilyaafanasyev9714 но никаких отдельных data processing инженеров не существует.. (пока).
Спасибо за видео, только не нашла ссылку на Roadmap. Отправьте пожалуйста
github.com/datastacktv/data-engineer-roadmap
Интересно, доступно, без лишней воды. Ждем продолжения.
Большое спасибо за видео! Подскажите, пожалуйста, насколько актуально изучение scala для data engineer?
Lilia, если у вас имеется хороший бэкгрануд, связанный с Java, то изучение Scala будет актуальным. Если вы просто выбираете сейчас между Python и Java, то я бы сказал, что Python является более востребованным на рынке. Ради интереса можно ввети на habr career или hh.ru запрос "Scala" и "Python". Среди вакансий релевантных для дата инженеров на career.habr.com я увидел такой результат: "Scala" - 16 вакансий, "Python" - 124
Сергей, из опыта вашего, насколько будет сейчас популярны БД NOSQL и почему их так любят ?
Честно говоря, ни на одном из проектов мне не приходилось работать с NoSQL базами данных. Сейчас при работе с большими данными преобладает подход, когда в конечном счете данные все равно приводятся к реляционной структуре. Просто потому что, так проще их анализировать. Для иллюстрации, например, можно посмотреть как выглядит обычный SQL запрос и запрос к MongoDB)) Также могу порекомендовать хорошую статью на хабре, которая описывает преимущества и недостатки обоих подходов: habr.com/ru/company/ruvds/blog/324936/ .
Здравствуйте. Насколько глубоко надо знать python? ООП нужно?
Добрый день! Python используется очень активно. То с чем я работал, это в основном библиотеки pandas, numpy. Но хотя бы общие принципы ООП понимать нужно.
если у тебя Snowflake или Redshift и например ETL на Azure Data Factory или Informatica - никакого питона не будет
@@ivani3237 в какую сторону посоветуешь двигаться, если есть SQL более-менее. Где можно пощупать конкретно задачки дата инженера?
@@КириллЯрусов-ш3ы изучать клауд, и пробовать в клауде делать пет-прожекты. Аля файлы в s3 - оттуда в snowflake - на сноуфлейке отчет на PowerBI забацать. Отличный опыт
@@ivani3237 а что тогда будет? Выбираю роадмап и как все учу пайтон и sql. Вот куда именно двигаться дальше? Много видео и технологий находит про двх, даталейк. Что мне делать после хорошего понимания пайтона и скл? Что мне актуального изучать и главное на чём практиковаться? Имеется ввиду именно взаимодействие всех инструментов, типа лабораторного стенда. Нужно ли изучать гит сразу, как тут советуют?
спасибо
Спасибо Сергей. Очень интересно все расписано у вас и доступно. Буду благодарен, если порекомендуете литературу по анализу данных.
Привет! Могу порекомендовать вот эту книгу... www.amazon.com/Python-Data-Analysis-Wrangling-IPython/dp/1449319793
Очень хорошая подача материала, интересный контент, большое спасибо! Скажите, пожалуйста, насколько глубокие знания Python необходимы? Необходимы знания и применения ООП? Или достаточно разобраться с библиотеками типа Pandas, numpy и подобными? Спасибо.
Добрый день! Спасибо за фидбэк! Python для дата инженеров довольно специфичен. Глубокие знания ООП как правило не требуются. Нужно знать базовые вещи, плюс библиотеки типа pandas и numpy, умение работать с jupyter ноутбуками. Плюс ценятся знания pyspark
можно вообще без питона датаинженерить
Спасибо за работу! Под прошлым видео просил именно эту тему и у вас вышло видео - это настоящий показатель работы с аудиторией 👍 Успехов вам в работе!
Спасибо за видео, отлично, хочу сменить работу(деятельность). Выбрал дата инженерию.
Здравствуйте, спасибо за видео Что думаете насчёт Spark стоит ли изучать? Если да, то когда?
Добрый день! Да, Spark следует учить. Я бы советовал после изучения Python или Java. Spark имеет API для работы с обоими языками (Pyspark vs Scala)
@@sergeiboikov-dataengineeri4687 Спасибо
Сергей,привет. Спасибо,что выпустил видео про роадмап. Жаль,закрыл комменты,поэтому пишу сюда. Ещё не смотрел,но думаю,там все четко.
Привет Uladzislau! Разобрался с комментами. Можно оставлять их прямо под видео.
мне очень интересна это тема
видео на вес золота
мало подписок потому что видео пока только два
ну и для продвижения канала еще один собщ продолжайье плиз
по дата енжинеренгу почти нет каналов пишем в поддержку дружно и лайкаем
ну и для продвижения канала еще один собщ продолжайье плиз
продолжайте пожалуйста, будем следить за вашими туториалами.
продолжайте пожалуйста, будем следить за вашими туториалами.