- 190
- 563 458
Школа Больших Данных
Russia
เข้าร่วมเมื่อ 11 พ.ย. 2017
Видео канал учебного центра «Школа Больших Данных» (ООО "Учебный центр "Коммерсант")
Школа Больших Данных - единственный специализированный учебный центр по технологиям Big Data в Москве с государственной лицензией на образовательную деятельность по программам дополнительного профессионального образования, сертификации специалистов и обучению работе с фреймворком потоковой обработки событий APACHE Kafka, Hadoop, Spark, Airflow и MPP Greenplum.
Все курсы Школы Больших Данных являются эксклюзивными авторскими разработками специалистов нашего учебного центра. Школа Больших Данных обладает исключительными правами на все учебные материалы этих курсов, которые депонированы в Российском авторском обществе.
Наши контакты:
bigdataschool.ru Офийиальный сайт "Школы Больших Данных"
+7(495) 41-41-121
info@bigdataschool.ru
bdschool_mck
www.linkedin.com/company/bigdataschoolru/
BigdataschoolR
github.com/BigDataSchoolRU
Школа Больших Данных - единственный специализированный учебный центр по технологиям Big Data в Москве с государственной лицензией на образовательную деятельность по программам дополнительного профессионального образования, сертификации специалистов и обучению работе с фреймворком потоковой обработки событий APACHE Kafka, Hadoop, Spark, Airflow и MPP Greenplum.
Все курсы Школы Больших Данных являются эксклюзивными авторскими разработками специалистов нашего учебного центра. Школа Больших Данных обладает исключительными правами на все учебные материалы этих курсов, которые депонированы в Российском авторском обществе.
Наши контакты:
bigdataschool.ru Офийиальный сайт "Школы Больших Данных"
+7(495) 41-41-121
info@bigdataschool.ru
bdschool_mck
www.linkedin.com/company/bigdataschoolru/
BigdataschoolR
github.com/BigDataSchoolRU
Временные ряды. Часть 4
В этом заключительном видео мы изучаем разные подходы к прогнозированию временных рядов, включая линейную регрессию, случайный лес, Prophet и нейронные сети (LSTM). Рассматриваются их особенности, преимущества и ограничения. Мы анализируем, почему простые модели иногда превосходят более сложные, и оцениваем точность каждой модели на основе метрик MAE, RMSE и MAPE. Видео завершается сравнением всех методов и обсуждением подходящих сценариев их использования.
Ссылка на блокнот:
colab.research.google.com/drive/1GPnuMOz278bx79-v5LRRu_cdW3iQ6o4d?usp=sharing
Датасет births:
drive.google.com/file/d/1QVRGn3t6pILyPnI2UcpqKu35KGq2RGe9/view?usp=drive_link
Датасет passengers:
drive.google.com/file/d/1--SkUPP18HfClBPauP5YLvWkxxyfr1i_/view?usp=drive_link
Ключевые слова: временные ряды, Prophet, LSTM, прогнозирование, сезонность, тренд, ARIMA, машинное обучение, прогноз временных рядов, линейная регрессия, Random Forest, Python.
По вопросам обучения на курсах по технологиям Big Data, Kafka, Spark, Greenplum, AirFlow, NiFI, Hadoop, Data Science, нейронных сетей и машинного обучения приглашаем в нашу "Школу Больших Данных"
bigdataschool.ru
Обращаться по телефону:
+7 (495) 41-41-121
+7 (995) 100-45-63
Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях:
Телеграм-канал: t.me/BigDataSchool_ru
Вконтакте: bdschool_mck
Github: github.com/BigDataSchoolRU
LinkedIn: www.linkedin.com/company/bigdataschoolru/
Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - www.bigdataschool.ru
Ссылка на блокнот:
colab.research.google.com/drive/1GPnuMOz278bx79-v5LRRu_cdW3iQ6o4d?usp=sharing
Датасет births:
drive.google.com/file/d/1QVRGn3t6pILyPnI2UcpqKu35KGq2RGe9/view?usp=drive_link
Датасет passengers:
drive.google.com/file/d/1--SkUPP18HfClBPauP5YLvWkxxyfr1i_/view?usp=drive_link
Ключевые слова: временные ряды, Prophet, LSTM, прогнозирование, сезонность, тренд, ARIMA, машинное обучение, прогноз временных рядов, линейная регрессия, Random Forest, Python.
По вопросам обучения на курсах по технологиям Big Data, Kafka, Spark, Greenplum, AirFlow, NiFI, Hadoop, Data Science, нейронных сетей и машинного обучения приглашаем в нашу "Школу Больших Данных"
bigdataschool.ru
Обращаться по телефону:
+7 (495) 41-41-121
+7 (995) 100-45-63
Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях:
Телеграм-канал: t.me/BigDataSchool_ru
Вконтакте: bdschool_mck
Github: github.com/BigDataSchoolRU
LinkedIn: www.linkedin.com/company/bigdataschoolru/
Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - www.bigdataschool.ru
มุมมอง: 77
วีดีโอ
Временные ряды. Часть 3
มุมมอง 108หลายเดือนก่อน
В видео рассматриваются методы прогнозирования временных рядов с использованием экспоненциального сглаживания, а также моделей SARIMA и SARIMAX. SARIMA используется для моделирования временных рядов с выраженной сезонностью, а SARIMAX позволяет учитывать внешние факторы, влияющие на поведение ряда. Приведены примеры применения этих моделей на реальных данных, их настройка и оценка качества прог...
Временные ряды. Часть 2.
มุมมอง 225หลายเดือนก่อน
Видео посвящено анализу временных рядов с использованием Python. Рассматриваются основы работы с временными рядами: импорт данных, выполнение срезов и изменение шага временного ряда с помощью методов resample и shift. Описаны подходы к сглаживанию данных с помощью скользящего среднего и его визуализация. Демонстрируются методы разложения временных рядов на компоненты тренда, сезонности и случай...
Временные ряды. Часть 1
มุมมอง 3072 หลายเดือนก่อน
В этом видео мы познакомились с основными концепциями, необходимыми для работы с временными рядами. Мы рассмотрели, что такое стационарность и почему важно проверять ее для корректного анализа данных. Вы узнали, как визуально и с помощью статистических тестов проверять временные ряды на стационарность. Также мы обсудили методы приведения временных рядов к стационарному состоянию. Эти знания пом...
MPP: новый подход к мониторингу ML
มุมมอง 1572 หลายเดือนก่อน
В этом видео мы обсудим современный подход к мониторингу моделей машинного обучения - Model Performance Predictor (MPP). Мы рассмотрим, как MPP позволяет предсказывать ошибки модели до их фактического появления, и почему этот метод эффективен для финансовых организаций, где качество прогнозов критически важно. Поговорим о преимуществах MPP по сравнению с классическими подходами. #мониторинг мод...
Мониторинг моделей машинного обучения в продакшене
มุมมอง 1402 หลายเดือนก่อน
Мониторинг моделей машинного обучения в продакшене - ключевой этап, позволяющий обеспечить их стабильную и эффективную работу. В этом видео обсудим, зачем нужен мониторинг ML-моделей, какие метрики следует отслеживать и какие инструменты помогут автоматизировать процесс. Рассмотрим понятия дрейфа данных , а также лучшие практики и популярные решения, такие как MLflow, Prometheus с Grafana, Evid...
A/B тестирование в машинном обучении
มุมมอง 1403 หลายเดือนก่อน
В этом видео расскажем про A/B тестирование в контексте машинного обучения. Вы узнаете, какие шаги необходимо предпринять для проведения тестов, на какие метрики обращать внимание, и как применять A/B тестирование для улучшения моделей, таких как системы рекомендаций. Я также поделюсь примерами реальных кейсов и воронками для анализа результатов. Это важный инструмент для тех, кто работает с мо...
Mage.ai
มุมมอง 1653 หลายเดือนก่อน
В этом видео мы расскажем про Mage.ai - современный инструмент для работы с данными, создания и автоматизации пайплайнов, а также тренировки моделей машинного обучения. Вы узнаете о его ключевых преимуществах, возможностях обработки данных, о том как автоматизировать выполнение задач. Мы также рассмотрим практические примеры создания пайплайнов. По вопросам обучения на курсах по технологиям Big...
«Модель Dataflow и паттерны управления пайплайнами обработки данных в Apache Beam в Kubernetes"
มุมมอง 3314 หลายเดือนก่อน
По вопросам обучения на курсах по технологиям Big Data, Kafka, Spark, Greenplum, AirFlow, NiFI, Hadoop, Data Science, нейронных сетей и машинного обучения приглашаем в нашу "Школу Больших Данных" bigdataschool.ru Обращаться по телефону: 7 (495) 41-41-121 7 (995) 100-45-63 Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас...
Митап "Модели и паттерны управления приложениями Apache Spark и Apache Flink на Kubernetes"
มุมมอง 2624 หลายเดือนก่อน
По вопросам обучения на курсах по технологиям Big Data, Kafka, Spark, Greenplum, AirFlow, NiFI, Hadoop, Data Science, нейронных сетей и машинного обучения приглашаем в нашу "Школу Больших Данных" bigdataschool.ru Обращаться по телефону: 7 (495) 41-41-121 7 (995) 100-45-63 Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас...
Анонс"Модель Dataflow и паттерны управления пайплайнами обработки данных в Apache Beam в Kubernetes"
มุมมอง 614 หลายเดือนก่อน
"Школа Больших Данных" 12 сентября 2024 года проводит бесплатный митап для архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps-инженеров и просто интересующихся о модели Dataflow, API Apache Beam, а также паттернах управления приложениями распределенной обработки данных на Kubernetes. Apache Beam - унифицированный API с открытым исходным кодом, реализующий модель Dat...
Анонс митапа «Модели и паттерны управления приложениями Apache Spark и Flink на Kubernetes»
มุมมอง 1014 หลายเดือนก่อน
ПРИГЛАШАЕМ ВАС ПРИНЯТЬ УЧАСТИЕ 5 СЕНТЯБРЯ В 17.00 В БЕСПЛАТНОМ МИТАПЕ «Модели и паттерны управления приложениями Apache Spark и Apache Flink на Kubernetes» На мастер-классе вы узнаете о моделях и ключевых паттернах управления распределенными приложениями Apache Spark и Apache Flink на Kubernetes. Apache Spark - фрэймворк распределенной обработки больших данных с открытым исходным кодом, реализу...
KEDRO
มุมมอง 1066 หลายเดือนก่อน
Cегодня мы поговорим о Kedro, мощном инструменте для управления проектами машинного обучения и аналитики данных. Kedro помогает разработчикам создавать поддерживаемые и воспроизводимые проекты, улучшая качество кода и структурируя рабочий процесс. Kedro - это открытый фреймворк, разработанный QuantumBlack, который предоставляет структуру для создания и управления проектами машинного обучения и ...
Шаблонизация проектов. Cookiecutter
มุมมอง 2216 หลายเดือนก่อน
В данном видео затронем с вами тему шаблонизации проектов. Рассмотрим плюсы использования шаблонизации и где можно применять. Расскажу про альтернативные инструменты и близко познакомимся с одним из самых популярных инструментов шаблонизации проектов - cookiecutter. #Python, #шаблонизация, #cookiecutter шаблонизация проектов По вопросам обучения на курсах по технологиям Big Data, Kafka, Spark, ...
9. Структуры и типы данных в Python. Float
มุมมอง 1497 หลายเดือนก่อน
Девятое видео из цикла по структурам и типам данных посвященное типу данных float. Детально погрузились в внутреннее устройство этого типа данных в CPython, а также рассмотрели популярную проблему сравнивания числе с плавающей запятой. Python, типы данных, структуры данных, CPython, float, double, числа с плавающей запятой По вопросам обучения на курсах по технологиям Big Data, Kafka, Spark, Gr...
8. Структуры и типы данных в Python. Декартово дерево.
มุมมอง 1887 หลายเดือนก่อน
8. Структуры и типы данных в Python. Декартово дерево.
7. Структуры и типы данных в Python. Хэш-таблицы
มุมมอง 3747 หลายเดือนก่อน
7. Структуры и типы данных в Python. Хэш-таблицы
6. Структуры и типы данных в Python. Бинарное дерево поиска (BST)
มุมมอง 2077 หลายเดือนก่อน
6. Структуры и типы данных в Python. Бинарное дерево поиска (BST)
5. Структуры и типы данных в Python. Связные списки
มุมมอง 1617 หลายเดือนก่อน
5. Структуры и типы данных в Python. Связные списки
МИТАП "Apache Spark на Kubernetes своими руками"
มุมมอง 4558 หลายเดือนก่อน
МИТАП "Apache Spark на Kubernetes своими руками"
4. Структуры и типы данных в Python. Кучи и очереди с приоритетом
มุมมอง 2728 หลายเดือนก่อน
4. Структуры и типы данных в Python. Кучи и очереди с приоритетом
3. Структуры и типы данных в Python. Словарь и целочисленный тип данных.
มุมมอง 2798 หลายเดือนก่อน
3. Структуры и типы данных в Python. Словарь и целочисленный тип данных.
2. Структуры и типы данных в Python. Управление памятью
มุมมอง 3448 หลายเดือนก่อน
2. Структуры и типы данных в Python. Управление памятью
1. Структуры и типы данных в Python. Строки.
มุมมอง 4838 หลายเดือนก่อน
1. Структуры и типы данных в Python. Строки.
Асинхронность в Python - Курсы "Школы Больших Данных" г. Москва
มุมมอง 29110 หลายเดือนก่อน
Асинхронность в Python - Курсы "Школы Больших Данных" г. Москва
Многопоточность и многопроцессорность в Python - Курсы "Школы Больших Данных" г. Москва
มุมมอง 48110 หลายเดือนก่อน
Многопоточность и многопроцессорность в Python - Курсы "Школы Больших Данных" г. Москва
Инструкция по настройке клиента Pritunl VPN для клиентов "Школы Больших Данных" Yandex Cloud
มุมมอง 35810 หลายเดือนก่อน
Инструкция по настройке клиента Pritunl VPN для клиентов "Школы Больших Данных" Yandex Cloud
Митап "ELT в эпоху Big Data: что такое Data Build Tool и как это работает"
มุมมอง 51910 หลายเดือนก่อน
Митап "ELT в эпоху Big Data: что такое Data Build Tool и как это работает"
3. Пишем свой Telegram bot на Python с встроенным ChatGPT. + Docker "Школа Больших Данных" г. Москва
มุมมอง 1.9K11 หลายเดือนก่อน
3. Пишем свой Telegram bot на Python с встроенным ChatGPT. Docker "Школа Больших Данных" г. Москва
МИТАП "Scala как язык разработки Spark-приложений"
มุมมอง 53411 หลายเดือนก่อน
МИТАП "Scala как язык разработки Spark-приложений"
Как машина поняла какому слову сколько внимания передавать ?, почему для второго слова она выбрала второе внимание первому слову а не последнему ?
Спасибо, отличный урок! Ждем следующий
Отличная подача! ПМ -сила😀
th-cam.com/video/UvZgfuI8l-8/w-d-xo.html а зачем ip контейнера, если можно по имени контейнера обращаться к сетевому адресу?
Где можно взять пример кода и датасета?
Спасибо! Но сложно вникнуть в графики. Не понятны единицы измерений и не хватает подписи где какие данные (самолёты, дети)
"Если Вы всё ещё кипятите..", тогда Вам Лайк! ))
Супер, спасибо!
❤ очень легко о сложном, спасбио
Что такое Спарк? все видео это пример - как с помощью спарк преобразовывать данные. А что такое спарк - ноль инфы
под java много разных ядер, какое посоветуете?
Как же он был прав
Очень полезное, спасибо. Особенно когда начинаешь только разбирать airflow. Разбор на примере отличный метод
четко, быстро, понятно. Огромное спасибо!!!
как сделать, что бы на сервере после перезагрузки, OpenVPN GUI запускался connect автоматически? Буду благодарен за подсказку
Для настройки Jupyter Notebook для работы с Apache Spark можно использовать findspark, библиотеку, которая позволяет динамически настроить переменные окружения в Jupyter Notebook, указывающие на установку Spark. Это как еще один вариант подружить Jupyter Notebook с Apache Spark.
Потому что декартовая система координат?
Какой тиллер в хельме? Его уже 4 года как там нет.
Здравствуйте! На митапе рассматривалась архитектура Helm2. Helm2 предполагает взаимодействие с Tiller. На следующем митапе будет рассматриваться архитектура Helm3, который взаимодействует напрямую с API-сервер Kubernetes.
@@sergeysamsonov2567 Тогда извините, про то, что используется депрекейтед хельм прослушал
Ссылка на регистрацию shkola-bolshih-dannyh.timepad.ru/event/3006816/
shkola-bolshih-dannyh.timepad.ru/event/3006852/ # ссылка на регистрацию
3:44 удаляем сигму матрицу. Да вы чего такое говорите😅 похоже тема svd разложения вам не очень знакома..
Чет у меня лог дага пустой и зависает даг на ранинге..
Читать я и сам умею.
Почему вас нет в РуТюбе или ВК? 😏
Добрый день. Мы есть и ВК vk.com/video/@bdschool_mck и на рутуб rutube.ru/channel/24119476/
Боже как непонятно
А какие преимущества использования статической типизации в Scala по сравнению с динамической в Python? я сам долго выбирал курсы по IT, рассматривал разные компании, но Skypro помогли найти работу))
В таблице было 2 строки откудастолько файлов?
если говорить простым языком, это крон на максималках? что такое крон, и почему он простым языком говорится?
Крон - в Линуксе выполнение чего либо по расписанию, типа в 12:00 по субботам и тд
Спасибо большое !.)
Господи, хорошо то как!
Здравствуйте спасибо за обзор, подскажите не могли бы вы сделать обзор на Kedro мне кажется он больше подходит для ML.)
Спасибо за отзыв! Рассмотрю такую возможность, Kedro действительно интересный инструмент)
21 минута воды
Интересный материал и подача, всем мира👍
как вы определяете интервал по звездочкам ?
М-да.. , понятно объяснять надо уметь конечно
Спасибо за видео 👍👏
А зачем вы все фичи да фичи? Учите русский язык, потом вещайте истины.
Спасибо за урок 👍🤝
Спасибо)
Спасибо, полезно, перестала бояться слова "AirFlow")))
Спасибо
в начеле чернота и пустота
вода водой
Честно сказать, может для уже знающих людей все просто, но с ходу много чего не поясняется, и нет ссылки на этот блокнот
Топ
Топ Видео
Физиономию Помощника на экран! Ему есть что сказать/мяукнуть...😀
А почему не привели пример pandas? Он не очень с большими данными, но здесь и не так много
А если однобайтовую строку конткатенировать с двухбайтовой, общая будет уже вся двухбайтовая?
Да, конечно
Класс