- 30
- 129 709
Павел Кикин
เข้าร่วมเมื่อ 19 พ.ค. 2016
Intro | MLOps и production подход в ML 3.0
Курс "MLOps и production подход к ML исследованиям 3.0" на ODS
Страница курса: ods.ai/tracks/mlops3-course-spring-2024
Страница курса: ods.ai/tracks/mlops3-course-spring-2024
มุมมอง: 3 154
วีดีโอ
MeetUp #3 | MLOps и production подход в ML
มุมมอง 473ปีที่แล้ว
Антон Ширяев, Пример организации бэкапов для MLFlow Сергей Наталенко, Бэкэнд на FastAPI - архитектура, CI/CD, тестирование Наш курс: MLOps и production подход к ML исследованиям: ods.ai/tracks/ml-in-production-spring-23
Защита проектов. #2 Поток | MLOps и production подход в ML
มุมมอง 823ปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
Защита проектов. #1 Поток | MLOps и production подход в ML
มุมมอง 1.1Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#7 Monitoring + Continuous Delivery | MLOps и production подход в ML 2.0
มุมมอง 1.8Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#6 Deploy ML моделей | MLOps и production подход в ML 2.0
มุมมอง 5Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
MeetUp #1 | MLOps и production подход в ML 2.0
ปีที่แล้ว
Доклады митапа: Антон Ширяев: Использование GPU nvidia внутри docker-контейнера Павел Вешкин: Контейнеризация рабочей среды для ML Злобин Фёдор: Обзор облачных IDE представленных на рынке Наш курс: MLOps и production подход к ML исследованиям 2.0: ods.ai/tracks/ml-in-production-spring-23
#5 MLFlow. Контейнеризация с Docker. | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#4 Python пакеты и CLI. Управление зависимостями. DVC | MLOps и production подход в ML 2.0
มุมมอง 4.4Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#3 CI/CD. Codestyle, автоформатирование, линтеры: Практика | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#3 CI/CD. Codestyle, автоформатирование, линтеры. | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#2 Основы Git. Gitlab. Github-flow. | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#1 Концепция воспроизводимых и масштабируемых исследований | MLOps и production подход в ML 2.0
มุมมอง 16Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
От тренировки моделей в ноутбуках к автоматизации и версионироваю | MLOps и production подход в ML
มุมมอง 1.2K2 ปีที่แล้ว
О докладе: Переход от ноутбуков к “продакшн пайпланам” сопряжен с большим количеством трудностей. Это и управление инфраструктурой, и версионирование данных, и автоматизация тренировки, и многое другое. Часто можно оказаться перед выбором: либо собирать из доступных инструментов собственный велосипед, либо пробовать неповоротливые MLOps платформы “полного цикла”. наиболее удобным и простым спос...
Защита проектов. #2 Поток | MLOps и production подход в ML
มุมมอง 8052 ปีที่แล้ว
MLOps и production подход к ML исследованиям: yandex.ru/q/article/_5ccd0472/? ods.ai/tracks/ml-in-production-spring-22
У кого-нибудь есть ссылка на файлы кода и config-ов, которые здесь используются?
Очень качественные и структурированные лекции! Спасибо большое)
Насколько же драгоценные эти уроки, очень круто!
Если вдруг есть люди которые застопорились, в том моменте, где вы пытаетесь поключиться к БД через pgAdmin и у вас не получается. Хотя вы уверены, что всё правильно. Мне на Ubuntu соединение блочил брандмауэр. Решением было зайти в файл /etc/default/ufw и задать DEFAULT_FORWARD_POLICY равным "ACCEPT". Затем перезагрузить сам брандмауэр sudo ufw reload
1:00 - src как пакеты 5:24 - CLI 13:34 - Что такое workflow-менеджер 16:39 - Немного про SnakeMake 24:30 - История менеджеров зависимостей 32:00 - pip 35:05 - pipenv 35:11 - conda 36:07 - poetry 50:45 - про хранилища данных, s3 54:00 - DVC 1:05:47 - Практика
2:30 - Пайплайн 6:00 - Создание приложения 29:00 - mlflow serve 37:24 - Сервис на FastAPI 53:44 - Сборка проекта в Docker
Спасибо большое за то, что на безвозмездной основе предоставляете столь ценную информацию.
Спасибо за видео, очень полезно!
Не устану тебя благодоить - тут просто концентрат пользый. Спасибо тебе 🫶
Спасибо тебе, добрый человек 🙏🙏🙏
Наилучшие курсы по МО
Спасибо за семинары! Простым языком, все понятно
Павел, огромное спасибо за ваши пояснения, свитчусь из девопса в мл, так что было познавательно! Ставьте лайки, ребят, и оставляйте коменты!
22.50 - пример кода. 24.30 - код с сигнатурами. 33.50 - логирование, когда прямо не указано, что именно надо логировать.
А вы не могли бы помочь с несколькими вопросами? 1. Есть ли отличия процедур из видео, если делать это все на макось? 2. Как связать обучение модели с google collab, если обучение проходило там? 3. Что лучше использовать pycharm, vscode или collab? 4. У вас дополнительно запущена виртуальная машина с линуксом (там, где терминал)?
Павел, спасибо за курс! Просмотрел прошлый. Часть рассказанных практик смог добавить в свою повседневную работу. С удовольствием просмотрю обновленный курс, чтобы закрепить и освоить то, с чем не справился в прошлый раз. 😊
0:58 - что такое mlflow, 4 компонента 2:23 - mlflow + dvc 3:10 - mlflow tracking (эксперименты состоят из запусков) 5:10 - mlflow projects 5:38 - mlflow models 6:25 - mlflow registry 7:45 - установка mlflow (poetry add mlflow, mlflow ui, mlflow server <backend-store-url> <PATH>) 8:49 - 4 способа разворачивания mlflow: 9:05 - localhost 9:18 - localhost + sqlite 9:37 - localhost with tracking server 9:58 - tracking server + backend + S3 13:07 - Базовые примеры логирования с mlflow 36:30 - поднимаем mlflow на удаленном сервере 36:54 - что такое докер, зачем он нужен 41:13 - поднимаем на виртуальной машине микросерверы: 42:50 - ставим portainer - графический интерфейс для управления контейнерами 45:36 - создаём docker-compose.yml (описывает, из каких образов с какими настройками и параметрами должен подняться контейнер): 55:53 - на линукс: apt install docker-compose, запускаем docker-compose up -d -build, смотрим images в portainer 59:45 - поднимаем контейнер для pg admin - граф. интерфейс для базы данных 1:05:07 - логинимся в pg admin 1:08:20 - поднимаем контейнер для minio - клиент-сервер для S3 хранилища 1:12:30 - смотрим интерфейс minio 1:19:12 - билдим mlflow image
где найти git репозиторий?
Спасибо за семинар! Чуть мешало, что теория по DVC+poetry будет только в следующей лекции
Начало 2:20
ты правдв делаешь то, чего мне не хватает как дата сайнтисту
не для новичков
Подскажи как venv ищет на воркере. Можно ли создать requirements и накачать туда пакетов, а потом их заимпортить. Рядом проложить свой проект, импортить нужные функции и через @task запускать?
Вокалист tool на 6-й минуте
Четкий разбор! Спасибо!
Спасибо за курс MLOps
а когда будут актуальные файлы на гите?
не понял тему с разными версиями PowerShell и переменными окружения.Возможно речь идте про PowerShell6+ (cross platform)? Вообще в Windows есть два уровня переменных окружения: current user and local machine. Я предпочитаю user, кроме того назначать переменные нужно в Admin mode и перегрузить сессию: [Environment]::SetEnvironmentVariable("{Name}", "{Value}", "User") Но там есть ньюанс для скриптов выполняемых в unattended mode они могут быть не видны. И для эккаунта профайл нужно создавать, что многих безопасников напрягает. Поэтому народ лупит в верхний уровень не думая о безопасности таких переменных: [Environment]::SetEnvironmentVariable("{Name}", "{Value}", "machine") Я лично против таких переменных окружения
Спасибо огромное за невероятно ценную и практическую информацию ! Вы делаете комьюнити лучше
привет, будет ссылка на репозиторий?
Большой минус в том, что вы работаете на втором экране. Это несколько ставит нас неравное положение и упускается часть полезной информации о процессе работы.
Начало: 3:45
Спасибо за доклад Здорово показан flow разработки: git, ci/cd, автоформатер, линтер. Но от доклада, который длится 2 часа, я ожидал увидеть больше деталей. Немного дополню про аннотации типов: - библиотека nptyping позволяет аннотировать numpy-массивы, что особенно полезно в CV; - библиотека dataenforce используется для аннотаций dataframe-ов.
Для экономии времени: @click.command() @click.argument('input_path', type=click.Path(exists=True)) @click.argument('output_path', type=click.Path()) @click.argument('region', type=click.INT) python -m src.data.select_region data/raw/all_v2.csv data/interim/data_regional.csv 2661
Огонь
очень полезно спасибо!
Павел, спасибо Вам за курс лекций. В презентации не было упомянуто, поэтому дополню в комментариях. Существует соглашение о коммитах, которое описывает простой набор правил для сообщений коммитов. Всем кто любит порядок и структуру, рекомендую ознакомиться.
Павел, а как Вы думаете, что учитывая специфику Pandas, не будет достаточно 88 символов, может стоит увеличивать это ограничение, чтобы не плодить много стро кода?
Спасибо за последовательный доклад и тщательный разбор! 👏🔥
увеличить шрифт с помощью cntrl + прокрутка мышью можно, если в настройках Editor -> General поставить галочку возле Change font size ...
офигенно!
Отлично собранная информация! Спасибо!
крутая презентация, спасибо!
Начало: 3:18
начало 6:08
Организация просто топ. Лектор умница!
11:05 начало
В телеграме бы звук вырубить. Зачем он все время там пиликает ?)
Недавно проходил собеседование в ГазпромНефть, как раз по NLP. Складывается ощущение, что Павел был интервьюером)) Позвонила HR, сказала, что пока пауза с набором сотрудников. Жаль, по собеседованию и видео, отличные впечатления
Смотрю в записи. Эхо карает. Может быть что-то можно сделать? UPD: с 9:30 эха нет)