Павел Кикин
Павел Кикин
  • 30
  • 129 709

วีดีโอ

MeetUp #3 | MLOps и production подход в MLMeetUp #3 | MLOps и production подход в ML
MeetUp #3 | MLOps и production подход в ML
มุมมอง 473ปีที่แล้ว
Антон Ширяев, Пример организации бэкапов для MLFlow Сергей Наталенко, Бэкэнд на FastAPI - архитектура, CI/CD, тестирование Наш курс: MLOps и production подход к ML исследованиям: ods.ai/tracks/ml-in-production-spring-23
Защита проектов. #2 Поток | MLOps и production подход в MLЗащита проектов. #2 Поток | MLOps и production подход в ML
Защита проектов. #2 Поток | MLOps и production подход в ML
มุมมอง 823ปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
Защита проектов. #1 Поток | MLOps и production подход в MLЗащита проектов. #1 Поток | MLOps и production подход в ML
Защита проектов. #1 Поток | MLOps и production подход в ML
มุมมอง 1.1Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#7 Monitoring + Continuous Delivery | MLOps и production подход в ML 2.0#7 Monitoring + Continuous Delivery | MLOps и production подход в ML 2.0
#7 Monitoring + Continuous Delivery | MLOps и production подход в ML 2.0
มุมมอง 1.8Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#6 Deploy ML моделей  | MLOps и production подход в ML 2.0#6 Deploy ML моделей  | MLOps и production подход в ML 2.0
#6 Deploy ML моделей | MLOps и production подход в ML 2.0
มุมมอง 5Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
MeetUp #1 | MLOps и production подход в ML 2.0MeetUp #1 | MLOps и production подход в ML 2.0
MeetUp #1 | MLOps и production подход в ML 2.0
ปีที่แล้ว
Доклады митапа: Антон Ширяев: Использование GPU nvidia внутри docker-контейнера Павел Вешкин: Контейнеризация рабочей среды для ML Злобин Фёдор: Обзор облачных IDE представленных на рынке Наш курс: MLOps и production подход к ML исследованиям 2.0: ods.ai/tracks/ml-in-production-spring-23
#5 MLFlow. Контейнеризация с Docker.  | MLOps и production подход в ML 2.0#5 MLFlow. Контейнеризация с Docker.  | MLOps и production подход в ML 2.0
#5 MLFlow. Контейнеризация с Docker. | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#4 Python пакеты и CLI. Управление зависимостями. DVC  | MLOps и production подход в ML 2.0#4 Python пакеты и CLI. Управление зависимостями. DVC  | MLOps и production подход в ML 2.0
#4 Python пакеты и CLI. Управление зависимостями. DVC | MLOps и production подход в ML 2.0
มุมมอง 4.4Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#3 CI/CD. Codestyle, автоформатирование, линтеры: Практика  | MLOps и production подход в ML 2.0#3 CI/CD. Codestyle, автоформатирование, линтеры: Практика  | MLOps и production подход в ML 2.0
#3 CI/CD. Codestyle, автоформатирование, линтеры: Практика | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#3 CI/CD. Codestyle, автоформатирование, линтеры.  | MLOps и production подход в ML 2.0#3 CI/CD. Codestyle, автоформатирование, линтеры.  | MLOps и production подход в ML 2.0
#3 CI/CD. Codestyle, автоформатирование, линтеры. | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#2 Основы Git. Gitlab. Github-flow. | MLOps и production подход в ML 2.0#2 Основы Git. Gitlab. Github-flow. | MLOps и production подход в ML 2.0
#2 Основы Git. Gitlab. Github-flow. | MLOps и production подход в ML 2.0
มุมมอง 6Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
#1 Концепция воспроизводимых и масштабируемых исследований | MLOps и production подход в ML 2.0#1 Концепция воспроизводимых и масштабируемых исследований | MLOps и production подход в ML 2.0
#1 Концепция воспроизводимых и масштабируемых исследований | MLOps и production подход в ML 2.0
มุมมอง 16Kปีที่แล้ว
Курс "MLOps и production подход к ML исследованиям" на ODS Страница курса: ods.ai/tracks/ml-in-production-spring-23
От тренировки моделей в ноутбуках к автоматизации и версионироваю | MLOps и production подход в MLОт тренировки моделей в ноутбуках к автоматизации и версионироваю | MLOps и production подход в ML
От тренировки моделей в ноутбуках к автоматизации и версионироваю | MLOps и production подход в ML
มุมมอง 1.2K2 ปีที่แล้ว
О докладе: Переход от ноутбуков к “продакшн пайпланам” сопряжен с большим количеством трудностей. Это и управление инфраструктурой, и версионирование данных, и автоматизация тренировки, и многое другое. Часто можно оказаться перед выбором: либо собирать из доступных инструментов собственный велосипед, либо пробовать неповоротливые MLOps платформы “полного цикла”. наиболее удобным и простым спос...
Защита проектов. #2 Поток | MLOps и production подход в MLЗащита проектов. #2 Поток | MLOps и production подход в ML
Защита проектов. #2 Поток | MLOps и production подход в ML
มุมมอง 8052 ปีที่แล้ว
MLOps и production подход к ML исследованиям: yandex.ru/q/article/_5ccd0472/? ods.ai/tracks/ml-in-production-spring-22

ความคิดเห็น

  • @OlyaDyn
    @OlyaDyn 2 หลายเดือนก่อน

    У кого-нибудь есть ссылка на файлы кода и config-ов, которые здесь используются?

  • @StanislavLiashkov
    @StanislavLiashkov 5 หลายเดือนก่อน

    Очень качественные и структурированные лекции! Спасибо большое)

  • @wayer5204
    @wayer5204 5 หลายเดือนก่อน

    Насколько же драгоценные эти уроки, очень круто!

  • @grannycola158
    @grannycola158 7 หลายเดือนก่อน

    Если вдруг есть люди которые застопорились, в том моменте, где вы пытаетесь поключиться к БД через pgAdmin и у вас не получается. Хотя вы уверены, что всё правильно. Мне на Ubuntu соединение блочил брандмауэр. Решением было зайти в файл /etc/default/ufw и задать DEFAULT_FORWARD_POLICY равным "ACCEPT". Затем перезагрузить сам брандмауэр sudo ufw reload

  • @grannycola158
    @grannycola158 7 หลายเดือนก่อน

    1:00 - src как пакеты 5:24 - CLI 13:34 - Что такое workflow-менеджер 16:39 - Немного про SnakeMake 24:30 - История менеджеров зависимостей 32:00 - pip 35:05 - pipenv 35:11 - conda 36:07 - poetry 50:45 - про хранилища данных, s3 54:00 - DVC 1:05:47 - Практика

  • @grannycola158
    @grannycola158 7 หลายเดือนก่อน

    2:30 - Пайплайн 6:00 - Создание приложения 29:00 - mlflow serve 37:24 - Сервис на FastAPI 53:44 - Сборка проекта в Docker

  • @КаменскийСергей-э5у
    @КаменскийСергей-э5у 10 หลายเดือนก่อน

    Спасибо большое за то, что на безвозмездной основе предоставляете столь ценную информацию.

  • @аняаршавина
    @аняаршавина ปีที่แล้ว

    Спасибо за видео, очень полезно!

  • @mind.flow777
    @mind.flow777 ปีที่แล้ว

    Не устану тебя благодоить - тут просто концентрат пользый. Спасибо тебе 🫶

  • @mind.flow777
    @mind.flow777 ปีที่แล้ว

    Спасибо тебе, добрый человек 🙏🙏🙏

  • @ВалерияЕрмакова-ы3г
    @ВалерияЕрмакова-ы3г ปีที่แล้ว

    Наилучшие курсы по МО

  • @anastasiiaaladdin5116
    @anastasiiaaladdin5116 ปีที่แล้ว

    Спасибо за семинары! Простым языком, все понятно

  • @vyacheslavnagornov5701
    @vyacheslavnagornov5701 ปีที่แล้ว

    Павел, огромное спасибо за ваши пояснения, свитчусь из девопса в мл, так что было познавательно! Ставьте лайки, ребят, и оставляйте коменты!

  • @kseniiakol5798
    @kseniiakol5798 ปีที่แล้ว

    22.50 - пример кода. 24.30 - код с сигнатурами. 33.50 - логирование, когда прямо не указано, что именно надо логировать.

  • @MrCutmasta
    @MrCutmasta ปีที่แล้ว

    А вы не могли бы помочь с несколькими вопросами? 1. Есть ли отличия процедур из видео, если делать это все на макось? 2. Как связать обучение модели с google collab, если обучение проходило там? 3. Что лучше использовать pycharm, vscode или collab? 4. У вас дополнительно запущена виртуальная машина с линуксом (там, где терминал)?

  • @alexanderermak8509
    @alexanderermak8509 ปีที่แล้ว

    Павел, спасибо за курс! Просмотрел прошлый. Часть рассказанных практик смог добавить в свою повседневную работу. С удовольствием просмотрю обновленный курс, чтобы закрепить и освоить то, с чем не справился в прошлый раз. 😊

  • @assilsigma7359
    @assilsigma7359 ปีที่แล้ว

    0:58 - что такое mlflow, 4 компонента 2:23 - mlflow + dvc 3:10 - mlflow tracking (эксперименты состоят из запусков) 5:10 - mlflow projects 5:38 - mlflow models 6:25 - mlflow registry 7:45 - установка mlflow (poetry add mlflow, mlflow ui, mlflow server <backend-store-url> <PATH>) 8:49 - 4 способа разворачивания mlflow: 9:05 - localhost 9:18 - localhost + sqlite 9:37 - localhost with tracking server 9:58 - tracking server + backend + S3 13:07 - Базовые примеры логирования с mlflow 36:30 - поднимаем mlflow на удаленном сервере 36:54 - что такое докер, зачем он нужен 41:13 - поднимаем на виртуальной машине микросерверы: 42:50 - ставим portainer - графический интерфейс для управления контейнерами 45:36 - создаём docker-compose.yml (описывает, из каких образов с какими настройками и параметрами должен подняться контейнер): 55:53 - на линукс: apt install docker-compose, запускаем docker-compose up -d -build, смотрим images в portainer 59:45 - поднимаем контейнер для pg admin - граф. интерфейс для базы данных 1:05:07 - логинимся в pg admin 1:08:20 - поднимаем контейнер для minio - клиент-сервер для S3 хранилища 1:12:30 - смотрим интерфейс minio 1:19:12 - билдим mlflow image

  • @kurmangazykarabekov6902
    @kurmangazykarabekov6902 ปีที่แล้ว

    где найти git репозиторий?

  • @mariatrofimova5512
    @mariatrofimova5512 ปีที่แล้ว

    Спасибо за семинар! Чуть мешало, что теория по DVC+poetry будет только в следующей лекции

  • @alimaskinav
    @alimaskinav ปีที่แล้ว

    Начало 2:20

  • @скриптослав
    @скриптослав ปีที่แล้ว

    ты правдв делаешь то, чего мне не хватает как дата сайнтисту

  • @kda5581
    @kda5581 2 ปีที่แล้ว

    не для новичков

  • @Frezer911
    @Frezer911 2 ปีที่แล้ว

    Подскажи как venv ищет на воркере. Можно ли создать requirements и накачать туда пакетов, а потом их заимпортить. Рядом проложить свой проект, импортить нужные функции и через @task запускать?

  • @np_nan
    @np_nan 2 ปีที่แล้ว

    Вокалист tool на 6-й минуте

  • @Roman-dt8ij
    @Roman-dt8ij 2 ปีที่แล้ว

    Четкий разбор! Спасибо!

  • @DENisVali
    @DENisVali 2 ปีที่แล้ว

    Спасибо за курс MLOps

  • @leszaderev
    @leszaderev 2 ปีที่แล้ว

    а когда будут актуальные файлы на гите?

  • @ButenkoAndrew
    @ButenkoAndrew 2 ปีที่แล้ว

    не понял тему с разными версиями PowerShell и переменными окружения.Возможно речь идте про PowerShell6+ (cross platform)? Вообще в Windows есть два уровня переменных окружения: current user and local machine. Я предпочитаю user, кроме того назначать переменные нужно в Admin mode и перегрузить сессию: [Environment]::SetEnvironmentVariable("{Name}", "{Value}", "User") Но там есть ньюанс для скриптов выполняемых в unattended mode они могут быть не видны. И для эккаунта профайл нужно создавать, что многих безопасников напрягает. Поэтому народ лупит в верхний уровень не думая о безопасности таких переменных: [Environment]::SetEnvironmentVariable("{Name}", "{Value}", "machine") Я лично против таких переменных окружения

  • @artemaleksandrin7582
    @artemaleksandrin7582 2 ปีที่แล้ว

    Спасибо огромное за невероятно ценную и практическую информацию ! Вы делаете комьюнити лучше

  • @KirillP-b1v
    @KirillP-b1v 2 ปีที่แล้ว

    привет, будет ссылка на репозиторий?

  • @nikitanikitov9362
    @nikitanikitov9362 2 ปีที่แล้ว

    Большой минус в том, что вы работаете на втором экране. Это несколько ставит нас неравное положение и упускается часть полезной информации о процессе работы.

  • @SergiuszG
    @SergiuszG 2 ปีที่แล้ว

    Начало: 3:45

  • @ДанилЗитцер-б6ъ
    @ДанилЗитцер-б6ъ 2 ปีที่แล้ว

    Спасибо за доклад Здорово показан flow разработки: git, ci/cd, автоформатер, линтер. Но от доклада, который длится 2 часа, я ожидал увидеть больше деталей. Немного дополню про аннотации типов: - библиотека nptyping позволяет аннотировать numpy-массивы, что особенно полезно в CV; - библиотека dataenforce используется для аннотаций dataframe-ов.

  • @vladmirbc8712
    @vladmirbc8712 2 ปีที่แล้ว

    Для экономии времени: @click.command() @click.argument('input_path', type=click.Path(exists=True)) @click.argument('output_path', type=click.Path()) @click.argument('region', type=click.INT) python -m src.data.select_region data/raw/all_v2.csv data/interim/data_regional.csv 2661

  • @velocity-hz8en
    @velocity-hz8en 2 ปีที่แล้ว

    Огонь

  • @nikitanikitov9362
    @nikitanikitov9362 2 ปีที่แล้ว

    очень полезно спасибо!

  • @ДанилЗитцер-б6ъ
    @ДанилЗитцер-б6ъ 2 ปีที่แล้ว

    Павел, спасибо Вам за курс лекций. В презентации не было упомянуто, поэтому дополню в комментариях. Существует соглашение о коммитах, которое описывает простой набор правил для сообщений коммитов. Всем кто любит порядок и структуру, рекомендую ознакомиться.

  • @Frezer911
    @Frezer911 2 ปีที่แล้ว

    Павел, а как Вы думаете, что учитывая специфику Pandas, не будет достаточно 88 символов, может стоит увеличивать это ограничение, чтобы не плодить много стро кода?

  • @Roman-dt8ij
    @Roman-dt8ij 2 ปีที่แล้ว

    Спасибо за последовательный доклад и тщательный разбор! 👏🔥

  • @veter_v
    @veter_v 2 ปีที่แล้ว

    увеличить шрифт с помощью cntrl + прокрутка мышью можно, если в настройках Editor -> General поставить галочку возле Change font size ...

  • @saaaashaaaaa
    @saaaashaaaaa 2 ปีที่แล้ว

    офигенно!

  • @sviteribuben7245
    @sviteribuben7245 2 ปีที่แล้ว

    Отлично собранная информация! Спасибо!

  • @nikitanikitov9362
    @nikitanikitov9362 2 ปีที่แล้ว

    крутая презентация, спасибо!

  • @SergiuszG
    @SergiuszG 2 ปีที่แล้ว

    Начало: 3:18

  • @AlexanderProkofyev
    @AlexanderProkofyev 2 ปีที่แล้ว

    начало 6:08

  • @Лина-б3м8й
    @Лина-б3м8й 2 ปีที่แล้ว

    Организация просто топ. Лектор умница!

  • @onlycska
    @onlycska 2 ปีที่แล้ว

    11:05 начало

  • @Андрей-п4в2б
    @Андрей-п4в2б 2 ปีที่แล้ว

    В телеграме бы звук вырубить. Зачем он все время там пиликает ?)

  • @DubrovinAlexander
    @DubrovinAlexander 2 ปีที่แล้ว

    Недавно проходил собеседование в ГазпромНефть, как раз по NLP. Складывается ощущение, что Павел был интервьюером)) Позвонила HR, сказала, что пока пауза с набором сотрудников. Жаль, по собеседованию и видео, отличные впечатления

  • @Андрей-п4в2б
    @Андрей-п4в2б 2 ปีที่แล้ว

    Смотрю в записи. Эхо карает. Может быть что-то можно сделать? UPD: с 9:30 эха нет)