Как сделать авторазметку в CVAT
ฝัง
- เผยแพร่เมื่อ 6 ต.ค. 2024
- Бсплатно ускорь процесс разметки в десятки раз с использованием AutoCVAT - github.com/Bel...
Проект позволяет создать автоматические аннотации тасок в CVAT с использованием предварительно обученных моделей ultralytics. Он поддерживает как аннотацию прямоугольниками для задач обнаружения объектов (детекции), так и полигональную аннотацию для задач инстанс сегментации.
Таймкоды из видео:
1:36 - Установка AutoCVAT
2:18 - Авторазметка для задачи детекции
17:30 - Авторазметка для задачи инстанс сегментации
31:32 - Авторазметка с помощью Zero-Shot (yolo-world)
Подписывайтесь на канал, чтобы быть в курсе новых видео и узнавать больше о компьютерном зрении!
![[#SHORTS CLIP] ใช้ของของตัวเองไปเลยสิคะ l ซานิเบาได้เบา l One Playground](http://i.ytimg.com/vi/Ea_mTywx2p4/mqdefault.jpg)
![[LIVE] : ONE ลุมพินี 82 วันนี้!! คู่เอก | ยอดไอคิว vs อับดัลลาห์](http://i.ytimg.com/vi/hSsyTl_9bqs/mqdefault.jpg)
Есть хорошая новость. Мы выпустили обновление в проекте - теперь доступно зеро шот инстанс сегментация + вы можете из любой своей собственной детекционной нейронной сети сделать инстанс сегментационную с помощью встроенной обработке боксов через SAM. Советую попробовать эту фичу (см её описание в ридми репозитория)
PS: Если вы сталкиваетесь с ошибками торча, то могу посоветовать поставить торч более старой версии (с 2.3.1 проблем вообще нет )
Вот какая команда установит его cpu версию: pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url download.pytorch.org/whl/cpu
спасибо большое) то что нужно
Супер))
актуально) спасибо
Мы ещё по твоему видео с птицами обучаем, как инструкцию даем) Спасибо большое)
Рад помочь))
Я то на этом учился
спасибо за видео!
Нужен совет. Мне нужно найти подходящую нейросеть для обучения на большой базе данных в виде параметров координат, которая сможет генерировать различные игровые ситуации на бильярдном столе, расставляя шары в виде кругов и кием в виде линии, чтобы определить наилучшее положение кия для сбивания максимального количества шаров. Для обнаружения шаров и кия я использую YOLOv8 и вебку над столом бильярда.
Да для Шаров достаточно yolo детектора, а для кия я бы использовал инстанс сегментации (yolo-seg) чтобы можно было далее вычислять направление кия по постобработки маски
@@Koldim2001 спасибо, этот этап я сделал. Все работает. Я получаю данные в виде параметров координат. А далее? К примеру я вывожу данные в glsl, webgl. Хочу обучить нейросеть правильно ставить кии под координаты шаров и наоборот шары под кии. Что изучить?
@@raphaild279 полагаю нужна скорее не нейронка а какой-то мат алгоритм вычисления закона сохранения инерции чтобы все работало. Не уверен что есть какая-то готовая сеть под такое
У CVAT есть такая тема как "Automatic annotation" (например в вашем видео в фрагменте 25:51, вы вызываете контекстное меню, чтобы загрузить аннотации, а там 3-м пунктом идёт именно Автоматическая разметка). Отсюда вопрос: А что может делать ваша программа, чего не получится сделать средствами самого CVAT?
Вы там свои собственные сети не загрузите + это удовольствие платное. Оно имеет ограничение на число разметок + не имеет поддержки зеро шотов + не имеет такой подробной установкой параметров на инференс.
Вообщем советую на практике попользоваться их авторазметкой и станет понятно почему она прям не оч
Так что мы сделали полностью бесплатное решение где вы можете любую сеть предобученную или свою собственную заюзать. И что удобно - доставили поддержку зеро шотов по детекции и инстанс сегментации. Так же есть возможность указания аппроксимации полигональной разметки для инстанс сегментации.
В новом обновлении даже появится возможность если у вас есть своя сетка под детекцию превратить её в инстанс сегментации засчет походов зеро шот лернинга, встроенного в проект.
@@Koldim2001 Большое спасибо за ваш развёрнутый ответ.Обязательно проверю. Действительно будет очень интересно посмотреть как в CVAT сделана авторазметка, но я пока до неё не добрался, а знаю что такой функционал есть. Когда доберусь то постараюсь отписаться уже более подробно. Успехов вашему проекту!
Очень круто! Спасибо!
@@LuckyAnon пользуйтесь на здоровье репозиторием
Подскажите чем ваш вклосипед лучше label srudio например с LS backend ?
LS сейчас на рынке CV менее популярное решение а я показал как именно можно кастомную любую сеть свою прогнать для авторазметки бесплатно в CVAT. Плюс с поддержкой зеро шотов.
Не знаю что предлагает тот бэкэенд о котором говорите так что не подскажу. Как минимум разные программы по разметке
А можно рейтинг популярности посмотреть где LS на порядок ниже cvat @@Koldim2001
Напомню что в LS эти все танцы с бубнами происходят в интерфейсе нативно без дополнительных загрузок
@@Дмитрий-ю5б5лну я это говорю за российской комьюнити компьютерного зрения. Логично что в сфере общего DL Label studio лидирует так как в нем разметку можно делать не только CV задач а еще и NLP.
Но вот приуроченное к CV CVAT действительно превышает популярность LS. Это видно по конференциям, по общению с множеством индастриал команд, по онлайн курсам CV, по бесплатным туториалам в инете.
Сорян из прям статистики ничего не нашел но вот могу скинуть только такое - opencv.org/blog/opencv-and-cvat-computer-vision-annotation-tool-intel
Я LS использую в задачах обучения OCR так как в CVAT удобной альтернативы пока не находит. Остальное мне больше нравится как сделано в CVAT
@@Дмитрий-ю5б5лну тут да скорее вопрос вкусов больше) по поводу нейронок то можно их прям в сивате запускать но только предобученные на COCO + SAM. Чтобы свои личные сетки интегрировать можно жестко делать самоличный бэкенд в nuclio и его к CVAT подключить. А можно вот как в примере видео просто запустить 1 строчку в cli и получить результат. Я специально этот инструмент сделал как альтернативу сложным devops выкрутасам.
Спорить что LS чем-то плох я не буду. Я сам его периодически юзаю и могу тоже рекомендовать 👍🏻😎