004_Разметка изображений. (Делюсь практическим опытом; Data-annotation)

Это видео содержит практические советы, основанные на личном опыте, как размечать изображения, и только изображения. Здесь будет переплетена общая информация по разметке изображений и информация, касаемая разметки датасета Арма.
Таймкоды:
00:00 | Об аннотаторах
02:20 | Указание класса изображения
07:30 | Инструмент для разметки CVAT
07:53 | Разметка прямоугольниками
12:01 | Разметка полигонами для задачи сегментации
20:05 | Попиксельная разметка
23:48 | Как будут размечаться изображения Армы
24:33 | Разметка кубойдами
25:51 | Разметка ключевых точек
28:03 | Заключение

[@user-xq7fg4sb9r]

Здорово, когда есть своя команда единомышленников, пусть это даже дети;)

[@Motskin_AI]

Единомышленники - это замечательно. Старший сын очень помогает. Я бы даже сказал, он делает большую часть разметки. Я только проверяю и иногда что-то подправляю. И не смотря на то, что формально он зарабатывает копейки, но за 2 месяца он сможет заработать на половину телефона, а вторую половину я как родитель оплачу из принципа 50 рублей за каждый год пользования предыдущим телефоном.
Но главное я вижу, что ему нравится чем мы занимаемся и он сильно вовлечён в процесс. Думаю получится хороший инженер...

[@yera8207]

Спасибо за ролики! Вопрос: возможно ли было автоматизировать процесс разметки прямоугольником (object detection) через редактор самой армы с помощью стереографии? Возможно было сохранять мета-данные во время сохранения изображения в виде расположения и ориентации техники, расположения и ориентации камеры наблюдателя?

[@Motskin_AI]

Вот честно скажу, не знаю. Я практически не знаком с редактором Армы. У меня были мысли автоматизировать саму съёмку, т.е. перемещать камеру скриптом, но в этом нужно было разбираться. Что касается возможности авто-детекции, то вообще не знаю можно ли это делать. Для этого нужно хорошо владеть Редактором. Да и размечать прямоугольником это не проблема. уже бы все изображения разметил. Но решил сразу готовить данные для задачи сегментации, поэтому и размечаю до сих пор.
Но если вы знаете как можно сделать то, о чём вы написали, то пожалуйста поделитесь как это сделать. У меня бы появилось больше возможностей использовать новые данные.

[@yera8207]

​@@Motskin_AI я не знаком с Arma3 editor. Но поговорив немного с ChatGPT, понял что Editor имеет свой скриптовый язык для автоматизации, который может автоматизировать процесс создания скриншотов машин (при этом сохраняе вместе со скриншотами координаты техники, координаты и параметры камеры типа фокусного расстояния и т.д.). Дальше в процессе препроцессинга при помощи 3Д-в-2Д проекции и сохраненных данных можно высчитать расположения пикселя соответствующего центру техники на скриншоте. Остается только узнать длину и ширину прямоугольника, которые думаю тоже можно высчитать , т.к. мы также имеем сохраненную ориентацию техники относительно камеры. Единственная проблема как я понял editor не дает доступ к размерам техники напрямую через скрипт, пожэтому придется создать lookup лист с парами имя техники-размеры

[@brunneng8575]

Скажи пожалуйста, по итогу всё таки разметку всех >15k изображений как будет сделана, через боксы или полигоны?

[@Motskin_AI]

Разметка делается полигонами.

[@brunneng8575]

@@Motskin_AI понял, спасибо большое. Ждём новых частей!))) 🤗

[@igorg4129]

отличный ролик спаисбо.
А с помощью какой сети ты стал бы детектить и трекить ключевые точки созданные не на челвоеке а на произвольном объекте (танк). НАпример в йоло8 есть "поус естимейшен" но он для танка вряд ли подойдет.

[@Motskin_AI]

Спасибо за тёплые слова. Во первых должен сказать, что у меня не было реального проекта, где приходилось бы трекать ключевые точки. Поэтому дальнейший ответ, просьба воспринимать как одно из мнений. Если бы мне нужно было бы решать задачу трекинга по точкам, то сперва я бы посмотрел в сторону YOLO только потому, что я знаю что там это можно делать. И очень много информации в интернете.
Что касается трекинга точек в YOLO, то думаю можно будет сделать также как я это делал с сегментацией. Просто назначил свои классы и обучил модель. (Вы можете посмотреть как я перестроил YOLO под свою задачу сегментации, на моих классах в видео: th-cam.com/video/8Q-1zVtONSs/w-d-xo.html)
Опять же, не вдаваясь в детали, но мне кажется, что нужно подменить точки человека в YOLO на точки танка и с чистого листа обучить модель. чтобы получить модель типа yolov8-xx-tank_pose.pt. Но на перёд нужно учитывать о том, что все люди по скелету похожи, в то время как техника имеет множество видов.