วีดีโอ

Glad it was helpful!

I think it's obvious. Different GPU memory and bandwidth, architecture specific optimizations would be more optimized for some architectures and not the others. But the size of that difference is unknown until you try it.

AGX ORIN vs. RTX 4070 TI www.stereolabs.com/en-no/blog/performance-of-yolo-v5-v7-and-v8 (AGX ORIN vs RTX 4070) v5n: FPS(RTX 4070 TI)/FPS(AGX ORIN) = 2.5 v8n: FPS(RTX 4070 TI)/FPS(AGX ORIN) = 3 v5s: FPS(RTX 4070 TI)/FPS(AGX ORIN) = 3.1 Etc. My tests for different edge platforms - docs.google.com/spreadsheets/d/1BMj8WImysOSuiT-6O3g15gqHnYF-pUGUhi8VmhhAat4/edit?gid=0#gid=0 The difference for NPU can be dramatic. Here, at the end of this page, you can check the inference efficiency for different GPUs for Yolov5 lambdalabs.com/gpu-benchmarks So, as you can see - the difference in speed for different GPUs is usually ~20-30% For different NPUs, it can be 50-60% The main difference between GPUs and GPUs is technology. For example, in the last 2 generations, Nvidia using 3D tensor cores - th-cam.com/video/yyR0ZoCeBO8/w-d-xo.htmlsi=S1Ev_UZMAMZ5GUpk&t=20 And before, it was just an iteration. This resulted in a completely different speed different between different models

"эффект"? А где это в видео было? Нужен контекст.

Такое ощущение что это просто новая тема для того чтоб инвесторов подогреть, не больше.

Классика:)

Лучше всего работать на проекте где есть много ML и бекенда. Но где не очень много разработчиков. Чем меньше проект/команда - тем больше и чаще люди делают задачи где-то на границе. Для России и Америки - это самый частый способ который я видел для бекендера по входу в ML. Но, может в Германии есть какая-то специфика.

@@AntonMaltsev а какие навыки, на твой взгляд, помогут to stand out?

@@uppermiddleclass Сложно сказать. Зависит от задачи. Где-то это clearml-автоматизация пайплайнов, девопс и окрестности. Запрогать автоматизацию сеток. Где-то это алгоритмы вокруг сетей. Запрогать логику, и.т.д.

Сейчас всё развитие роботов - это мультимодальные модели. Они большие. Примеры можно смотреть для роботов 1X, Tesla Bot, и.т.д.

@@AntonMaltsev А что насчет малопроизводительных систем?

@@МаксимРябцев-п9с возможно не очень понял вопроса? Можете сформулировать целиком?

Хорошо бы начать с того чтобы для себя определить что значит "стать специалистом" и кем хочется работать. Грубо говоря - "я хочу работать в Yandex". Тогда посмотреть критерии которые используют чтобы взять на работу. И планомерно набирать компетенции по всем их них. Задрочить LeetCode, вписаться в ШАД/стажировки, и.т.д. Институт в РФ (да в целом и в других странах), это не про "сейчас получу диплом и все меня захотят", а про нарабатывание знаний и компетенций. И желательно это делать осознанно, не надеясь что кто-то сделает за тебя. Нужно тебе разобраться в математике - прорабатываешь учебник. Нужны бизнес скилы - ищешь тусовки вокруг института которые этим занимаются. При этом "стать крутым программистом" - это не про 90% институтов. Этому вообще почти нигде не учат.

Самостоятельно учи программирование, ML/DL/RL, алгоритмы, зная все это перед тобой откроются большие возможности и тебе не нужна будет работа и чужие подачки. Деньги там, куда направлено внимание людей.

Привет! Есть несколько формальных моментов: 1) Изучать зачем? Что от этого хочется поиметь? Сделать свой стартап? Создать новую математику? Поиметь хорошую зарплату? 2) Computer Vision меняется каждый год. Инструменты которые сегодня работают могут не иметь смысла через 2 года. 3) Математик полезна не только в ML :) Нормально 3д задачки никакой LLM пока и рядом ни прогает.

@@AntonMaltsev 1) Мне в принципе нейронки интересны. В дальнейшем скорее всего работать хочу ну если всё хорошо сложится. Просто думал какое направление выбрать типо NLP или CV . Щас хочу просто базу изучить что нужно для всего , а потом решать.

@@AntonMaltsev А можешь ещё посоветовать в принципе какие темы из математики нужно изучить. Пока время есть от школы свободное нужно думаю поизучать основу

@@topmultis Чем больше математики тем лучше:) Никто не знал что диффузия понадобиться, а на ней часть сеток построен. Какая-нибудь теория соревнований - чем не GAN. Для любого 3д аналитическая геометрия. Базовый матан чтобы понимать базовые принципы обучения. Если нет понимания что именно хочется делать - я бы советовал идти широким фронтом:) Может даже посмотреть на то что в НМУ есть. Но я бы всё же советовал подумать над чем-то более сфокусированным чем "нейронки интересны". Роботы, какие-то вариации ИИ, генерация, навигация, и.т.д. Что хочется решать, что хочется изменить, что прёт по скилам, и.т.д. И уже максимизировать успех в этом направлении. Может быть полезнее научиться нормально питон прогать и контейнеры гонять. Может быть в ROS разобраться. Может быть лингвистику базовую понять. А может быть и правда математику смотреть;)

@@AntonMaltsev А над чем можно сформироваться? Я просто ещё не очень представляю куда вообще идти можно. Просто питон более менее знаю. Посоветуй направления в ИИшках

1) There are some versions with GPL license still for v5 (you can find them) 2) v5 code is a little bit more clear (easy to modify). But for this I prefer YolovX/DAMO-YOLO. 3) For a lot of boards with NPU device v5 works much more stable then other networks

@@AntonMaltsev I am going to use in humble setup (run on single pc with average nvidia gpu) but as beginner want to invest long term use Thanks for giving more detail, I will start v8 because fancy colorful documentation. I hope both version compatible enough to change if necessary

ИМХО. Главный вопрос как набирать релевантные знания. Если есть точки входа (могут взять на работу в компанию где это уже есть) - можно попробовать напрямую. И пару лет набирать опыт, параллельно ботая во все стороны. Если нет - то без знаний будет сложно искать адекватное место. Но вот выше писали что через MLOPS в целом проще заходить. С чем я в целом согласен.

@@Lazy_Wizzzard вероятность найма это не сильно повышает:) Пользы много тоже не будет. Но как дополнительная база такие книги могут что-то структурировать. Но это как читать книжки про ASM и x86 начала 90х. Чуть лучше понятно как устроена память и всякое разное на проце

Щито?

@@AntonMaltsev я говорю, что у вас нет компетенции в разработке ПО на Си, но это я так

Ага. Чтобы разрабатывать ПО на Си надо закончить гуманитарный факультет. Ясненько.

@@AntonMaltsev ваша компетенция оставляет желать лучшего, я окончил ПТУ на слесаря и то лучше разбираюсь

Классификацией. Длинный промпт (можно даже с другими картинками), и просьба вернуть Json c целевыми классами.

Прочитать название видео?.. Посмотреть на другие видео на канале где есть обзоры кучи железок?.... Посмотреть что там говориться и о чём вообще разговор. Да ну нахрен, лучше написать какую-нибудь хрень в коментах!

@@AntonMaltsev я внимательно просмотрел ваше видео и откомментировал только то, что там было.

1) В нём были отсылки на чипы про которые говориться 2) Название вполне очевидно определяет о чём разговор:)

Я бы не сказал что без шада/вуза бесполезно. Это неплохая точка входа, но только одна из. Скорее ценность шада и вуза - это нетворкинг, а не "бренд" или "знания". Тупых физтехов я навидался за обучение. Но в целом да, инженер по данным и MLOps это более простые точки входа чем ресерч.

@@AntonMaltsev в данной индустрии как раз нетворкинг очень важно поэтому и указал.

@@AntonMaltsev ну у кого больше шансов, человека с мфти, у которого была сильная математика + курс по машинному обучению и хорошая прога, + скорее всего он в шад тот же поступит легко или человека с какого нибудь гуманитарного факультета, который еле еле дроби складывает?

@@MathPTU Correlation does not imply causation

По сути да. Лучше всего находить небольшие компании которые будут готовы взять того кто стажируется. Условно "по знакомству". Но сейчас эта ниша провалена по сути.

​@@AntonMaltsevкакая вообще ниша DS, DL, ML сейчас в РФ имеет перспективы по вашему мнению?

@@AntonMaltsev тоже хотелось бы узнать ответ , на вопрос с верху, но более развернуто , то есть акцент на каких задачах лучше всего делать , нахождение лиц , номеров уже давно не актуально, но мне должны существовать нвоые и перспективных их аналоги

@@boltering6803 тут ключевой вопрос "перспективы к чему". Найти работу в теории можно. На рынке мало качественных специалистов. Но: 1) Большей частью работа далёкая от современных перспектив (есть исключения, но всё же). State-of-the-art это 2-3 места в супер крупных компаниях. Хорошие и большие вычислительные мощности - в пятке компаниях и пятке вузов. Роботы/современный пресепшн в 1-2 местах. 2) Большей частью зарплаты стагнируют. Нет привязок к мировому рынку. 3) Вписаться в какой-то крутой стартап с перспективой к мировому рынку нереально. Если цель работы - работать и получать зарплату плюс-минус разумную - это реально. Если цель - вырасти самому/вырастить продукт мирового уровня/получать мировую зарплату - это нереально.

@@УченикГрема Опять же. Задачи для чего? Получение зарплаты? Или надобность на рынке? Или время сущетвования компании?

Такой шанс есть. Но в целом, как мне кажется, для многих задач это без разницы. Просто всегда надо в голове держать "это наколеночное решение, реальное может быть такое же или сильно точнее"

@@AntonMaltsev как то страшно такое слышать, хотя и ожидаемо, как вы думаете , может ли ML прийти к моменту , когда все относительно востребованные решения будут автоматизированы или легко решаться аутомл ? немного пугает перспектива быстрого схлопывания рынка

@@УченикГрема это та причина почему я не советую идти в ML если нет желания к постоянному саморазвитию. Технологии отмирают достаточно быстро, превращаясь в коробочные решения. Надо либо быть на острие - либо устареваешь за 2-3 года.

Неужели?:) Это в формате "сделайте мне демо за 100к, если будет плохо работать - не заплачу"?:) В большинстве случаев вижу что-то такое когда кто-то приходит что-то заказать. Понятно, что есть какое-то количество компаний и стартапов которые готовы что-то заказывать. Но как я и говорил в видео - много компаний было до февраля 22ого года. А после остались единицы. Либо те кто покупает готовые решения.

@@AntonMaltsev Я и говорю, тут в видео речь либо про стартапы, либо про мелкую разработку аля фриланс. Но это дно, хотя некоторым нравится. Я такое даже не рассматриваю. А в купных компаниях полно работы и платят хорошие деньги. И не только в Москве.

@@salehpirat и, кажется мы возвращаемся к тому что сказано в видео? Осталось пяток крупных компаний, несколько продуктовых компаний. А все остальное умерло, так как там нет денег. А раньше составляло более половины рынка.

@@AntonMaltsev то, что предлагает рынок, вообще никак не монтируется с посылом "нет работы, нет денег, делать тут нечего, надо валить зарубеж", о котором автор ролика развозит 25 минут времени. И работы полно, и денег полно и варианты трудоустройства в разных городах есть. Для хороших специалистов, конечно. Но ниша фриланса/стартапа/аутсорса поусохла, тут не поспоришь. Но это ниша сама по себе на любителя.

​@@salehpirat отрицание очевидного и передёргивание сказанного. Ясно понятно. Дорогой Chris Boyce, будьте добры представьтесь, с ссылками на линкедин/хабр/или ещё какую-то соцсеть где виден опыт/образование и можно верифицировать. А не то считаю ботом и баню. Мои профили открыты, и готов к конструктивной дискуссии с не анонимами.

Не, вы что. ИТ этож пирамида. Чем больше привлёк - тем выше изначальные вложения!

И добавь что смена 12 часов и доширак по праздникам, коллеги уголовники, на совещании менеджер джуниора ножом пырнул, так как не справился с задачей... чтобы точно в ИТ не шли ))

@@AntonMaltsev не пирамида, а пузырь😁

Кажется что это везде так будет. Скамеры в РФ это не уникальный феномен. Даже в Норвегии их полно. Что уж там говорить про US. Кажется что нет адекватных способов бороться. Только воспитание адекватных пользователей...

Подумаю что можно сделать. Отдельное видео наверное не хочу делать, но когда буду какое-то обзорное делать - попробую включить.

Thank you, Willian! This one is a little more related to the CIS/Russian community, so I decided to do this in Russian:)

"Batch" is a few images that can be calculated in parallel on one run. For some architectures it can speed up inference time

Oh, another question: were you able to run any classification model with a camera input video? B/c I’m struggling with how to train the correct models and how I’ll use them. Would you be interested in consulting about that?

Hi! There are several independent problems here: 1) How to prepare the model itself. The easiest way is to search here for specific questions on "how to train a model" (Resnet, Yolo) or something else. 2) Theoretical questions: What is quantization, how is the model structured, etc. Sometimes, these can be googled, but it's better to check a few lections on something like Coursera. 3) How the internal Hailo framework is structured. It is easier to look at this in the Hailo documentation. In general, the second point is not necessary for working with Hailo. But understanding it greatly simplifies the problems that arise. In my videos about Hailo, I rather focused on where the board itself has pros and cons.

For the next few weeks, I am almost available. Hailo has an excellent documentation and a great community - community.hailo.ai/ Maybe you can ask some of the questions there. I would prefer to consult about more production tasks. Please feel free to email me a list of questions. I will consider whether I am qualified enough for them. If yes, I will estimate the time and price it will take.

Доброго утра! 1) Частично следующее видео будет на эту тему, но не знаю когда выложу 2) В целом у меня было год назад видео про ситуацию в Computer Vision в 2023 - и там очень похоже все описано к тому что сегодня есть. 3) Глобально да, DS - более рискованный и в нём надо постоянно развиваться и меняться. Нельзя сказать что будет в тренде через 5 лет. 4) Математика в вузе часто оказывается далёкой от того что бывает на практике. Но какую-то базу надо иметь. Если хочется именно в DS двигаться - можно попробовать поискать стажировки/магистратуры в западных компаниях/вузах. Либо, на крайняк в Сколково в адекватной лабе. Я не уверен что сейчас в РФ вузы это полностью закрывают

@@AntonMaltsev понял , спасибо большое за ответ , но я слабо представляю как люди работают в лабораториях с минимальными знаниями матана ( я сомневаюсь , что к тому моменту буду знать больше 3000 часов ). Обязательно посмотрю видео по нише дата сайнса в прошлые годы , к переменам готов , просто боялся , что количество мест начнет сокращаться в разы , если про это ничего не будет сказано в тех видео , меня уже никто не сможет остановить ) Еще раз большое спасибо за ваш канал , подписан на вас уже 2 месяца и очень рад , что мне повезло на него наткнуть , когда гуглил математику в компьютерном зрении. Про РФ правда , я поступил в относительно престижный вуз , но весь его престиж определяется позможностью попасть на стажировки в крупные компании во время обучения , буду надеяться , что меня там не заставят json перекладывать ...

Hi! Thank you! Nobody expects...:) If we talk about hardware as "SOPHGO SG2002" - then it's not bad hardware. An example would be MaixCAM. People are happy with it. If we talk about the Milk-V Duo S platform without an AI component - it's a typical board. The main thing is not to do anything related to AI. If we talk about which board is best for AI in the same price range and quality, it seems that the best are RV1106/RV1103 boards. But AI on Milk-V is hopeless, in my opinion.

Thank you! I hope it will become a great board soon.

Hi! If I remember correctly, Hailo-8 did not support multimodal models. At least ~1 month ago. There were problems even with Whisper and some transformers.

Debian

Jetson is the best for experiments and testing. But better take NX (it has DLA).

Thank you!

Here is the speed section - 00:03:55

@@AntonMaltsev6fps at 640x640?

I am showing different benchmarks in this video - th-cam.com/video/mDRfXNuIMBE/w-d-xo.html Also, in this video, I show different approaches with parallelization that can improve throughput almost six times.

For RK3588, I used NanoPC-T6 from Friendly Elec. Partially I described the flashing process here - th-cam.com/video/pN8mKZ5wpdQ/w-d-xo.html And you can use the same RKLLM, or it's a fork to install LLM.

@@AntonMaltsev hi again Anton, on the rock ship doc, they say : 1） Download the rknpu_driver_0.9.6_20240322.tar.bz2. 2） Unzip the compressed file and overwrite the RKNPU driver code into the current kernel code directory. 3） Recompile the kernel. 4） Flash the newly compiled kernel to the device. But I think it’s not so easy 😊 I will try, I am just worried because of the retro compatibility with my yolov8 vision application

I did not do anything with kernal reconpailing for any of these platforms.