Поставил скорость воспроизведения 1.75 и стало возможно смотреть. В целом очень понравилось. Хорошо изложено, четко по нудным вехам прошелся. Лайк и подписка. Спасибо. Больше видео про GPU
Я написал программу на питоне для нейронке. Обучить сеть давать сигнал светофору для длинной очереди. На вход подаются значения очереди, а выход- один из 3 состояний светофора. С задачей справилась сеть на 33%. Видеопамять 2гига, Radeon 7200. Простую сеть в формате перевода Цельсиев в Фаренгейты обучает нормально.
@@kuliev.vitaly У меня получилось разогнать точность обучения до 42%. если обучение нейронки зависит только от видеокарты, то это самый край возможностей. Конечно вычислительные способности ПК ограничены.
@@kuliev.vitaly На обучение у меня подается 2 показателя очереди и 1 выход. Таких показателей 150, эпох 50. Я повесил условия для входных значений и удалось поднять оценку системы ло 53%
я использую яндекс маркет для поиска магазина. сейчас наличие товары в магазинах очень быстро изменяется, поэтому ссылки будут очень недолго актуальными.
Виталий, на ваш взгляд, что лучше взять: rtx 4060ti 16 gb видеопамяти или rtx 4070 12 gb? В первом варианте вроде бы памяти больше, но меньше cuda ядер. Смущает, что по сравнению с предыдущим поколением порезали шину.
Насчет тесла в целом то да, но есть нюанс - это подержанные карты Р40 с 24ГБ памяти и Р100 вроде с 16ю. Их очень часто используют как бюджетный вариант для тренировки ЛОРА. У АМД есть карты mi25, mi50, mi100 которые с этим тоже неплохо справляются.
@@kuliev.vitaly Имелись ввиду очень старые тесла. P40 2016 года выпуска торгуется пучок за пятачок вообще. 15-20 целковых. За цену 4090 ими можно хоть обмазаться. А так да, кто ж спорит, что 4090 быстрее и лучше. Вопрос как всегда в цене.
Здравствуйте, подскажите есть ли у вас инструкция-видео о том как перенести обучение модели с серверов google colab на собственную машину? Обучение модели на локальном ПК.
спасибо! очень годные видео! что думаете насчет 3060 на 12гиг памяти? достаточно такой для Llama 34B или дообучить Llama 7B? и еще, что насчет процессоров amd? заранее большое спасибо за ответ! я думаю сейчас собрать себе на RTX 3060 12G, RAM 128G DDR5, AMD Ryzen 7 - 8 ядер или если найду то 12 ядер.
Большое спасибо за видео, посмотрел полностью и подписался. Начал изучение нейросетей с нуля, до этого едва ли вник в азы Python, написал несколько простых скриптов для анализа табличных данных (биолог, фильтрую результаты спутникового слежения за животными например). Сейчас возникла потребность в наличии нейронных сетей, конкретно для анализа изображений и поиска на них определенных объектов. Сейчас у меня RX 6900 XT с 16 гб видеопамяти, но после этого видео задумываюсь над rtx 3060 именно под нейросетевые задачи. Можете посоветовать какие-нибудь источники для обучения самого себя с учетом описанного выше примера задачи? Буду очень признателен!
По питону у меня есть видео на канале. По нейросетям рекомендую примеры tensorflow с интерфейсом keras посмотреть. Если будешь брать rtx 3060, то бери с 12гб памяти. На видеокартах АМД тоже можно нейронки учить, просто поддержка меньше. Скорее всего придется собрать tensorflow из исходников.
@@kuliev.vitaly да у меня два ПК дома, относительно недавно собрал достаточно дорогой, но упор тогда сделал на игры и только сейчас приходит осознание, что технологии nvidia нужны мне для рабочих задач. Без поддержки комьюнити я бы и свои питонские успехи бы не сделал, так что придётся раскошелиться на 3060 12 гб в вторую систему (там сейчас 960…) Спасибо за оперативный ответ и советы по видео, обязательно все посмотрю как сяду позаниматься нейронками!
Так что лучше? Мини-компы для обучения/запуска нейросетей или видеокарты? А майнить на мини-компах можно с, примерно, той же эффективностью, что и на видюхах с тем же объемом оперативной памяти?
Майнинг на видеокартах умер после перехода эфира на POS. Будет окупать электричество с не большой прибылью. Окупаемость годами исчисляется. Мини компы только для инференса. Их разумно внедрять там, где требуется большое количество устройств. Например, обработка видео рядом с камерой.
Виталий, добрый день. Спасибо большое за подробное видео. С появлением 4000 серии хотел бы спросить про нее. У меня тоже как и Вас,стоит GTX 760 на 2 Гб,но временно и хочу перейти с нее на 4000 серию,а именно 4080. Будет ли она оптимальная со своими 16 ГБ видео памяти. Хочу работать с нейронными сетями текстовыми, видео и картинками.
На рынке ИИ доминирует нвидиа. Весь софт поддерживается и работает стабильно. Железо других компаний может быть дешевле, но у него хуже поддержка со стороны софта.
@@kuliev.vitaly Спасибо, софт то может и не весь поддерживаться, но как обстоят дела с производительностью этих карт в машинном обучении , нейросетях, если допустить, что нужный софт поддерживает
А есть внешние видеокарты? Или создание таких вообще нецелесообразно Из-за пропускной способности. Вроде находил приблуды которые Подключаются к слабым ноутбукам чтобы играть в игрушки. Может они подойдут для нейросетей и обучение
Виталий, подскажите сейчас стала популярна видеокарта с Китая 3070м лаптоп. С ней нейросеть будет рабоать? допустим такая как Deepfake Lab? (там у нее какие то только старые драйвера работают у видеокарты, а вообще как я понял ее для майнинга делали, но цена у нее очень интересная )
Не знаю что именно китайцы продают под этим именем. У меня в ноуте как раз 3070 8gb. Нейронки можно на ней считать, но есть ограничение по памяти. Deep face lab должен работать. Сам код точно запустится. Готовые сборки программы от deep face lab могут иметь устаревшие драйвера, их будет нужно пересобрать.
По размеру памяти они одинаковы - 8гб. 3070 будет быстрее, но и дороже. Выбирай исходя из цены. Как альтернативу могу предложить 3060 с 12гб оперативки. Она менее быстрая, зато памяти больше.
Подскажите пожалуйста , хочу купить две tesla p40 по 24gb для локальной работы llm , по типу llama 3, пугает старая версия cuda 6.1. Но у меня сейчас 1080 ti тоже из серии pascal , проблем не испытывал. Сам вопрос, стоит брать p40, годика на три хватит ? Пока коплю на 3090
Карта старая, но за такую цену я не знаю альтернативы. посмотри бенчмарки и сравнение по скорости с 3090/4090. Возможно в задаче инференса LLM она сравнима будет.
Добрый день. Подскажи, если собрать 2а- 3и сервера на картах 3090, на водянке. мать пропускает 4хPCIe x16 . проц есть i9-10920Х, память можно поставить до 256 гб, на сборку думаю 3 - 4 карты. Есть где-то возможность найти биржи мощности, чтоб эти сервера (рабочие станции) подключить в аренду ????
Поищи где можно размещать оборудование для майнинга - железо очень похожее. У них можно разместить. Проц этот слабоват для 3-4х 3090. В ряде задач обучение в процессор упрется и карты недозагружены будут.
Виталий, здравствуйте! Собираю сейчас себе ПК для нейросетей, подскажите, пожалуйста, какая видеокарта для этих задач лучше: RTX 2060 super или RTZ 3060?
Спасибо за видео! 1. А из чего складывается расходуемая память? Датасет и всё? А если датасет сотни гигов видюха не возьмется такую нейросеть обучать? 2. Откуда число 4 ядра проца на подготовку? Это особенность python? Т.е. 32 ядерный проц не будет иметь явного преимущества перед 16 ядерным, в обучении?
1. Датасет не влияет на количество памяти. Требуемая память зависит от размеров нейронки и данных для рассчетов градиентов. batch_size сильно влияет на потребление памяти. Датасет можно частями подгружать, с сотнями гигабайт работал. 2. Просто наблюдение за нагрузкой процессора и видеокарты в типичном проекте с картинками. При полной загрузке видеокарты обычно потребляется 4 ядра процессора. 32 ядра не помогут, все равно в видеокарте ограничение будет. Аналогичный эффект в играх есть.
Да, сейчас есть проблемы с доступностью видеокарт и другой электроники. Если есть возможность, то лучше подождать, пока ситуация выправится. quadro p4000 сильно старше, чем rtx 2060. Но зато у нее больше памяти(8гб вместо 6гб). Из этих карт, то я бы взял rtx 2060, если обучаемой модели хватит 6гб памяти. Рекомендую присмотреться к rtx 3060 с 12гб памяти. Она дороже, но зато быстрее, новее и имеет больше памяти.
Виталий,подскажите пожалуйста,что является ключевым в генеративно-состязательной сети,объем памяти или же Cuda ядра?Пример rtx 3060 12 gb 3584 ядер и rtx 3070 8 gb но 5888 ядер.Какая будет обучать быстрее???(не берем тензорные ядра)
GAN сети с хорошим качеством требуют приличный объем видеопамяти. Объем памяти влияет на сложность нейронной сети, которую можно обучить, и на максимально возможный batch size. На скорость обучения влияет ряд факторов, не только CUDA ядра. RTX 3070 будет быстрее на 30-50% при обучении нейросетей. Если выбирать из этих двух, то я выбрал бы RTX 3060 из-за большего объема памяти и меньшей цены.
Добрый день! Подскажите пожалуйста, планирую на данный момент купить gtx 1070 или 1080 для обучения нейронных сетей по типу yolo и т.п(я полный новичок в этой сфере). В видео Вы говорите(9:08), что поддержка этих видеокарт постепенно уходит, но я ведь могу использовать старые версии tensorflow и т.п, верно? Просто каждый год менять видеокарту я к сожалению не смогу....пока я студент.
Добрый вечер! А что лучше выбрать между rtx3060 и rtx3060 ti? У одной больше памяти, а вторая мощнее примерно на 20%? Видеокарта в основном будет использована для задач машинного зрения(обучения нейронных сетей в основном mobilenet, yolo и т.п.).
Вы не раскрыли вопрос о памяти видеокарт достаточно . Вот что бы вы выбрали ? : Одну видеокарту 3080 за 60000 рублей, Или же 2 видеокарты 3060, тоже за 60000 рублей, в сумме ? Ведь имея две 3060 получаем: 24 гига видеопамяти против 10 гигов у 3080; в сумме 7168 ядер cuda против 8704 у 3080, и 228 против 272 тензорных ядер соответственно , шина памяти 192+192 бита против 320 бит То есть в итоге за те же 60000 рублей мы получаем сопоставимые вычислительные ресурсы , но с в 2,4 раза большим объемом видеопамяти. Так что бы вы, как человек с опытом - тот кто сталкивался со множеством неприятных ситуаций и ошибок на деле - выбрали бы ?
К сожалению в большинстве задач 2 карты по 12гб не равны одной на 24. При параллельных рассчетах нейронок обычно на каждой видеокарте считается нейронка полностью и потом веса синхронизируются с другими нодами. одна карта с большим объемом предпочтительнее.
Тоже от задачи зависит. Если нужно рассчитать ровно одну нейронку, код которой нераспаралелен для нескольких видеокарт, то 3080 быстрее будет. На 3060 памяти чуть больше.
Оба варианта мне не нравятся: 3080 имеет слишком мало памяти для ее цены. GTX 1080ti, которая отстает уже на 3 поколения имела 11гб. Покупать сразу 2 3060 тоже не нужно. Можно купить одну 3060 и протестировать ее в нужном типе задач.
@@kuliev.vitaly Спасибо, кое в чем я сориентировался . Надо ещё докупить проц с avx инструкциями - я так понял что одних видеокарт не достаточно для запуска этих библиотек машинного обучения , нужно чтоб обязательно были avx инструкции у ЦПУ, - у моего Phenom II x955 их нет , поэтому ничего запустить не выходит на видеокарте - карта у меня 2060 Super на 8 гигов - даже рендеринг в 3dmax , без avx инструкций ЦПУ не запускается на видеокарте . Вобщем , спасибо за помощь, буду думать
@@kuliev.vitaly я сейчас только начал обучение Data Science и машинное обучение, даже не знаю, что именно мне будет нужно, если честно. Просто дело в том, что и 2060 и 3070 мне выйдут в одну цену
3070 быстрее по скорости раза в полтора и лучший техпроцесс у нее. 2060 имеет памяти в полтора раза больше. На 2060 сможешь большее типов нейронок посчитать, бери ее, если не знаешь, что именно нужно.
Вы имеете ввиду знать в аренду GPU ? А можете посоветовать какой то сервис где это можно сделать? Есть 5 карт AMD 6700 xt. 12GB. Можете что то посоветовать пожалуйста? Только не майнинг 🙂 Лайк подписка 😉
Можно продать на авито, наверное это самый лучший выход. Можно попробовать игровые компы собрать и сдавать их в аренду. Есть такие сети. Майнинг на видеокартах умер и мало шансов, что он снова будет прибыльным. Сейчас куча БУ майнингового желаза, которое хотят пристроить хоть куда-то.
Неожиданно вовремя попалось Ваше видео в рекомендациях, пошел смотреть остальные видео на канале.
Рад новому подписчику) Спрашивай, если есть вопросы.
Виталий, спасибо. Интересно, спокойно, без лишней суеты. Скорость изложения для меня вообще хороша, кто бы что ни говорил)
Поставил скорость воспроизведения 1.75 и стало возможно смотреть. В целом очень понравилось. Хорошо изложено, четко по нудным вехам прошелся. Лайк и подписка. Спасибо. Больше видео про GPU
мужик, ох*енно, сэкономил дни на поиск ответов, спасибо тебе!!!
th-cam.com/video/0iA1-X-TR7s/w-d-xo.html
Было бы здорово сделать видео, Топ 10 Ноутбуков для обучения Нейронок или по отдельным направлениям, Ноутбуки для обработки изображений, текста и др.
Я написал программу на питоне для нейронке. Обучить сеть давать сигнал светофору для длинной очереди. На вход подаются значения очереди, а выход- один из 3 состояний светофора. С задачей справилась сеть на 33%. Видеопамять 2гига, Radeon 7200. Простую сеть в формате перевода Цельсиев в Фаренгейты обучает нормально.
Да, такие простые сети можно и на процессоре учить или на слабой видеокарте. Попробуй xgboost на этом датасете обучить, может лучше будет.
@@kuliev.vitaly У меня получилось разогнать точность обучения до 42%. если обучение нейронки зависит только от видеокарты, то это самый край возможностей. Конечно вычислительные способности ПК ограничены.
Нейронка данных требует много. Какой размер обучающей и тестовой выборки?
@@kuliev.vitaly На обучение у меня подается 2 показателя очереди и 1 выход. Таких показателей 150, эпох 50. Я повесил условия для входных значений и удалось поднять оценку системы ло 53%
Спасибо за полезную работу! Если бы ещё и ссылки в магазинах прикрепил, так вообще ))
я использую яндекс маркет для поиска магазина. сейчас наличие товары в магазинах очень быстро изменяется, поэтому ссылки будут очень недолго актуальными.
Виталий, на ваш взгляд, что лучше взять: rtx 4060ti 16 gb видеопамяти или rtx 4070 12 gb? В первом варианте вроде бы памяти больше, но меньше cuda ядер. Смущает, что по сравнению с предыдущим поколением порезали шину.
Зависит от конкретных задач. Можно еще к топам rtx 3000 поколения присмотреться
Насчет тесла в целом то да, но есть нюанс - это подержанные карты Р40 с 24ГБ памяти и Р100 вроде с 16ю. Их очень часто используют как бюджетный вариант для тренировки ЛОРА. У АМД есть карты mi25, mi50, mi100 которые с этим тоже неплохо справляются.
Это все серверные видеокарты. RTX 3090/4090 тоже имеют 24гб памяти и значительно быстрее их и при этом дешевле.
@@kuliev.vitaly Имелись ввиду очень старые тесла. P40 2016 года выпуска торгуется пучок за пятачок вообще. 15-20 целковых. За цену 4090 ими можно хоть обмазаться. А так да, кто ж спорит, что 4090 быстрее и лучше. Вопрос как всегда в цене.
@@Magentaziвот и думаю, покупать p40 -2 шт или не покупать
@@kuliev.vitaly китайцы с полгода тому по 10-25 крублей бу-шные продавали, даже не ОЗОНе доступные были.
спасибо за инфу
Здравствуйте, подскажите есть ли у вас инструкция-видео о том как перенести обучение модели с серверов google colab на собственную машину? Обучение модели на локальном ПК.
Инструкции нет. Установи нужные библиотеки и код должен также работать локально.
спасибо! очень годные видео!
что думаете насчет 3060 на 12гиг памяти? достаточно такой для Llama 34B или дообучить Llama 7B? и еще, что насчет процессоров amd? заранее большое спасибо за ответ!
я думаю сейчас собрать себе на RTX 3060 12G, RAM 128G DDR5, AMD Ryzen 7 - 8 ядер или если найду то 12 ядер.
Для нейросетей процессор и оперативка мало важны. У меня 3950x 128gb - узким местом они редко являются. 3060/12 - хороший бюджетный вариант.
Большое спасибо за видео, посмотрел полностью и подписался. Начал изучение нейросетей с нуля, до этого едва ли вник в азы Python, написал несколько простых скриптов для анализа табличных данных (биолог, фильтрую результаты спутникового слежения за животными например). Сейчас возникла потребность в наличии нейронных сетей, конкретно для анализа изображений и поиска на них определенных объектов. Сейчас у меня RX 6900 XT с 16 гб видеопамяти, но после этого видео задумываюсь над rtx 3060 именно под нейросетевые задачи.
Можете посоветовать какие-нибудь источники для обучения самого себя с учетом описанного выше примера задачи? Буду очень признателен!
По питону у меня есть видео на канале. По нейросетям рекомендую примеры tensorflow с интерфейсом keras посмотреть. Если будешь брать rtx 3060, то бери с 12гб памяти.
На видеокартах АМД тоже можно нейронки учить, просто поддержка меньше. Скорее всего придется собрать tensorflow из исходников.
@@kuliev.vitaly да у меня два ПК дома, относительно недавно собрал достаточно дорогой, но упор тогда сделал на игры и только сейчас приходит осознание, что технологии nvidia нужны мне для рабочих задач. Без поддержки комьюнити я бы и свои питонские успехи бы не сделал, так что придётся раскошелиться на 3060 12 гб в вторую систему (там сейчас 960…)
Спасибо за оперативный ответ и советы по видео, обязательно все посмотрю как сяду позаниматься нейронками!
Успехов!
Я поставил паузу на видео, теперь нейросети пишутся сами 😂
если есть возможность затести видюхи для майнинга в работе с нейронками
Такой возможности нет. Знаю, что эти видюхи аналогичны игровым, только без видеовыходов. Должны работать аналогично
Так что лучше? Мини-компы для обучения/запуска нейросетей или видеокарты? А майнить на мини-компах можно с, примерно, той же эффективностью, что и на видюхах с тем же объемом оперативной памяти?
Майнинг на видеокартах умер после перехода эфира на POS. Будет окупать электричество с не большой прибылью. Окупаемость годами исчисляется.
Мини компы только для инференса. Их разумно внедрять там, где требуется большое количество устройств. Например, обработка видео рядом с камерой.
Виталий, добрый день. Спасибо большое за подробное видео. С появлением 4000 серии хотел бы спросить про нее. У меня тоже как и Вас,стоит GTX 760 на 2 Гб,но временно и хочу перейти с нее на 4000 серию,а именно 4080. Будет ли она оптимальная со своими 16 ГБ видео памяти. Хочу работать с нейронными сетями текстовыми, видео и картинками.
Недавно сам обновился на 3090ti 24gb. Скоро планирую видео выпустить со сравнением 3000 и 4000 серий.
@@kuliev.vitaly спасибо,буду ждать
th-cam.com/video/0iA1-X-TR7s/w-d-xo.html
@@kuliev.vitaly спасибо большое за видео. Но я уже заказал себе 4080, придется "костылить" pytorch)
А что можете сказать про Arc770 от Интел, лучше или хуже чем 3060 12гб, или 4060 16гб? Просто она гораздо дешевле 4060 на 16, и новее 3060
На рынке ИИ доминирует нвидиа. Весь софт поддерживается и работает стабильно. Железо других компаний может быть дешевле, но у него хуже поддержка со стороны софта.
@@kuliev.vitaly Спасибо, софт то может и не весь поддерживаться, но как обстоят дела с производительностью этих карт в машинном обучении , нейросетях, если допустить, что нужный софт поддерживает
А есть внешние видеокарты? Или создание таких вообще нецелесообразно Из-за пропускной способности. Вроде находил приблуды которые Подключаются к слабым ноутбукам чтобы играть в игрушки. Может они подойдут для нейросетей и обучение
У меня нет опыта работы с ними. По идее должны работать, но медленее в сравнении с полноценным подключением
Как одновременно обучать нейронки на центральном и графическом процессорах для прироста производительности?
Не имеет смысла. Видеокарта в десятки раз быстрее ЦПУ в задачах обучения
что скажешь про Tesla P40 24гб? как она против 2060ti?
p40 памяти заметно больше.
Виталий, подскажите сейчас стала популярна видеокарта с Китая 3070м лаптоп. С ней нейросеть будет рабоать? допустим такая как Deepfake Lab? (там у нее какие то только старые драйвера работают у видеокарты, а вообще как я понял ее для майнинга делали, но цена у нее очень интересная )
Не знаю что именно китайцы продают под этим именем. У меня в ноуте как раз 3070 8gb. Нейронки можно на ней считать, но есть ограничение по памяти.
Deep face lab должен работать. Сам код точно запустится. Готовые сборки программы от deep face lab могут иметь устаревшие драйвера, их будет нужно пересобрать.
@@kuliev.vitaly _-- но есть ограничение по памяти..._
-- они и с удвоенной памятью делали, то есть 16gb
А между 3060ti и 3070 что выбрать? Цена второй в 1,5 раза больше.
По размеру памяти они одинаковы - 8гб. 3070 будет быстрее, но и дороже. Выбирай исходя из цены.
Как альтернативу могу предложить 3060 с 12гб оперативки. Она менее быстрая, зато памяти больше.
Подскажите пожалуйста , хочу купить две tesla p40 по 24gb для локальной работы llm , по типу llama 3, пугает старая версия cuda 6.1. Но у меня сейчас 1080 ti тоже из серии pascal , проблем не испытывал. Сам вопрос, стоит брать p40, годика на три хватит ? Пока коплю на 3090
Карта старая, но за такую цену я не знаю альтернативы. посмотри бенчмарки и сравнение по скорости с 3090/4090. Возможно в задаче инференса LLM она сравнима будет.
@@kuliev.vitaly спасибо, скорость работы не сильно важна, главное что быстрее чем на цпу .
Добрый день. Подскажи, если собрать 2а- 3и сервера на картах 3090, на водянке. мать пропускает 4хPCIe x16 . проц есть i9-10920Х, память можно поставить до 256 гб, на сборку думаю 3 - 4 карты. Есть где-то возможность найти биржи мощности, чтоб эти сервера (рабочие станции) подключить в аренду ????
Поищи где можно размещать оборудование для майнинга - железо очень похожее. У них можно разместить.
Проц этот слабоват для 3-4х 3090. В ряде задач обучение в процессор упрется и карты недозагружены будут.
Добрый день! Не подскажете, что будет лучше, rtx 3060 на 12gb или rtx 3070 ti на 8?
Зависит от задачи
Спасибо, полезно!
Буду себе брать rtx 3060 на 12 gb 😊
купи 1080TI
@@k4hop4tin4почему 1080 лучше?
Виталий, здравствуйте!
Собираю сейчас себе ПК для нейросетей, подскажите, пожалуйста, какая видеокарта для этих задач лучше:
RTX 2060 super
или
RTZ 3060?
rtx 3060 будет лучше. Размер памяти важен - бери версию 3060 на 12гб.
@@kuliev.vitaly спасибо!
А видеокарты с LHR не понижают производительность нейросетей, 3D рендеринга или математических параллельных вычислений, использующих CUDA ядра ?
Я не знаю. Скорее всего нет. Погугли
Для создания картин и тд в нейросети 1660с или ти подойдет? Просто слышал что нужны тензорные ядра которые в 2060 и тд
У нее 6гб памяти. Возможно, что-то удастся запустить в низком разрешении.
@@kuliev.vitaly т.е в любом случае нужен 2060 и выше?
А что с макбуками по нейросетям? Может ли макбук про 13 і5 работать с нейросетью? Или это могут только М1?
на процессорах нейросети работают, но на порядок медленнее, чем на видеокартах.
а можно кластерь склеить, чтоб память суммарно больше была? штуки 4 хотяб
Можно для определенных типов задач. Pytorch умеет такое из коробки. Но все равно код нужно писать с учетом того, что он будет в кластере считаться
Чек-ин от досмотревшего :-)
: )
Спасибо за видео!
1. А из чего складывается расходуемая память? Датасет и всё?
А если датасет сотни гигов видюха не возьмется такую нейросеть обучать?
2. Откуда число 4 ядра проца на подготовку? Это особенность python? Т.е. 32 ядерный проц не будет иметь явного преимущества перед 16 ядерным, в обучении?
1. Датасет не влияет на количество памяти. Требуемая память зависит от размеров нейронки и данных для рассчетов градиентов. batch_size сильно влияет на потребление памяти. Датасет можно частями подгружать, с сотнями гигабайт работал.
2. Просто наблюдение за нагрузкой процессора и видеокарты в типичном проекте с картинками. При полной загрузке видеокарты обычно потребляется 4 ядра процессора. 32 ядра не помогут, все равно в видеокарте ограничение будет. Аналогичный эффект в играх есть.
Сейчас видеокарты серии quadro стоят дешевле чем rtx. Например если взять rtx2060 и quadro p4000. Что лучше выбрать ?
Да, сейчас есть проблемы с доступностью видеокарт и другой электроники. Если есть возможность, то лучше подождать, пока ситуация выправится.
quadro p4000 сильно старше, чем rtx 2060. Но зато у нее больше памяти(8гб вместо 6гб). Из этих карт, то я бы взял rtx 2060, если обучаемой модели хватит 6гб памяти.
Рекомендую присмотреться к rtx 3060 с 12гб памяти. Она дороже, но зато быстрее, новее и имеет больше памяти.
Виталий,подскажите пожалуйста,что является ключевым в генеративно-состязательной сети,объем памяти или же Cuda ядра?Пример rtx 3060 12 gb 3584 ядер и rtx 3070 8 gb но 5888 ядер.Какая будет обучать быстрее???(не берем тензорные ядра)
GAN сети с хорошим качеством требуют приличный объем видеопамяти. Объем памяти влияет на сложность нейронной сети, которую можно обучить, и на максимально возможный batch size. На скорость обучения влияет ряд факторов, не только CUDA ядра. RTX 3070 будет быстрее на 30-50% при обучении нейросетей. Если выбирать из этих двух, то я выбрал бы RTX 3060 из-за большего объема памяти и меньшей цены.
@@kuliev.vitaly спасибо
@@МаркАнтоний-с6о цены на видеокарты упали. RTX 3060 12Gb можно купить в розницу за 60-65к.
@@kuliev.vitaly Спасибо.Я слежу за рынком.Но rtx 3080 ti еще не упала до того значения,которое нужно))).Сделал выбор.Жду адекватной цены
Прохожу обучение нейронок на колаб, и возникают проблемы со скоростью, можно ли подключить солаб к своему GPU если да то как?
Скорее всего нельзя. Можно локально у себя запустить юпитер ноутбук. Функционал будет схожий.
Можно, я пробовал .В интернете есть пару таких видео где показали как, тоисть можно выбрать свою гпу для вычисления
Добрый день! Подскажите пожалуйста, планирую на данный момент купить gtx 1070 или 1080 для обучения нейронных сетей по типу yolo и т.п(я полный новичок в этой сфере). В видео Вы говорите(9:08), что поддержка этих видеокарт постепенно уходит, но я ведь могу использовать старые версии tensorflow и т.п, верно? Просто каждый год менять видеокарту я к сожалению не смогу....пока я студент.
Обновление драйверов в какой-то момент прекращается. Старые версии драйверов и tensorflow будут работать
Где найти платный/бесплатный ресурс для обучения нейронки?
Бесплатно - google colab.
Платно - AWS инстансы с видеокартой.
@@kuliev.vitaly спасибо. Хотел купить google colab pro, но вижу, что недоступно в наших регионах.
Добрый вечер!
А что лучше выбрать между rtx3060 и rtx3060 ti? У одной больше памяти, а вторая мощнее примерно на 20%? Видеокарта в основном будет использована для задач машинного зрения(обучения нейронных сетей в основном mobilenet, yolo и т.п.).
лучше 12гб памяти
@@kuliev.vitaly спасибо! А влияет ли скорость обучения нейросетей на их качество?
Не влияет. Просто считаться дольше будет.
@@kuliev.vitalyспасибо!
А какая карта в данный момент в Вашей сборке стоит?
В стационарнике 1080ti 11gb. В ноутбуке 3070 8gb.
Вы не раскрыли вопрос о памяти видеокарт достаточно .
Вот что бы вы выбрали ? :
Одну видеокарту 3080 за 60000 рублей,
Или же 2 видеокарты 3060, тоже за 60000 рублей, в сумме ?
Ведь имея две 3060 получаем: 24 гига видеопамяти против 10 гигов у 3080;
в сумме 7168 ядер cuda против 8704 у 3080,
и 228 против 272 тензорных ядер
соответственно ,
шина памяти 192+192 бита против 320 бит
То есть в итоге за те же 60000 рублей мы получаем сопоставимые вычислительные ресурсы , но с в 2,4 раза большим объемом видеопамяти.
Так что бы вы, как человек с опытом - тот кто сталкивался со множеством неприятных ситуаций и ошибок на деле - выбрали бы ?
К сожалению в большинстве задач 2 карты по 12гб не равны одной на 24. При параллельных рассчетах нейронок обычно на каждой видеокарте считается нейронка полностью и потом веса синхронизируются с другими нодами.
одна карта с большим объемом предпочтительнее.
@@kuliev.vitaly Ну вариант "всё в одном ", как у 3090 ,понятное дело, что лучше , но я сравнивал 3080 на 10 гигов против двух 3060 на 12 гигов каждая.
Тоже от задачи зависит. Если нужно рассчитать ровно одну нейронку, код которой нераспаралелен для нескольких видеокарт, то 3080 быстрее будет. На 3060 памяти чуть больше.
Оба варианта мне не нравятся:
3080 имеет слишком мало памяти для ее цены. GTX 1080ti, которая отстает уже на 3 поколения имела 11гб.
Покупать сразу 2 3060 тоже не нужно. Можно купить одну 3060 и протестировать ее в нужном типе задач.
@@kuliev.vitaly Спасибо, кое в чем я сориентировался .
Надо ещё докупить проц с avx инструкциями - я так понял что одних видеокарт не достаточно для запуска этих библиотек машинного обучения , нужно чтоб обязательно были avx инструкции у ЦПУ, - у моего Phenom II x955 их нет , поэтому ничего запустить не выходит на видеокарте - карта у меня 2060 Super на 8 гигов - даже рендеринг в 3dmax , без avx инструкций ЦПУ не запускается на видеокарте .
Вобщем , спасибо за помощь, буду думать
Такой вопрос возник. Что выбрать между 3070 8gb и 2060 12gb?
Если планируешь нейронки с большим требованием к памяти, то бери 2060. В остальных случаях 3070 лучше.
@@kuliev.vitaly я сейчас только начал обучение Data Science и машинное обучение, даже не знаю, что именно мне будет нужно, если честно. Просто дело в том, что и 2060 и 3070 мне выйдут в одну цену
3070 быстрее по скорости раза в полтора и лучший техпроцесс у нее. 2060 имеет памяти в полтора раза больше. На 2060 сможешь большее типов нейронок посчитать, бери ее, если не знаешь, что именно нужно.
@@kuliev.vitaly спасибо за ответ
А как насчет серии Tesla с небольшим шаманством ...на пример TESLA K80 24GB
Очень старая карта. Возможно поддержки ее уже нет, надо изучать. Лучше 3090/4090 вместо нее взять.
3090 не сильно уступает в этом плане 3090 Ti?
в среднем 20%. 3090 - хороший выбор на данный момент.
Так а деньги на этом можно зарабатывать?
При работе в найме можно.
Вы имеете ввиду знать в аренду GPU ? А можете посоветовать какой то сервис где это можно сделать?
Есть 5 карт AMD 6700 xt. 12GB.
Можете что то посоветовать пожалуйста?
Только не майнинг 🙂
Лайк подписка 😉
Можно продать на авито, наверное это самый лучший выход.
Можно попробовать игровые компы собрать и сдавать их в аренду. Есть такие сети.
Майнинг на видеокартах умер и мало шансов, что он снова будет прибыльным. Сейчас куча БУ майнингового желаза, которое хотят пристроить хоть куда-то.
Тут всë просто: 4080/4090 остальные не стоит даже рассматривать
3090/3090ti за свою цену хороши. Лучше 3090 взять из-за памяти, чем 4080.