Виталий и Руслан, спасибо огромное за подробное описание принципов построения ПК для работы с моделями! Много узнал для себя, как начинающий разработчик. Вопрос, ответ на который я пока не нашёл, квантизация даёт уменьшение объёма требуемой видеопамяти для весов модели, только вот мне пока не понятно, что это влечёт за собой? Модель работает быстрее? Точность предсказания уменьшается или ухудшение каких-то других параметров влечёт сжатие размера?
Было бы интересно как обучать модели на картах от AMD. Например AMD Radeon RX 7900 XTX имеет тоже очень вкусную цену в районе 90к руб. на авито. В Pytorch и Tensorflow видел поддержку ROCm v6.
Лучше взять 3090ti за эту же цену. Для амд нужно собрать базовые бибилиотеки(например pytorch) и запускать обучение. Следует учитывать, что поддержка бибблиотек ограничена
А насколько актуальны устаревшие решения типо Tesla m10? Там 32 гига видеопамяти. Исключительно для запуска больших текстовых моделей И есть ли смысл мешать видеокарты? К примеру 1 4090 и одна м10? Дико извиняюсь если кажусь полным профаном это так и есть, но мы тут маленький сервачек думаем собрать чисто для своей внутренней компании, заранее спасибо
m10 вышла 8 лет назад и не поддерживается. По мощности она на порядок медленнее 3090. Может быть и получится что-то на ней запустить, но будет медленно. Мешать карты не имеет смысла - работать будет со скоростью самой медленной. 3090/3090ti/4090 - из игрового сегмента наиболее популярное решение. Есть чуть более дешевые игровые варианты, но они и медленнее.
5:07 Держать модель в обычной оперативке - это влияет на быстродействие. Бесспорно, видеоядра быстрее перебирают видеопамять, нежели ядра центрального процессора перебирают ячейки оперативки. Но с учетом бутылочных горлышек, некоторые из которых перечислены в данном видео, насколько сильна разница в итоге? Есть реальные цифры хоть в каком-то сценарии дообучения модели среднего размера? Если разница в быстродействии всего в 2-3 раза при разнице цены в три-четыре порядка, то выбор складывается не в пользу видеокарт.
WRX80E-SAGE + Threadripper PRO 5955WX ребятки что с видюхами для обучения и экономии можно сообразить на первое время (много НИОКР) учитывая особенности материнки. Ориентировочный data set больше 10 тб текстовых/числовых данных, посчитано по верхам. Может ещё каких рекомендаций накинете.
Хотел узнать у специалистов - можно ли иметь универсальный комп, что бы и в игры играть и нейросетями типа той же Олламы или необходимо разделять, т.к. обучение нейросети будет занимать все ресурсы компа? И можно ли использовать 3 видеокарты, а то я везде вижу или 2 или 4 видеокарты во всех билдах, но никогда 3, хотя в материнках обычно 2 или 3 слота.
У меня есть опыт сборки компа на ам4 с 3 видеокартами 3090ti. Посмотри одно из последних видео. Если неронки для себя используешь, то 3 карты можно использовать для нейросетей. Одновременно играть и считать нейросети не рекомендую - будут просадки производительности в обоих задачах.
Очень полезное виде для входа в тему!
огонь видео! когда два профи вместе что-то обсуждают, это шикарно!
Прекрасный коллаб на актуальную тему. Герои ногого временить Огромное спасибо!
Виталий и Руслан, спасибо огромное за подробное описание принципов построения ПК для работы с моделями! Много узнал для себя, как начинающий разработчик.
Вопрос, ответ на который я пока не нашёл, квантизация даёт уменьшение объёма требуемой видеопамяти для весов модели, только вот мне пока не понятно, что это влечёт за собой? Модель работает быстрее? Точность предсказания уменьшается или ухудшение каких-то других параметров влечёт сжатие размера?
Модель требует меньше памяти, модель работает быстрее, качество ответов становится хуже. Поищи бенчмарки квантизованных моделей
Было бы интересно как обучать модели на картах от AMD. Например AMD Radeon RX 7900 XTX имеет тоже очень вкусную цену в районе 90к руб. на авито. В Pytorch и Tensorflow видел поддержку ROCm v6.
Лучше взять 3090ti за эту же цену.
Для амд нужно собрать базовые бибилиотеки(например pytorch) и запускать обучение. Следует учитывать, что поддержка бибблиотек ограничена
А насколько актуальны устаревшие решения типо Tesla m10? Там 32 гига видеопамяти. Исключительно для запуска больших текстовых моделей
И есть ли смысл мешать видеокарты? К примеру 1 4090 и одна м10?
Дико извиняюсь если кажусь полным профаном это так и есть, но мы тут маленький сервачек думаем собрать чисто для своей внутренней компании, заранее спасибо
m10 вышла 8 лет назад и не поддерживается. По мощности она на порядок медленнее 3090. Может быть и получится что-то на ней запустить, но будет медленно.
Мешать карты не имеет смысла - работать будет со скоростью самой медленной. 3090/3090ti/4090 - из игрового сегмента наиболее популярное решение. Есть чуть более дешевые игровые варианты, но они и медленнее.
5:07 Держать модель в обычной оперативке - это влияет на быстродействие. Бесспорно, видеоядра быстрее перебирают видеопамять, нежели ядра центрального процессора перебирают ячейки оперативки. Но с учетом бутылочных горлышек, некоторые из которых перечислены в данном видео, насколько сильна разница в итоге? Есть реальные цифры хоть в каком-то сценарии дообучения модели среднего размера?
Если разница в быстродействии всего в 2-3 раза при разнице цены в три-четыре порядка, то выбор складывается не в пользу видеокарт.
процессор и видеокарта на порядок отличаются по скорости
@@kuliev.vitaly Работа LLM - это комплекс операций в разных системах, поэтому не работает голое сравнение частот и количества ядер.
WRX80E-SAGE + Threadripper PRO 5955WX ребятки что с видюхами для обучения и экономии можно сообразить на первое время (много НИОКР) учитывая особенности материнки. Ориентировочный data set больше 10 тб текстовых/числовых данных, посчитано по верхам. Может ещё каких рекомендаций накинете.
3090/3090ti. зависит от задачи
Без иронии - спросите ЧатЖпт или Клода. Они охотно накидывают варианты по конкретным задачам с альтернативами железа и примерной стоимостью.
Хотел узнать у специалистов - можно ли иметь универсальный комп, что бы и в игры играть и нейросетями типа той же Олламы или необходимо разделять, т.к. обучение нейросети будет занимать все ресурсы компа? И можно ли использовать 3 видеокарты, а то я везде вижу или 2 или 4 видеокарты во всех билдах, но никогда 3, хотя в материнках обычно 2 или 3 слота.
У меня есть опыт сборки компа на ам4 с 3 видеокартами 3090ti. Посмотри одно из последних видео. Если неронки для себя используешь, то 3 карты можно использовать для нейросетей. Одновременно играть и считать нейросети не рекомендую - будут просадки производительности в обоих задачах.
@@kuliev.vitaly я так понимаю3090 из за нвмлинк нужно брать?
лучше соотношение цена/производительность