Спасибо за ролик, тоже хочу собрать небольшой сервер с несколькими видеокартами, но столкнулся с проблемой, что 3090 ti стало непросто достать) Поделись пожалуйста, где их приобретал?
Эта информация конечно интересная, но вы сразу перешли от 1го шага к 3-4. В связи с этим осталось 2 вопроса: 1) где достать данные для обучения модели или как их создать? 2) если нет возможности создать свой собственный датасет, то как можно спарить 2 модели в 1, одна из которых уже обучилась на нужных датасетах?
Внутри модели есть разные веса. Например, веса полносвязного слоя внутри блока и более важные веса на выходе этого блока. Приставки в названии модели(k_s, k_m...) отражают нюансы квантизации этих весов. Это незначительно влияет на точность и размер модели. Самая важная цифра стоит перед q.
Информативность ролика довольно низкая. Систематизация очень слабая. Обсуждается только какая-то небольшая область без привязки к уровню человека не в теме. Сначала надо было чётко опрелить назначение ролика. Если для тех, кто в теме, то они и так всё это понимают и знают. Если для тех, кто не в теме, то они из этого поняли примерно ... НИЧЕГО. Чисто проадвертить облака? Тоже слабо. В общем есть куда совершенствоваться. Пока только-только на троечку и то не по всем параметрам. И немного поживее, где-то и немного с юмором может. Всё-таки не лекция в универе. Для лекции не дотягивете до троечки даже. В общем так вы слоника не продадите. Надо подумать куда двинуть совершенствование
Да, ребята явно как-то напряжены и в течении ролика меня тоже не покидало ощущение, что я смотрю какой-то собес на спеца ML с разрозненными вопросами по специальности. Хотя кое-какая инфа для меня все же была полезна, так что ролику все равно лайк за старание и желание делиться знаниями.
Привет. Ради интереса перешел по ссылке и скачал llama-3-70b-tagengo-unsloth.Q4_K_M.gguf . По русски не понимает и отвечает какой-то бред. Что она умеет, для чего предназначена?
Эта 70B версия обучена всего на 2400 шагов и была создана исключительно для демонстрации процесса файнтюнинга. Для реального использования рекомендую ruslandev/llama-3-8b-gpt-4o-ru1.0-gguf
Спасибо за ролик, тоже хочу собрать небольшой сервер с несколькими видеокартами, но столкнулся с проблемой, что 3090 ti стало непросто достать) Поделись пожалуйста, где их приобретал?
Эта информация конечно интересная, но вы сразу перешли от 1го шага к 3-4. В связи с этим осталось 2 вопроса: 1) где достать данные для обучения модели или как их создать?
2) если нет возможности создать свой собственный датасет, то как можно спарить 2 модели в 1, одна из которых уже обучилась на нужных датасетах?
Очень познавательное видео. Благодарю. Если можно ссылку на канал Виталия. Заранее спасибо.
Канал Виталия в описании к видео
Спасибо.
А что спасибо, то? Например, mixtral-8x7b-instruct-v0.1.Q5_K_M.gguf у меня спокойно запускается и работает. Может я что не так нажимаю ..
Если gguf просто обрезает веса, то почему существуют версии qN_k_s, qN_k_m, qN_k_l?
Внутри модели есть разные веса. Например, веса полносвязного слоя внутри блока и более важные веса на выходе этого блока. Приставки в названии модели(k_s, k_m...) отражают нюансы квантизации этих весов. Это незначительно влияет на точность и размер модели. Самая важная цифра стоит перед q.
как я понял больше одной видеокарты надо чтоб вся нейросеть влезла, скорость выдачи будет как у одной карты, так?
попытка оправдать стоимость устройств на новом типе памяти HBM3 ...
Информативность ролика довольно низкая. Систематизация очень слабая. Обсуждается только какая-то небольшая область без привязки к уровню человека не в теме. Сначала надо было чётко опрелить назначение ролика. Если для тех, кто в теме, то они и так всё это понимают и знают. Если для тех, кто не в теме, то они из этого поняли примерно ... НИЧЕГО. Чисто проадвертить облака? Тоже слабо. В общем есть куда совершенствоваться. Пока только-только на троечку и то не по всем параметрам. И немного поживее, где-то и немного с юмором может. Всё-таки не лекция в универе. Для лекции не дотягивете до троечки даже. В общем так вы слоника не продадите. Надо подумать куда двинуть совершенствование
Да, ребята явно как-то напряжены и в течении ролика меня тоже не покидало ощущение, что я смотрю какой-то собес на спеца ML с разрозненными вопросами по специальности. Хотя кое-какая инфа для меня все же была полезна, так что ролику все равно лайк за старание и желание делиться знаниями.
Привет. Ради интереса перешел по ссылке и скачал llama-3-70b-tagengo-unsloth.Q4_K_M.gguf . По русски не понимает и отвечает какой-то бред. Что она умеет, для чего предназначена?
Эта 70B версия обучена всего на 2400 шагов и была создана исключительно для демонстрации процесса файнтюнинга. Для реального использования рекомендую ruslandev/llama-3-8b-gpt-4o-ru1.0-gguf
@@ruslandev добро, попробуем