Новый SDXL ControlNet для Automatic 1111, не качай 50 гигов! Обзор и сравнение всех моделей
ฝัง
- เผยแพร่เมื่อ 28 ก.ย. 2024
- Всем привет из нового видео вы узнаете:
• Что такое вообще ControlNet
• Как поставить ControlNet последней версии
• Как скачать SDXL модели контролнета
• Какие бывают модели и как они работают
• Увидите наглядно сравнение всех моделей
• Получите прямые ссылки на и скачивание
Доска в Miro: miro.com/app/b...
Расширение ControlNet: github.com/Mik...
Все модели ControlNet: huggingface.co...
Все лучшие SDXL ControlNet модели в одном месте: boosty.to/neur...
Подпишись на мои телеграм каналы: t.me/addlist/L...
-----------------------------
Наши обучающие программы
Онлайн интенсив Нейробуст - освойте базу Stable Diffusion всего за два дня: neurophotograp...
Курс Нейро-Архитектор, научитесь визуализировать интерьеры и экстерьеры в SD: neurophotograp...
Освойте новый альтернативный форк Automatic 1111 под названием SD.Next: neurophotograp...
#ai #aiart #stablediffusion #aicreation #automatic1111 #controlnet #sdxl
![[🔴LIVE] งานประกาศรางวัล MAYA TV AWARDS 2024 : มายามหาชน](http://i.ytimg.com/vi/nwmWYXXVwBY/mqdefault.jpg)
Видео было Полезным? Поставь Лайк и Подпишись на канал! 👍
🥰 Ранний Доступ к роликам, Секретный чат, Эксклюзивные Обучающие Стримы и твоя поддержка, только на Бусти: boosty.to/neuro_art
🔥 Всё Самое Свежее в Моём Телеграм-Канале! Подписывайся, чтобы быть в курсе всех обновлений и новостей: t.me/neuro_art0
🥳 Генерируй онлайн бесплатно прямо в Браузере! Исследуй неограниченные возможности нашей нейросетей: artgeneration.me/
🧐 Ищешь с чего начать знакомство с нейросетями? Обучайся с помощью наших онлайн курсов по Stable Diffusion: neurophotograph.ru/catalog
🌟Всё о Нейросетях в Одном Месте! Подпишись на все мои Телеграм каналы в один клик: t.me/addlist/LQ-fUTyhVjEzYjIy
Твое Мнение Важно! Как Тебе видео? Напиши в Комментариях! 👇
Благодарю за такой расклад.Особенно в "Доска в Miro:".Что б не искать по сети. У меня почти все модели SD 1.5_SD 2.1.Но честно скажу то,что я всего пару раз пользовался моделями SD 2.1:)).То есть по идее их надо вообще удалить.Но жадность:( А по XL мне важны только 5-6 моделей CN,не более. Кстати "normalbae" хорошая модель,которой мало кто пользуется.Но она хороша для того что-бы лицо посмотреть у того кто в маске.
Как всегда надо подождать пару недель и всё будет хорошо до модели XXXL:))
Какая у вас большая коллекция. У меня интернет не безлимитный, не могли бы подсказать какие модели Вы бы посоветовали качать? Типа топ 10 для разных нужд
@@Kinjeiro Привет.Ну вы вспомнили:)) Тогда всех моделей было чуть более сотни,а сейчас тысячи. И смотря для чего вам надо модели.Если просто генерировать изображения, то я этим не совсем занимаюсь. По большей части я анимацией занимаюсь.
@@michail_777 моя итоговая цель это мультики в стиле русских сказок, чтобы доносить какие-то хорошие ценности. Но пока только учусь через генерацию картинок, так как видел видео очень туго сейчас (максимум 4 секунды генерации). Нашел парочку лор под стили наших художников.
спасибо за детальный разбор с примерами, особенно за подробную сравнительную таблицу.
Колоссальная работа по составлению таблички, спасибо большое от любителей инфографики, не удаляйте, пожалуйста)
мощно! спасибо! Действительно большой труд!
надо было мне покрасить архитектурный макет простейший, в итоге ручками )) все это работает только до того, как реально понадобится ))
А по карте нормалей не было норм модели? Стоит ли пользоваться этим препроцессором?
Sketch от StableAI предназначен для раскрашивания реальных скетчей, так же как и их Recolor (только он для фото). Поэтому его логично тестить в группе перекраски, а не скрибл/скетчей. Ну и ждать от него результата как от других скрибл/скетч моделей как минимум странно, тк цели разные.
Все скетч модели обучались на раскрашивании реальных скетчей, это не мешает их использовать как угодно, в т.ч. для перекрашивания уже существующих изображений.
Прикольно
красава, а то руки разгрести эту хрень попросту не доходят)
У меня 1.4 терабайта моделей)
АСТАНАВИТЕСЬ
@@nerual_dreming поздно, отдельный ссд на 4 тб уже заказан)
Титанический эксперимент. Спасибо! Еще бы для пятнашки такой тест бы)
давай запилим "SD под капотом"
DOES DW POSE WORK WITH SDXL?
Does Open Pose work properly with SDXL?
Dw-pose is preprocessor it's work independently from model.
стандартный canny control_depth-fp16 у меня работает, а sai_xl_canny_256lora и diffusers_xl_canny_full у меня не работают. Есть решение проблемы?
Скорее всего они в терминале что-то пишут, когда не работают, вот из этой информации возможно будет понятно решение.
это sai_xl_canny_256lora. line 649, in check_sd_version_compatible
raise Exception(f"ControlNet model {unit.model}({cnet_sd_version}) is not compatible with sd model({sd_version})")
Exception: ControlNet model sai_xl_canny_256lora [566f20af](StableDiffusionVersion.SDXL) is not compatible with sd model(StableDiffusionVersion.SD1x)
@@AndreyAndreevich-p1j Ну тут черным по белому пишет, что вы пытаетесь запустить контролнет не с теми моделями. Для 1.5 моделей свой контролнет. Для SDXL свой. Не пытайтесь использовать одни модели с другими, это не совместимо.
Кинул ошибку в чат gpt, пишет что старая модель stable diffusion и не совместима с controlnet. Хотя я скачивал у xpuct портативную версию. Посоветуйте где можно скачать чтобы всё работало@@nerual_dreming
спасибо, попробую@@nerual_dreming
Так и не нашел ни одной причины вообще использовать SDXL. Она во всем хуже толковых моделей на 1.5, медленная жрет втрое больше памяти, качество очень низкое.
Значит вы не использовали SDXL достаточно. Она лучше в качестве, лучше в промптинге, а файтюненые модели на основе сдхл это просто песня.
@@nerual_dreming В каком конкретно месте она лучше? Я скачал пару самых высоко оцененных моделей SDXL, качество даже ниже чем на стоковой SD 1.5, все размытое, лицо невозможно отрисовать без размывания даже в inpaint, никакие промты не помогают.
И при всем этом оно требует в 2-3 раза больше памяти на то же разрешение и втрое медленнее генерит.
Все SDXL модели не идут ни в какое сравнение с Reliberate не говоря уж о более заточенных на фотореализм.
@@Velanteg видимо, у всех разные задачи. Я с большим удовольствием перешла на SDXL, т.к. для моих задач она генерит понятные, не поломанные и эстетичные картинки, где в большом разрешении детали не намешиваются в нелогичную кашу как на многих 1.5. моделях. Я не работаю в реализме, а работаю в артовой стилистике. Но ради интереса сейчас попробовала нагенерить фото тетенек на двух моделях, делиберейт и на sdxl классической. И мне очень понравились все результаты, но на sdxl все-таки больше, потому что для идеальной картинки понадобилась всего одна-две итерации, тогда как на делиберейт около 3-5. Размытости нет совсем ни на какой из sdxl моделей ( у меня их 3 разных). Я слышала критику в адрес SDXL, в т.ч. от Хачатура, смотрела разборы и долго поэтому ей сопротивлялась. Но в итоге в своей работе с ней так и не выцепила ничего негативного.
@@13-february Ни одна SDXL модель что я тестировал не смогла нарисовать ни одной картинки без размытости.
Похоже ты как-то очень неправильно применяла 1.5 если результат у тебя там получился даже хуже чем у SDXL.
С раскрашиванием все результаты плохие. Цвета везде более тусклые и темные, особенно это видно с собакой, но и с Монро тоже заметно. Да и вообще все заявленные инструменты дают результат на троечку, мне не понравилось из этого ничего. Но увидеть что они вообще есть было интересно, спасибо за проделанный труд!
Почему на Automatic1111 ControlNet SDXL срабатывает очень редко c SDXL моделями? Генерирую картинки, в результате если в grids добавляется картинка из ControlNet, то значит, зацепило и сработало. Если нет, то фактически, она не срабатывает при генерации. Где искать проблему? В чем причина может быть? Очень рандомно она работает, нет постоянства, которое было с моделями SD.
Читайте что написано в консоли, если что-то не сработало там это указано и чаще всего причина тоже.
Такое впечатление, что у автора ролика заканчивается место на жестком диске :) Эта модель показывает лучший результат, но она весит 2 Гб, поэтому берем похуже но на 700Мб :) Я генерирую картинки SDXL в ComfyUi. У меня тоже самая проблемная это Openpose. Никак не настрою :( И, да, самые лучшие ожидаемые результаты в canny и depth дают именно версии на 2Гб.
256 лоры разумные варианты, а место да, место тоже заканчивается, несколько терабайт уже чисто нейронками заняты =)
@@nerual_dreming ну все равно странный аргумент. У нас не столько много лишнего времени, чтобы тратить его на то, чтобы смотреть на фиговые результаты с более легкой моделью )
perfect thank you, you have done a lot of work
Спасибо. Полезненько. А то все никак не мог подступиться к контролнету для хл с этим разнообразием моделей
Хорошая работа.
Отличный ролик, спасибо. Вот бы еще увидеть в вашем исполнении развернутый урок по 3D Openpose эдитору. 👍 В нашем сегменте про это нет. Только у иностранцев.
Что если я получаю такую ошибку: AttributeError: 'NoneType' object has no attribute 'shape' ?
Возможно выбран контролнет от версии 1.5
у меня написано ControlNet v1.1.408
@@nerual_dreming
может вы знаете какие еще причины могут быть? за все это время причину так и не решила, все обновлено, все файлы повторно переставила, но все равно ловлю эту ошибку :(
@@nerual_dreming
@@user-sonyalan речь про конкретную модель контроллнет.
@@nerual_dreming я нуб, как это посмотреть?
надо было бы еще попробовать сделать с повышенной степенью веса в опен поуз (к примеру до 1,25-1,50), может быть получше бы прорисовывал позу)
или выбрать dw_open_pose
спасибо
Большинство моделей в паке от lllyasviel для sdxl не работают в automatic 1111 1.6. Не помогает переустановка расширения и python. При использовании выдаёт следующую ошибку - return F.pixel_unshuffle(input, self.downscale_factor)
RuntimeError: pixel_unshuffle expects height to be divisible by downscale_factor, but input.size(-2)=1240 is not div
Потому что это sdxl контролнет модели которые надо использовать с sdxl моделями, такие ошибки возникают когда модель 1.5
@@nerual_dreming использовал juggernaut xl
@@ArtemLebedev-m7z Тогда проверьте что модель контролнета не имеет 15 в названии, что-то у вас с чем-то не совместимо)
@@nerual_dreming с первым пунктом ясно, а как лучше узнать несовместимость, удалить все расширения и оставить только controlnet,?
Фиг знает что делаю не так, но на моделях 1.5 у меня картинки получаются быстрее и лучше, чем на SDXL. Использую разный промт или один и тот же, с лорами или нет, без разницы - старые модели дают лучший результат в 10 раз быстрее. Может я что-то с новым ControlNet накосячил.
Пока SDXL это переоцененная хрень, причем очень громоздкая. Плюс натрененные модели похожи друг на друга, просто в базовую все пихают какие то свои добавки, а выдают как некую новую модель. Очень надеюсь что не взлетит ), ибо многие со своими "дохлыми" видяхами не потянут и останутся неудел. Мы еще не готовы ).
На самом деле базовая SDXL многократно превосходит базовую 1.5 или базовые 2 и 2.1, файтюненные модели уже выдают на порядок более крутой результат, с меньшим количеством действий, но да, требования к железу выросли, тут ничего не поделаешь, прогресс как говорится =(
@@nerual_dreming А кто сейчас использует базовую 1.5? Все используют как минимум Reliberate и по сравнению с ней SDXL это кривая и тормозящая байда.
Нет ни одной причины для использования SDXL если только ты не жил в пещере все это время и не пропустил миллион качественных моделей на 1.5.
@@Velanteg речь идет не про базовые модели, а файтюны на основе 1.5. Вы попользуйтесь нормально файтюнеными моделями сдхл, увидите разницу. Релибрейт откровенно плохая модель 😂
Вот людям делать нечего кроме как сломанные модели загружать. Или может их используют неправильно. SargeZT обучал с другим форматом глубины, поэтому на черно белой карте получилась каша. Тест ip adapter вообще мем. Он нужен для копирования стиля, а тут всю стилизацию негативом убили заперев нейронку в реализме. Таже фигня с аниме моделями. Им вообще карту canny с рисунков делать нужно. Реалистичные изображения дают много шума и мало контурных линий.
спасибо за пояснение про ip adapter, там и правда в негативе базовые артовые стили прописаны были у автора