IP-Adapter | Image instead of prompts | Stable Diffusion
ฝัง
- เผยแพร่เมื่อ 26 มิ.ย. 2024
- The appearance of IP-Adapter in Stable Diffusion is a real breakthrough for designers, photographers and all those who work with images, because now you don’t need to spend hours selecting a prompt to repeat a style, clothing, or make your own logo or beautiful text. Now we can not write a prompt at all, but find a reference image and copy the style from it.
In this video we will learn how to use the ControlNet Stable Diffusion IP Adapter. How to install IP-Adapter models. Let's learn how to copy style from a reference image. Let's learn how to make beautiful text and logos using reference images. Let's learn how to change clothes in art or photographs to specific clothes from another image. Let's learn how to change the face in your art image.
Menu:
00:00 - Introduction
00:41 - Let's look at all the examples
02:07 - Where to download IP-Adapters
02:18 - What's in the second part of the video, which is on Boosty
03:32 - How to install IP-Adapter for sd1.5 and SDXL
04:20 - Example 1 - Cyborg in a suit
06:05 - Multiple ControlNet tabs
06:40 - Example 1 - Cyborg in a suit - changing the pose
08:42 - Example 2 - Vector graphics based on a reference image
11:01 - Example 3 - A man with an alien face. We use two IP-Adapters
12:43 - Epilogue
You can download a set of poses from Boosty:
⏬ Video - Boosty:
boosty.to/stabledif
⏬ Communication - Telegram: t.me/stable_dif
🍀 You can support the author on Boosty
OreX and the StableDif project - วิทยาศาสตร์และเทคโนโลยี
Спасибо, полезно, без воды.
Большое спасибо за ваш труд! Отличные виде, хорошие сборки! Жду с нетерпением новых фишек!
Еще бы авторство указывал.
надо больше туториалов по этому расширению - у него очень огромный потанцевал.
Шикарно !!!!!! Спасибо
просто огонь! спасибо !
Спасибо, нужная штука
Слово Бусти прозвучало в 100 раз чаще, чем слово IP-Adapter... Скоро будут давать на Ютуб первые 2 минуты видео, и говорить что если хотите больше - идите на Бусти.
Посмотрел всё видео - такое ощущение, что рекламу Бусти посмотрел
Продолжай!
Вот ip адаптеры без бусти, они открыты для всех и бесплатны изначально. Скачивайте с расширением файла .safetensors или .bin, но придётся переименовать расширение с .bint на .pth
huggingface.co/h94/IP-Adapter/tree/main/models
То что нужно)
На счет бусти, не понял. Модели же в открытом доступе. Поддержать канал конечно дело святое, но лучше конечно для бусти, делать что-то более уникальное) Обычно парни модели делают и лоры обучают, так интереснее как по мне) Или все же есть что-то уникальное, а я не понял? А так канал топ конечно) Удачи в развитии)
Так он ссылки дал где скачать модели под видео и без бусти.
@@DeadlockChaos
huggingface.co/h94/IP-Adapter/tree/main/models
привет, подскажи каналы с обученными моделями или лорами
Круто
thank a lot!
🔑 Boosty с видеоуроками: boosty.to/stabledif
🔥Подписывайтесь на Телеграм-канал: t.me/stable_dif_lesson
📌 Telegram ЧАТ: t.me/stable_dif
✔VK Prompts: vk.com/stabledif
🔴 Курс «От основ, до профессионала» по A1111 : automatic1111.ru
А при чем здесь ссылка на ваш бусти, модели ведь есть в открытом доступе?
👍👍👍
👍🏻👍🏻👍🏻👍🏻
Спасибо за ваши труды! Добавил модели, модели отабражатся в контролнет, после выбора ipadator-а идет "бесконечная загрузка" моделей. Помогите пожалуйста. Что делать?
Большое вам спасибо за видео, как всегда - очень полезное и информативное. Подскажите пожалуйста как вы считаете на ваш взгляд IP-Adapter и Reference only абсолютно одинаково работают как в ComfyUi так и в automatic1111 или всё-таки есть небольшие различия?
Думаю что должны работать одинаково. Единственное различие это общая схема. Не известно как в automatic она устроена. Явно не на примитивном уровне.
Смотрел чисто ради техники замены одежды и лиц, а это в другом видео, да ещё и на бусти. Найс мув, но, пожалуй, обойдусь
привет! слушай я тут переустановила автоматик и скачала почти пустую... другую версию.. а стилей там нету в списке..а хотела ввиде кнопок ее добавить. как ее добавить подскажи
Здравствуйте! Столкнулась с одной проблемой и не знаю уже как ее решить, возможно Вы сталкивались с такой. Я осваиваю ip adapter и скачала файлы для него, какие указывались во многих уроках, переименовывала их в pth. и в .bin, но в окошке препроцессор не появляется как в уроках ip adapter_clip_ sd15. Есть только ip adapter-auto, ip adapter-clip_h, ip adapter_pulid, ip adapter_clip_g... из них хоть что-то делает стандартный ip adapter_auto (стиль передает). Много раз и перегружала и обновляла-ничего не меняется, а для работы очень нужно. Если можете, помогите!
Надо бы упомянуть, что расширение *.bin (если ip-adapter-ы вы качнули на Git-е бесплатно 😉) следует изменить на *.safetensors
В описании есть. Расширение поменять на pth
Там есть и safetensors (который не пашет)
у меня ошибку выдает plus. не хочет генерить этим адаптером. а face генерит.
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument mat1 in method wrapper_CUDA_addmm)
подскажите пожалуйста, что там с __drag your gan__ ???
Подскажите пожалуйста! Контрол обновил, но всё равно у меня вылетают рандомные картинки! Вообще не связанные с сюжетом. Всё делал по вашей инструкции.
Скорее всего в консоле ошибки. Модели расширение имеют pth?
@StableDiff да да pth. А еще один вопрос адаптер работает только с референсами которые были сделаны ии? Может в этом проблема, что когда пытаешься сделать допустим с Иллюстрации сделанной не ИИ получается откровенно ерунда. Вот у вас пример с инопланетянином допустим. Я пытаюсь совместить два фото и у меня на выходе получается какая-то баба-алкашиха с чемоданом=))) Ну что к чему, там на нее и намёка не было😁
а вот менять одежду или конкртеную часть тела с помощью ип-адаптера - это идея. кстати, вместо дет-мапс можно позы тоже использовать и что лучше будет?
Позы не привязаны к форме в отличие от Depth. Но работают также хорошо.
На мак м1 так и не могу заставить работать. Все устанавливается, все включается, но эффекта нет. В консоли пишет что-то, но победить не смог
Большое спасибо. CINEMA 4D больше не нужна.
Я хз, что не так с этим ip-adapter...впервые за всю историю моего взаимодействия с SD вижу штуку, которая не работает...просто ноль...
PS: Не качайте Safetensors...исправил
Привет. Спасибо за полезные видео. У меня такое чувство Ending Control Step вообще не работает. Понизил до 0.5, так результат такой же как и при 1... 😵😕
Все скачал и установил согласно инструкции, но айпи адаптер с контролнетом не работает. Ничего не смешивается и не генерится по картинке. В чем может быть причина? Кстати, контролнет у меняне 1.1.411, а 1.1.415 - может поэтому?
-
в консоли пишется ошибка cannot import name 'load_file_from_url' from 'modules.modelloader' (E:\INSTALL\stable-diffusion-webui-master\modules\modelloader.py)
В телеграмме в разделе технические вопросы сегодня говорили об этом py файле полистай. Я не вчитывался
@@StableDiff спасибо. Обновил modelloader, как советовали в телеге - все заработало 👍🏻
А эти модели должны быть с расширением bin?
Нет. Должны быть как в видео. Просто переименуйте их.
Как на картинку добавить другую кар тинку с надписью, в моем случае, сидит человек за столом, а сзади него картина, вот в эту картину я хочу вставить свой рисунок и текст, как это сделать, я уже замучался, искать это решение, получается только просто рандомное изображения там создать
@@havemoney обрисовывал, но не могу туда поместить именно то что мне нужно, а не рандомный ресунок, рандомный рисунок добовляет
импаинт в вотошопе или img2img ?
У Христа на канале эти адаптеры бесплатно на Хаггинфейсе.
Авторы IP-адаптера ссылаются постоянно на ClipVision и модель для него, также на Image Encoder. Нужно ли это всё или достаточно скачать модели для ControlNet?
Нужно обновить ControlNet и закачать модель ip-adapter
@@StableDiffЮрий прав, ClipVision он же Image Encoder тоже нужен для работы IPadapter.
В a1111 webui он как препроцессор докачивается в папку annotators.
Да где же там, на Бусти вообще файлы для скачивания? там одни видео. В вашем Телеграмм канале тоже не знают, где на бусти лежат файлы, говорят искать в самом т. канале, а там все смешано, не понять, что к чему относится..
Подскажите пожалуйста, почему может показывать ошибку "AttributeError: module 'torch.nn.functional' has no attribute 'scaled_dot_product_attention'" при использовании адаптера?
Други модели ControlNet работают? Например модель tile
Та же беда. Все работает кроме IP адаптера. Врзможно надо обновить питорч на 2.0 версию. у меня не получилось
другие модели работают. может связано с тем что портативный стейбл дифьюжн?@@StableDiff
@@vikiperm Такая же проблема! ControlNet обновил - все работает кроме IP Adapter! Портативка
@@vasiliyivanishvili9025у меня портативка и работает...
И поч я не был подписан на канал, хотя не раз смотрел видосы? Тут человек явно понимает о чём говорит и делится достаточно сложными и интересными практическими идеями, а не просто "нагенерим красивые картинки*)
Control weight влияет на силу ip адаптера.
Влияет. Работает как смесь референса и промпта
у меня stable-diffusion-webui-directml и IP-Adapter вообще не работает
я почему-то не могу сделать предпросмотр в препроцессоре depth, подскажите в чём может быть причина?
Была такая проблема. Решилась после переустановки автоматика.
@@StableDiff дважды переустановил. Работает но не полностью, понять не могу что не так делаю. Устанавливаю с сайта разработчика. По ссылке через cmd. Pyton 3.10. Git есть.
Платить за то что лежит на хаги дожили..
Автор разместите видео обращение с ответом, почему не публикуете ссылки на авторов моделей.
Для Про может это ок; для меня - очень интересно, но ничего не понятно.
закинул файлы в модели контрола, запустил СД и у меня не появился желанный Ай пи адаптер, почему? :(
Ip adapter должен присутствовать не зависимо от моделей. Обновите ControlNet до 1.1.411
@@StableDiff , обновился сразу до1.1.415, всё появилось, спасибо!
Не пойду, что бы я не делал картинка генерируется рандомная, совсем не учитывается IP-Adapter. Он включен и все как в видео делал.
это каЕф
"Вот такой вот направляющий объект" Это Юрий Гагарин
@@kritegg знаю конечно. Для меня герой. Пытался без имён, технически выражаться.
Какая же жлобская натура... несколько коментариев стер с отсылкой на бесплатное скачивание моделей на хаггин фейс. Это ж не его модели! автор моделей выложил их бесплатно, а тут жажда на ком-то заработать
файлы закинула, а адаптер не появился в контролнете(((
Нужно обновить ControlNet. Возможно ещё и автоматик придется обновить.
обновила, но не гугу( ладно... у меня портабл от Хачатура, так что видимо никак@@StableDiff
че то у меня не работает. другие модели работают а IP нет (
Получилось решить?
@@kanagawa7d да, спасибо, проблема была в файле modelloader.py
И почему люди не красоту и Ангелов стараются изобразить, а как-то окрасить демонов изображения стараются? Неужели только демонизируя кого-либо, испытывают чувство типа это прекрасно......?
Вы ещё небыли в нашей ветке 18+ в телеге. 😀 Всех под одну гребёнку не загонишь.
Что за развод с бусти?)) Эти модели ip-адаптера есть на higging face в общем доступе. Нехорошо продавать чужое.
Ссылка на haggingface для скачивания моделей есть в описании к видео. Вы можете их скачать бесплатно. Я продаю на boosty обучающий материал.
А отсылки к huggingface на авторов уже не публикуем? Очень некрасиво.
Это не IP-Adapter. Это IP-Plagiapter.
Как бы Вы это не называли, суть не меняется.
IP это Image-as-Prompt.
Adapter - это компонент преобразующий данные из одного представления в другое.
То есть, с помощью этого инструмента, изображение можно использовать как подсказку(промпт).
А в каких целях используется инструмент, это уже зависит от конкретного пользователя.
Можно любой предмет со своего фото в качестве референса использовать и получить очень интересные результаты в которых есть своя эстетика.
а откуда доставать негатив инверсии?)сказали что доступны)но в каком меню?))
Держи дизлайк. А если нужен лайк, можешь скачать его на моём бусте
Вам совсем не стыдно навариваются на том что вам дают бесплатно?
Авторы моделей наблюдают, а однажды выкатят из за вас подписку.
Прекращайте шакалить! Не нравится идите на завод.
За контент спасибо, но жалобу на канал оставил, и авторам моделей написал.
круто, но у всех стоит же уже 1.7
За бусти палец вниз!!!!
Поддерживаю! Это все бесплатно но у автора за деньги!
Тут скорее диз за то что умолчал в видео о цене. Сказал бы сразу что адаптеры можно забрать только платно и претензий никаких. А так заходишь такой чтоб скачать, а там "давай-ка регистрируйся и плати!". Обидно однако.
@@fictandantilus у меня новый ControlNet и там адаптеры и модели бесплатно уже встроены, вообще ничего не пришлось докачивать
Присоединяюсь, и ссылок на авторов не оставляет.
@@fictandantilus Ну или линки бы приложил, скачать не проблема а поступок как плевок в лицо сообществу.
Короче, не работает нифига. Не встречался с таким? "AttributeError: module 'torch.nn.functional' has no attribute 'scaled_dot_product_attention'"
Расширение моделей pth?
@@StableDiff да
В контрлнете зачок айпи-адаптера появился
@@havemoney про amd сказать ничего не могу. У меня Nvidia.
@@havemoney Nvidia