Flux Lora - ControlNet - IPadapter - GGUF - NF4 | Forge - ComfyUI
ฝัง
- เผยแพร่เมื่อ 23 ก.ย. 2024
- Flux on Forge and Comfyui. In this video you will learn how to connect Flux Lora, Flux ControlNet, Flux ip-adapter. You will see how the Flux GGUF, NF4, FP8 models differ. You will get acquainted with the universal comfyui Flux scheme with the ability to switch Flux and GGUF models, as well as connecting LORA, ControlNet and ipadapter. The scheme is optimized for the lowest video memory consumption. Upscale Flux Forge. Inpaint Flux Forge.
Menu
01:17 - Comparison of GGUF NF4 FP8 by speed and VRAM
03:31 - How to connect GGUF in Forge
07:46 - Flux settings
10:07 - Connecting LORA
10:46 - Upscale Flux
12:55 - Inpaint Flux
14:22 - ComfyUI scheme - installation
16:26 - Where to put the models
18:48 - Why there is no NF4 model in the scheme
20:16 - ComfyUI scheme overview
22:21 - Flux ControlNet
24:55 - Flux Ipadapter
25:42 - Common errors
27:06 - How to connect the NF4 model yourself
27:55 - If the LORA node is not installed
🔥 Course on "AUTOMATIC 1111 / Forge" with my support on the website stabledif.ru
🔥 Course on "ComfyUI" with my support on the site stabledif.ru/c...
🔑 All links and files are available on Boosty:
boosty.to/stab...
✔️Telegram channel: t.me/stabledif...
✔️ Telegram CHAT: t.me/stable_dif
✔️VK Prompts: stabledif
🔥 Курс по "AUTOMATIC 1111 / Forge" с моей поддержкой на сайте stabledif.ru
🔥 Курс по "ComfyUI" с моей поддержкой на сайте stabledif.ru/comfyui
🔑 Все ссылки, файлы, модели и схемы на Boosty:
boosty.to/stabledif/posts/4b6fc3d4-f7b5-4d6b-819e-7ce8f2728aba?share=post_link
а где скачать ноду лоудернф4? у меня в поиске нет(
@@mixlu5467 github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
@@mixlu5467 NF4 устарело в пользу GGUF скорей всего обновятся не будет. на гите написано.
Про информативность уже все сказали, но отдельно я обожаю вашу спокойную манеру речи, так умиротворяет
Слишком умиротворяет, я засыпаю просто. Вот когда Хачатур делал туторы - было норм, потому, что орал громко, это бодрило))
Класс! Это именно то, что было мне нужно!
Даже про окошко с Лорой!
Олег - респект!
Чуть помедленнее можно в следующий раз) Уже не успеваю за Вами(
play speed to 0.75
@@TheMaxvin)))
Если у вас не хватает видеопамяти, надо не понижать бегунок, а просто в swap location переключить с CPU в Shared. Тогда часть памяти уйдет в ram. Благодаря этой кнопке у меня пропали ошибки о нехватке видеопамяти. Я смог делать апскейлы под 16К, а на видяхе у меня всего 8gb
ram это как раз на режиме CPU. A Shared - общая память гп
Наконец то я понял зачем GGUF) Cпасибо!
Привет! Но только не Чнел, а Шнел (или Шнель) от Немецкого Шнелле (быстрее), еще по старым советским фильмам помню как там фрицы говорили - Шнелле Шнелле хусищен ш....
Да когда же вы успеваете все? Не угонишься😎. Спасибо🙏
Крутая схема от профи!
Оо, огонь. Крутая инфа, как раз посмотрел урок 3.4. жду подтверждения домашки))
Спасибо огромное.
Олег,респект Вам
Я таким людям при встрече руку жму отдуши по-братски
nf4 на 3060 12GB в фордже без проблем работает. Фордж вообще переваривает на 12 гигах sdxl+3 контролнета.
Когда брал 12 гиговую 3060 для работы, все удивлялись - нафига переплачиваю)
у меня 3070 и 8gb памяти, и она прекрасно крутит NF4, а GGUF пробовал - она ощутимо медленнее в forge работает... Кстати NF4 даж на ноуте с 2060 и 6gb памяти норм пашет.
У меня на 1080Ti 11Gb тоже всё прекрасно работает. Даже есть запас видеопамяти. Ставлю ей ограничение в Фордже до 10 Гигов использовать, а использует где-то 8,8.
У меня в фордже (в вашей сборке) пропадает панелька с VAE когда выбираешь в панельке UI - xl или flux, а в SD - VAE на месте. Как принудительно панельку VAE включить?
То была старая версия, там еще этого не было, нужно обновиться. Но вот после очередного обновления пару дней назад, у меня перестала работать вся эта связка: GGUF, Clip_I, T5, ae. Выдает ошибку, хотя прекрасно работало. Пока не разбирался в чем именно проблема, просто предупреждаю, ждем пока починят. Кстати до этого был полностью сломан SDXL (не работал вообще), потом починили. Тут видимо подобное случилось.
жаль controlnet'а так и нет пока на forge(
Вопрос немного не по теме Flux-а.
Control net (IP-adapter) для XL моделей сейчас вообще не работает, на последней сборке, и остается только подождать? Или Контрол не работает только с флаксом и тогда стоит, просто, поискать старые модели для процессоров?
над было обновления отключать), все выкачал бы и сидел оффлайн не парился. скоро вам старый контрол нет по подписке будут продавать, а фордж вообще отменят ибо нех нищебродам, на завод)
Всё это очень интересно с Flux. Но я жду, когда они сделают возможность использования ControlNet с ним. А то пока в плане применения он уступает для меня другим моделям. Всё получается красиво и точно, согласно подсказке. Но нельзя жёстко контролировать позу и прочие параметры.
А ещё мне не нравится, что и XL и Flux не могут сделать нормальный Full shot. Они вечно всё рисуют крупным планом. Может есть какой-нибудь другой токен, чтобы заставить их рисовать общим планом, в полный рост?
Попробуйте full body view
дев флакс не следует подсказке ничерта. просто красивая картинка но не то что в промте указано часто.
@@sankyuubigan ну не скажите. Я вот в выходные много разных промптов попробовал и понял, что в чём-то он более чётко понимает, чем прошлые поколения моделей, но в чём-то также делает косяки.
К примеру, когда пишешь girl, он рисует именно девочку. Когда пишешь women, рисует женщину. Модели 1.5 на girl спокойно женщин рисовали. А тут он прямо чётко соответствует промпту. Но в плане общего плана, а также разных сложных задач Flux очень плох. Также он не правильно рисует знаменитостей. Когда вписываешь имена, то получаешь совсем не похожего на них персонажа. При том, что даже 1.5 всегда рисовала знаменитостей спокойно.
Ну а доспехи, киборги, роботы - это вообще кошмар. На Flux они все максимально скучные и однообразные. Хотя в 1.5 в отдельных моделях были просто шикарные результаты.
Если вкратце, в чем преимущество Комфи и Форджа перед проверенным А1111 с кучей расширений?
Можно сравнивать Forge с A1111. Комфи другая религия.
@@TheMaxvin ок, допустим. Что лучше по скорости генерации и функционалу - форд или автоматик?
@@SonegPanasoneg Forge проворнее
@@TheMaxvin но по функциям и расширениям уступает автоматику, насколько я понял из обзоров…
@@SonegPanasoneg Если видеокарта мощная, то лучше использовать Автоматик из-за функциональности. По скорости не будет разницы. Но если видюха 8 гигов и ниже, то Forge работает намного шустрее на новых видеокартах, поддерживающие тензорные ядра. (4060 и т.д.). Так что Фордж имеет место быть для 6-8 гиговых карточек на тензорных ядрах.
Как запустить Flux модель на видеокарте AMD? (к примеру 6750xt). Или пока нет рабочих моделей? Использую ZLUDA и Forge
Зачем ты купил это поделие от амд надо было брать либо 3090 или 4090 подороже с кудой. Я купил 3090 и народаваться не могу
@@romanioamd5319 сказал чел с "amd" в нике...
у кого какая скорость генераций? я пробовал только в comfy стандартную модель на 3060 12 гб. - 2 минуты генерится 1 картинка...
будет ли прирост в forge и GGUF ?
Стандартная модель шлак это как базовая модель SDXL, качай прокаченную модель DEV Q4-Q8 и будет быстро генерить, у меня такая же видеокарта с лорой в этом рабочем процесе Acorn DEV FP8 генерит 1024x1024 за 1.29 минут и секунд. Forge вообще мусор даже нет смысла там генерить.
Что ты хотел на видеокарте начального уровня, кастрате для нормальной работы нужна либо 3090 или подороже 4090.😂😂😂
Попробуй NF4 v2 и GGUF - будет точно быстрее чем FP8
В forge на этой карте генерит в schnell 30 секунд, в стандартной Dev 1:30
Я новичок в теме. У меня 12 ГБ видеопамяти, использую forge+flux+fp8. Есть ли смысл переходить на comfy и fp8.gguf?
Что за видеокарта?
@@valerkakushal 2080ti
@@Aimkrad она в память будет быстрее грузиться, по скорости так же
Лучше тебе nf4 использовать или попробуй q6
@@valerkakushal мне нужно Лоры использовать
@@Aimkrad q6 и ниже
С 8гб видеопамяти о Fluxe можно забыть?
У мея фордж стоит на ноуте, там видюха rtx 3060 6gb. Не быстро, но работает.
у меня запускается с 8gb на forge. Просто долго фурычит - по 10минут на одну фотку уходит
@@electron252 Понял, спасибо. Очень жаль, ибо 10 минут это не работа, побаловаться только. Значит продолжаю сидеть на 1.5 и SDXL
3070 на 8 гб,в forge на schnell 27 сек на 1 картинку
@@Аха_Ё О, это гораздо лучше. А DEV модель не пробовали?