SDXLでLoRA学習 トリガーワードを選ぶポイントは？【Stable Diffusion web UI】
ฝัง
- เผยแพร่เมื่อ 15 มิ.ย. 2024
- SDXLモデルが普及してきました。当チャンネルのZちゃんも最近流行りのモデルをベースに学習しなおします。学習は画像を準備するのがたいへんだったり、学習の設定がわからなかったり、最初の敷居がとても高いですよね。画像にキャプションをどうやって付けたらいいのか？イメージできなかったりします。具体的にキャプションで使うタグを紹介しどんな考えで単語を選ぶか解説します。
アマゾンでグラフィックボードを選ぶ
amzn.to/3UOVYNF
bmaltais / kohya_ss
github.com/bmaltais/kohya_ss
toshiaki1729 /dataset-tag-editor-standalone
github.com/toshiaki1729/datas...
ANIMAGINE XL 3.1
huggingface.co/cagliostrolab/...
CivitaiのモデルやLoRAを簡単に使う拡張機能 sd-civitai-browser【Stable Diffusion web UI】
• CivitaiのモデルやLoRAを簡単に使う...
初めての LoRA 追加学習【Stable Diffusion web UI Extension sd-webui-train-tools】
• 初めての LoRA 追加学習【Stable ...
チャプター：
00:00 イントロ
00:17 まえおき
01:14 kohya_ssの準備
02:34 キャプションの付け方
06:14 学習
07:06 学習結果
09:39 まとめ
#stablediffusion #aitraining #animaginxl - วิทยาศาสตร์และเทคโนโลยี
凄い再現度！とても見事な学習ですね！
この非常に有意義な動画の作成のために費やされた労力を思い、Signal Flag Z先生に深く敬意を表します。
生成AIとクリエイターの関係は現在とてもこじれてしまっていますが、
この動画を見て判ったのは、LoRAを含めた生成AIの技術が漫画等の一部の産業用途に通用しうる性能を持っているということです。
この技術は多くのクリエイターにとって福音となりうるでしょう。
Zちゃんを迎えてから まともな動画にするまで時間がかかってしまいました。描くのが面倒なアクセサリーやモブに利用されている漫画家の方もおられるようですね。自分の絵を学習させる時に、完成レベルではなく下絵のレベルを学習させるとまた違った発想ができるのではないかと妄想しています。
初めましていつも参考にさせてもらってます！質問なのですがcivitaiとかで良く複数のトリガーワードを分けて置いてるｒｏｒａがありますがあれはどうやって作成してるんでしょうか？ わかる範囲でいいのでもし知ってたら動画かコメントで教えてくださるとうれしいです。
コメントありがとう 二人のキャラを同時に学習とかしてみたいですね 基本は一人と変わりません 学習は画像とそのキャプションを関連付けるだけです 二人の特徴をキャプションで明確に書き分けていれば学習できます
@@SignalFlagZ なるほど！！あれは2_~みたいなのを２つのフォルダーを用意してるわけなんですね！！ 相当メモリー使いそうですね。。。
私もエンブレムというと自動車のメーカーロゴを思い浮かべてしまいます、英語だと別の意味があるんでしょうね。
patch armory insignia など 日本語にしても区別付かなかったりするので ベースモデルの学習でのタグを知らなければより正確な学習はできそうにないんですよね。
Data set tag editerにタグをつけさせてから、学習させたいタグを消す方法とは違うんでしょうか？
初期のLoRA学習の解説記事には ”学習させたいタグを消す” という表現が使われていますね。学習はタグと画像を関連付ける作業です。タグを消すとAIが知らないタグに関連付けられます。タグが何だかわからない段階の人が学習させるなら余計なタグを書かないほうが学習の成功体験を得やすいです。タグを消さなければAIが知っているそのタグの概念を上書きします。タグを消さずに残して学習し画像生成時にそのタグを指定しなければ、学習したタグに関する影響が画像に出にくくなります。つまり生成時に描くか描かないかを選択できる、さらに修飾語によりタグの影響を制御できます。制御と言ってもプロンプトに従う確率が高くなるという程度ですけど。
SDXLベースだと1.5とくらべてかなり知ってる概念が多いのでかたっぱしからタグ付けするのが主流ですね
@@Y3uuBTs3Hr6nMi8ry8s 概念はSDXLの方が少なくなっているかもしれませんよ。学習に使える画像の制約が増えていますから。
タグ付けしてないLoRAは出力時のコントロールが効きにくいので人気が出ないせいかもしれません。同じ様な絵ばかり出るLoRAはつまらないですよね。
ご回答ありがとうございます！
難しいし奥が深いですねー。
Zちゃんという人物を学習させていろんな衣装やポーズやシチュエーションに対応させるためなんですね。Zちゃん本人はタグzchanに集約すると。
逆に特定の衣装や特徴やアイテムだけを学習させるにはそれを指しているであろうタグだけを消して概念を上書きさせるということですね。
つまりLoRAは全てを学習していてタグで何を画像に出すかコントロールするということですね。
残したタグを省いたものを学習するというイメージをなんとなく持ってしまっていたので混乱したのかもしれません。
p,s,毎回興味深くて面白い動画をありがとうございます。