스테이블 디퓨전으로 말하는 AI그림 만들기(Creating talking AI pictures with SadTalker in Stable diffusion webui)

오늘도 재미난 영상을 담아봤습니다. 바로 제가 말하는 AI 그림을 제작할 수 있었던 방법을 보여드릴 건데요. 어떻게 세팅하고 하시면 되는지 차근차근 알려드려요.
[ 설치 링크 ]
스테이블 디퓨전 : github.com/AUT...
SadTalker : github.com/Ope...
SadTalker 다운받아야 하는 모델 : github.com/Ope...
현재 최신버전으로 스테이블 디퓨전에서 SadTalker 플러그인 설치를 진행하게 되면 오류가 발생하는데요. 이 오류들을 해결하고 정상 구동시키는 방법도 알려드려요.
[ 요구 컴퓨터 사양]
작업환경은 Apple M1/M2 보다는 리눅스/윈도우 환경의 NVIDIA 그래픽 카드가 장착된 데스크탑 컴퓨터를 권장드립니다.
맥에서 기본적으로 CUDA 지원이 안되고 GPU가속도 없이 깡 CPU로만 돌리게 되서 그렇습니다.
( SadTalker에서 십만원대 GTX1060 6GB에서 5분 걸리는 작업도 수백만원에 달하는 M2 PRO에서 1시간 이상 오래 걸려요.. )
그러니 맘편히 하실려면 NVIDIA 그래픽 카드가 장착된 컴퓨터가 반드시 필요하고 요구스펙은 다음과 같습니다.
CPU : 최소 하스웰 아키텍쳐 이후 세대의 듀얼코어 이상 CPU, 4코어 이상 CPU 권장.
RAM : 8GB 이상의 메모리 권장
운영체제 : 윈도우 10/11, 리눅스
그래픽카드 : 최소 GTX1060 6GB 이상, RTX 20 라인업 이후 11GB 이상 VRAM GPU 권장
[ AI 입문용으로 추천 드리는 그래픽 카드 ]
가끔씩 그래픽 카드 문의주시는 분들이 계시는데요.
전문가용 고가의 그래픽 카드는 제외하고 입문자~중급자 용으로 권해드리면,
게임과 유튜브 4K영상편집 등 그래픽 작업 및 스테이블 디퓨전, 각종 AI 모델들을 내 컴퓨터에서 너무 답답하지 않을 정도로 돌릴 수 있는 제품인데요.
가격대비 VRAM도 넉넉한 12GB 를 가지고 있고 딥러닝 공부를 위한 입문용으로도 가성비가 있는 그래픽 카드입니다.
참고링크 : link.coupang.c...
"해당 링크로 구매시 제휴계약으로 인해 일정액의 수수료를 지급 받을 수 있습니다.
다만, 종종 가격 변동이 있어서 항상 최저가를 보장하지는 않으니 필요하신 분은 가격비교를 통해 합리적인 가격일 때 링크를 통해 사주시면 저도 콘텐츠를 제작하는데 힘이 될것 같습니다 "
그럼 말하는 AI그림 만들어보시며 즐거운 시간 되세요.^^
다음에도 유익한 영상을 준비해오겠습니다. 구독과 좋아요는 제게 큰 힘이 됩니다.!
I recorded a fun video today as well. I'm going to show you how I was able to create the AI ​​painting I'm talking about. I will tell you step by step how to set it up and do it.
Currently, an error occurs when installing the SadTalker plugin in Stable Diffusion with the latest version. I will also tell you a solution to operate without error.
For the work environment, we recommend a computer equipped with an NVIDIA graphics card in a Linux/Windows environment rather than an Apple M1/M2.
#ai #stablediffusion #talkingpictures

[@김선동-z5d]

2주동안 gpt와 유튜버 사이트 돌아다니다가 거의 포기상태였는데 해결되었네요 ^^

[@외국어로말해볼까]

안녕하세요.. 영상에서 설명 그대로 변경 하였으나 계속 같은 에러 발생 합니다
저는 stable-diffusion-webui-forge 사용 중인데요 이 버전 때문 일까요?
*** Error executing callback ui_tabs_callback for C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\extensions\SadTalker\scripts\extension.py
Traceback (most recent call last):
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\modules\script_callbacks.py", line 183, in ui_tabs_callback
res += c.callback() or []
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\extensions\SadTalker\scripts\extension.py", line 172, in on_ui_tabs
from app_sadtalker import sadtalker_demo
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\extensions\SadTalker\app_sadtalker.py", line 3, in
from src.gradio_demo import SadTalker
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\extensions\SadTalker\src\gradio_demo.py", line 6, in
from src.generate_batch import get_data
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\extensions\SadTalker\src\generate_batch.py", line 8, in
import src.utils.audio as audio
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\extensions\SadTalker\src\utils\audio.py", line 1, in
import librosa
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\venv\lib\site-packages\librosa\__init__.py", line 211, in
from . import core
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\venv\lib\site-packages\librosa\core\__init__.py", line 9, in
from .constantq import * # pylint: disable=wildcard-import
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\venv\lib\site-packages\librosa\core\constantq.py", line 1058, in
dtype=np.complex,
File "C:\Users\Administrator\Desktop\Data\Packages\stable-diffusion-webui-forge\venv\lib\site-packages
umpy\__init__.py", line 338, in __getattr__
raise AttributeError(__former_attrs__[attr])
AttributeError: module 'numpy' has no attribute 'complex'.
`np.complex` was a deprecated alias for the builtin `complex`. To avoid this error in existing code, use `complex` by itself. Doing this will not modify any behavior and is safe. If you specifically wanted the numpy scalar type, use `np.complex128` here.
The aliases was originally deprecated in NumPy 1.20; for more details and guidance see the original release note at:
numpy.org/devdocs/release/1.20.0-notes.html#deprecations

[@rgbitcode]

안녕하세요. 사용하시는 web-ui가 다르니 소스코드가 달라 다른 부분에서 문제가 있을 수 있을 것 같네요. @lllyasviel/stable-diffusion-webui-forge 이걸 사용하신 것 같은데, 이 버전으로도 제가 나중에 세팅을 한번 해보며 오류해결방법을 찾아볼테니 우선 제가 링크한 web-ui 로 해보시겠어요?

[@mountainhat]

forge의 경우 1.8이상의 버젼을 사용하고 있습니다.
Sadtalker의 경우 1.7버젼에서 정상작동하고 있으므로 그 이상에서는 업데이트가 되지 않아서 정상 작동하지 않습니다.
방법은 1.7버젼으로 다운그레이드 하시거나 구버젼인 1.7버젼을 SadTalker용으로 새로이 다운로드하셔서 Sadtalker를 설치하여 사용하시면 됩니다.