Whisper 사용법 - AI로 음성, 동영상을 텍스트로 받아쓰기 (colab 실습 노트북 포함)
ฝัง
- เผยแพร่เมื่อ 21 ก.ย. 2024
- OpenAI의 오픈소스 STT 인공지능 모델인 위스퍼 활용방법을 다룹니다.
음성이나 영상 파일을 바탕으로 받아쓰기를 해서 자막이나 텍스트로 변경하는데 활용할 수 있습니다. 오픈소스로 무료이며 성능은 최고입니다.
저는 유튜브 자막을 만들 때 활용하고 있습니다. 유료 자막을 대체할 만큼 성능이 좋습니다.
실습 구글 콜랩 노트북 : colab.research...
실습에 활용할 수 있는 음성 파일
짧은 버전 : drive.google.c...
긴 버전 : drive.google.c...
고맙습니다. 차근 차근 해보니 잘 됩니다.
우와 감사합니다. 신기하네요. 좋은 자료 감사합니다👍
감사합니다
동영상 설명 중에 오타가 있었네요. 번역 파라미터는 --task translate 입니다. 이렇게 하면 영어 자막이 생성됩니다.
짧은 파일 여러개 한꺼번에 하려면 어떻게 하나요? 파일이름 뒤에 콤마를 찍어서 나열하나요?
이럴경우 명령어가 어떻게 되는지 상세히 좀 알려주세요...
위스퍼 명령어 자체는 하나의 파일만 transcript 가 가능합니다.
여러 파일을 처리하려면 파이썬 for 문을 만들어서 돌려야 할 것 같습니다.
@@tilnote 짧은 파일 여러개를 하나하나 하려니...너무 피곤해서요... 제가 코딩을 잘 모르는데...
파이썬 for문을 코딩으로 짜주시거나... 어떻게 해야하는지 자세히 좀 알려주시려면 ...너무 귀찮은 작업일까요?
안된다면 하는 수 없고, 된다면 부탁 좀 드릴께요...
님이 올려주신 것만으로도 만족해요... 근데, 인간이라는게 조금더 편하게를 찾게 되네요 ㅠ.ㅠ 지송요~~~
다음과 같이 해보세요.
from google.colab import drive
# 구글 드라이브 마운트
drive.mount('/content/gdrive')
# 파일 경로 리스트 (여러 파일 경로를 지정해 줍니다.)
filepaths = [
'/content/gdrive/MyDrive/your_audio_file1.mp3',
'/content/gdrive/MyDrive/your_audio_file2.mp3',
'/content/gdrive/MyDrive/your_audio_file3.mp3'
]
# for 문을 사용해 각 파일에 대해 동일한 작업 수행
for filepath in filepaths:
# whisper 명령어 실행
try:
print(f"Processing {filepath}")
!whisper "{filepath}" --language Korean --model large
print(f"Processing {filepath} completed.")
except Exception as e:
print(f"An error occurred while processing {filepath}: {e}")
@@tilnote 제가 할 수 있을까 모르겠네요...ㅎㅎ..
이걸 어디에 붙여 넣을지도 모르는 지라.... 눈치로 함 해볼께요...
잘 안되면 또... 질문을 할 수도 ...될수있음 안할께요...
귀찮으실텐데 알려주셔...감사합니다~~~
@@tilnote 성공했어요....감사합니다...ㅎㅎ
님 말씀대로 large 만 해도 v3 업이 되나여?
왠지 자막 질이 v3급이 아닌것 같아서요... v3로 업됐다는 메세지도 없는것 같구..ㅠ.ㅠ
네 제가 알기로는 large 만 입력해도 v3로 연결됩니다.
whisper audio.mp3 --model large-v3
이런식으로 지정하셔도 될거에요.
@@tilnote 이렇게 쓰나요?
--language Korean whisper audio.mp3 --model large-v3
Korean 과 whisper audio.mp3 사이에 짝대기 두개 -- 이런건 안들어가나요?
@@yoref-j4t ! whisper '/content/gdrive/MyDrive/youtube/linus.mov' --language Korean --model large-v3
이렇게 하시면 됩니다.
영어로 말하는 영상으로 영어자막을 만들고 싶은데 이 경우 어떻게 하면 되나요?
--language Korean 이거를 --language English 로 바꾸면 되나요?
네 맞습니다. 그렇게 하시면 됩니다.
openai whisper api를 사용해서 mp3 를 자막으로 만들어보았는데, 이상하하게 timeline 이 안 맞는 구간이 발생합니다. 혹시 이런 경험이 있으신지요? 네이버 클로버에서는 문제 없이 생성되고, Amazon Transcribe 에서도 문제가 없는데, 유독 whisper 에서만 timeline 과 텍스트 싱크가 안 맞는 구간이 나옵니다.(물론 잘 맞는 구간도 있습니다.) 번역 텍스트는 vtt 로 하였습니다.
그러셨군요. 저도 최근까지 위스퍼 너무 잘쓰고 있습니다.
그런데 요즘 가끔 타임라인 싱크가 안맞는 경우가 있더라구요.
저의 경우는 영상에 올려보고 너무 시간이 안맞는 경우 다시 생성하는 방식으로 대처하고 있습니다.
OpenAI에서 위스퍼 계속 지원해줬으면 좋겠네요.
구독백만번 좋아요이백만번 찍고. ㅋㅋㅋ
MP3파일은 스크립트제작안되나요?
MP3오디오파일 스크립트제작방법알수없을까요?
mp3 오디오 파일도 지원합니다. wav, flac 등 다 지원됩니다.
음성파일 말고 영상 파일 400메가정도 짜리 마운트 했는데 왜 위스퍼눌렀는데 진행이 안되고 느낌표와 빨간색이 뜰까요?
이전 과정들을 눌러서 실행했는지 확인해 보시고 특히 파일 경로를 한번 확인해 보세요.
@@tilnote 파일 꼭 유튜브경로 거쳐야하나요? 그냥 my drive에 바로 넣었는데
@@doogy777 그러면 youtube 경로를 빼시면 될거 같아요. 경로명을 맞게 수정하시면 됩니다.
@@tilnote 오 파일유형을 생각해보니 mp4인데 mov로 하고있었네요 감사합니다 근데 그렇게 해서 위스퍼했는데 100프로만 나오고 글이 아무것도 안뜨는데 왜그런걸까요?
이건 새파일 변환하려고 할 때마다 전 과정을 다시 돌려야 하는 건가요? 아니면 어디서 부터 수정해서 진행해야 할까요? filepath 부분부터 수정해서 다시 실행했더니 오류가 납니다.ㅠㅠ
세션이 남아있다면 whisper 부분만 다시 돌리면 됩니다. 브라우저를 끄거나 시간이 오래지나면 처음부터 돌리면 됩니다.
filepath 부분 잘 수정해주시구요. 안누른거 없나 살펴보세요.
@@tilnote 알려주셔서 감사합니다!!
실행했는데 자막 제공 및 자막 제공 및 광고를 포함하고 있습니다라는 텍스트만 나오는데 무슨 문제일까요?
꼬였을 때는 다시 생성해 보세요.
잘되는부분은 잘되는데 갑자기 아예 상관없는 자막이 몇분간 쭉 달리는건 어떤오류인가요?
저는 그럴 때는 다시 생성하고는 해요.
@@tilnote 걍 한번씩 맛가는거군요.. 알겠습니다. 잘써볼게요
베트남어 잘 안돼는데 . 구독하고 갑니다 . 방법좀 부탁합니다
--language Vietnamese 처럼 input 언어를 베트남어로 지정해 보세요.
코렙은 유료로 사용해야되는건가요?
코랩 무료로도 충분합니다.
감사합니다 구독하고 가요~