Автоматизация задач с Python #1: длительность видео
ฝัง
- เผยแพร่เมื่อ 16 ก.ย. 2024
- Мои курсы:
Boosty:
boosty.to/omol...
Patreon:
/ karty-vsekh-41011404
Скринкаст о том, как написать скрипт, вычисляющий длительность всех видео файлов в папке.
Содержание:
- рекурсивный поиск всех файлов в папке (os.walk())
- запуск сторонних программ (ffprobe/ffmpeg) из скрипта Python и получение их вывода (работа с модулем subprocess и классом Popen)
- немного о работе в терминале (перенаправление вывода, создание alias'ов для команд, как запускать Python-скрипты как команды)
Двигаюсь маленькими шажками.
Рассчитано на новичков.
Исходный код серии доступен в Patreon:
/ 30834965
Курс по парсингу сайтов (карта):
/ karta-kurs-na-30462246
Очень полезный канал по питону. Лучший, который я видел. Объясняется довольно подробно и при этом лаконично, без воды, а не так чтобы хотелось отключить на половине видео от скуки или от ощущения, что видео создали в основном для того чтобы изнасиловать твои уши и глаза.
Пользуюсь ютубом с детства, но комментарий оставляю в 1е. К сожалению, задонатить нету возможности. Попытаюсь поддержать хотябы так
Спасибо вам за отзыв
Олег, спасибо за ваш труд. Предлагаю немного переработанный вариант. Работает одинаково хорошо и на Windows, и на Linux.
Для Windows имя файла берём в двойные кавычки, для Linux'а - экранируем ряд символов.
В функции main указаны два способа выделения файла из пути, оба платформо-независимые.
Всем удачи!
[code]
#!/usr/bin/env python3
import os
import subprocess
video_extensions = ['mp4', 'avi']
def get_videos() -> list:
videos = []
for root, subfolders, files in os.walk(os.getcwd()):
for file in files:
if file.split('.')[-1] in video_extensions:
videos.append(os.path.join(root, file))
return videos
def get_ffprobe_output(filename: str) -> int:
if os.name == 'nt':
filename = '"' + filename + '"'
else:
for char in ' ()[]{}':
filename = filename.replace(char, '\\'+char)
cmd = 'ffprobe -i {} -show_entries format=duration -v quiet -of csv="p=0"'.format(filename)
p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE,
stderr=subprocess.STDOUT, universal_newlines=True)
# output = p.stdout.read().decode().strip()
stdout, stderr = p.communicate()
return int(float(stdout))
def sec_to_time(sec: int) -> str:
s = "%02d:%02d:%02d" % (sec // 3600, sec % 3600 // 60, sec % 60)
return s
def main():
videos = get_videos()
total_duration = 0
for video in videos:
duration = get_ffprobe_output(video)
print(os.path.split(video)[-1], ' ', sec_to_time(duration))
# or
# print(video.split(os.sep)[-1], ' ', sec_to_time(duration))
total_duration += duration
print()
print('Total duration:', sec_to_time(total_duration))
if __name__ == '__main__':
main()
[/code]
Олег, очень полезное видео, большое спасибо.
Удивительно приятная подача материала! Вас слушать очень интересно! Спасибо за вашу работу! Особенно радуют показанные мелочи, как например, запуск программы из любой папки.
Спасибо
Спасибо за видео! Отлично объясняете!
Как всегда отлично подан материал. Спасибо за труд!
И куча полезной информации, по всяким мелочам, которые для себя использовать уже можно.
Привет. Наткнулся на ваши курсы по Django. Прекрасно объясняете материал. Хотелось бы различные видео около темы Django: Django Advanced, RESTful API, Celery и так далее. За ваше изложение материала не грех и деньги платить. Благодарю за ваши старания :)
Отличный урок. Последовательно, понятно
Ну наконец-то! Ура! Спасибо большое)
Спасибо, за очередное видео! Есть пара общих вопросов:
1. Будут ли видео по нейронным сетям? Вижу на рабочем столе лежала pdf относящаяся к теме), было бы интересно посмотреть видео от Вас начиная с основ и выше. Хотя возможно был анонс, но я пропутил его...
2. Недавно зарелизили 3.8 пайтон, думаю для многих было бы интересно послушать про новые фичи. Сам еще тот сыч, до сих пор для своих DevOps задач использую 2.7, хотя давно пора уже переезжать, и вот повод вроде появился.
Спасибо,жду следующий видос!!!
Привет. Канал отличный
Спасибо.
Классное видео. Понял что автоматизация процессов в Windows тот еще гемор, ffmedia (ffprobe) работать не хотел. Но проблему решил через библиотеку pymediainfo.
Оооо, повеселее пошли видосы.
Великолепно как обычно! Спасибо огромное!
годнота! спасибо! идея для будущих видео... разработка реальной библиотеки со всем процессом... билд, залив на pypi, возможно тесты и т.д.
Библиотеки? Вы еще скажите фреймворк или микросервис. В виде библиотеки - это нафиг никому не нужно. Но в качестве примера для нескольких тем видео - вполне подойдет.
@@zaemiel я вообще про библиотеки в целом, а не про эту автоматизацию)
понял :)
Спасибо Олег, все отлично подано.
я где-то видел как получают информацию в json
>>> ffprobe -print_format json -show_format -v quiet video.mp4
довольно удобно
Почему не использовали стандартные возможности bash для получения списка файлов с заданным расширением, где это делается в одну строку?
А второй строкой получаете искомое.
Ради кроссплатформенности?
Спасибо!!!
🗽
29:05 для разделения полного путя от названия файла можно использовать os.path.split(path_to_file)[-1], так у нас не будет проблем с разными видами слэша (\, /).
так ведь нет проблем :)
Ладно-ладно... кросплатформенные решения и все такое. Для подобных задач как раз есть модуль pathlib.
Спасибо за ваш комментарий.
@@zaemiel Не слышал про эту библиотеку, пойду почитаю про неё. Спасибо
осталось узнать как ffprobe сделать внутренней командой системы, что б можно было её вызывать из командной строки таким способом, или же разобраться с библиотеками ffprobe для питона, которые почему то не работают, даже для своих примеров
Понятно, что писалось 3 года назад и т.д. и т.п. Тем не менее, хорошо бы посмотреть на обновленный код, где вы разбираете свои же костыли. Например, проход по файлам с помощью glob, lambda вместо seconds to str, python код для ff вместо дерганья subprocess, ну и для «взрослых» threads, т.к. одна и та же функция работает над последовательностью файлов и порядок их следования не важен.
Спасибо за видео!
13:20 - здесь корректнее было бы использовать file.rsplit('.', maxsplit=1), так как в имени файла может быть несколько точек. А ещё в os.path есть функция splitext, которая делает то же самое.
Я может не понял: так он то же самое делает с помощью file.split('.')[-1] - берет последнее значение из списка, который сделал с помощью split('.') - то есть расширение файла, оно всегда будет последним. Может вы имели ввиду что rsplit быстрее работает, ведь он с конца идет и сразу получает расширение получается.
UPD: как ни странно, но в моем случае скрипт с file.split('.')[-1] обходит чуть быстрее чем с file.rsplit('.', maxsplit=1)[1]
Мне нравится, что вы видите и другие решения. Это прекрасно.
есть же splitext()
>>> import os
>>> filename, file_extension = os.path.splitext('/path/to/somefile.ext')
@@FogerSP да, вы правы, в данном контексте оно будет работать так же. Но если бы понадобилось имя файла, такой способ уже бы не подошел.
@@79fz270704 я упомянул это в конце комментария :)
17:40 почему именно popen, а не run или что то другое из этого модуля?
30:55 в чем преимущество такого импортирования отдельной функции, а не всего модуля?
Здравствуйте Олег, вопрос не по теме. Red Eyed Coder Club - это Ваш англоязычный канал?
Да
Огонь!
Здравствуйте, вопрос не по теме но все же, а что у вас за оверлей в правом нижнем углу экрана можете поделиться? Сам минтом пользуюсь и захотелось имать такое тоже)
Это называется Conky. Я настраивал его через Conky Manager, который запускается при старте системы (ресурсов потребляет чуть-чуть).
Вам придется погуглить как его настраивать, но вроде не сложно.
Настройки мои такие:
${offset 30}${color FFA300}CPU ${offset 9}$color${cpu cpu0}%
${offset 30}${color FFA300}RAM ${offset 9}$color$mem / $memmax
Вы, конечно же, увидите более навороченные варианты, но мне не к чему, поэтому только две строки.
@@zaemiel спасибо) Это не проблема мне тоже нужно эти две строки, спасибо)
Олег не подумай ничего плохого, хоть я и мужик но тембр голоса у тебя классный, я блин под него залипаю на видосе, но за твой труд спасибо тебе...продолжай пожалуйста, есть небольшое пожелание, возможно ли примеры с ветвления (ход работы if-else и циклы но с привязкой н-р к реальности типа скачать папку откуда либо, или список файлов.
Спасибо. По вашей просьбе в базовом курсе будут "лабы"-проекты с подобными объяснениями.
17:45 почему же списком будет безопаснее?
Здравствуйте! Подскажите почему выдет такое: File "C:\Python\lib\encodings\cp1251.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u049a' in position 3832: character maps to
Олег, прорекламируй свои курсы
Будет курс по модулю requests на patreon ?
Приветствую. Куда вы пропали?) Многие ждут ваших выпусков
занят зарабатыванием денег
Как актуально для меня оказалось видео, сподвигло всё таки переписать свои скрипты в нормальный вид для более удобного использования :)
Кстати, что думаешь насчёт уже стандартного модуля pathlib вместо os для данных целей? Вижу сейчас многие за него агитируют, как за более ООПшный >_> Или это чисто дело вкуса?)
Мне кажется, что это дело вкуса.
Не могли бы вы подсказать, как сделать регистрацию и мгновенный вход после этого в django 2.x .
def reg(request):
if request.method == "POST":
form = UserRegisterForm(request.POST)
if form.is_valid():
form.save()
username = form.cleaned_data['username']
password = form.cleaned_data['password1']
user = authenticate(username = username, password = password)
login(request,user)
UserAttribute.objects.create(silver_coin = 1000, knights = 75, power = 85, level = 1,
xp = 0, energy = 100, totalWin = 0, user_id = user.id)
return redirect('/welcome')
else:
form = UserRegisterForm()
return render(request,'register.html',{'form':form})
и в settings.py добавить "LOGIN_REDIRECT_URL = '/welcome'", где 'welcome/' - нужная тебе страница после регистрации
Подскажите пожалуйста, почему может быть такая ошибка?
/bin/sh: 1: ffprobe: not found
Написано, что "ffprobe не найден"
Я тут упоминал, что ffprobe идет в поставке с ffmpeg.
Вам нужно установить ffmpeg.
Для *deb дистрибутивов:
sudo apt-get install ffmpeg
@@zaemiel а я видимо не внимательно но слушал :)
Подскажите дистрибутив линукса который используете.
Это Linux Mint
@@zaemiel спасибо
Отличное видео! Вы специально не обновляете свою версию Python?
Системный - да, я не обновляю, боюсь что-нибудь сломать. Python 3.6, 3.7 установлены с помощью pyenv - и там путь до интерпретатора сложнее.
Ты где то работаешь или фриланс?
endswitch не?
я не понял
топ👏
подскажите кто шарит, скачал проект на python, как узнать какая версия python для него нужна?
должно быть указано либо в README.md либо шибанги могут быть.
Вообще вариантов только 2 - это 2.7 и 3. Установите в виртуальное окружение Python3, активируйте его. И пробуйте. Если есть файл requirements.txt (это файл с перечисленными зависимостями), то из активированного окружения выполните команду:
pip install -r requirements.txt
Добрый день! Вопрос по вашему курсу, Олег. На патрионе - 10$/месяц. Что это значит? Есть ли там возможность сохранять видео для повторного просмотра?
Это значит, что вы донаните 10$ и в течение месяца имеет доступ ко всем материалам на Patreon. Курс пока только один. Возможности сохранить видео, насколько я понимаю, там нет.
49 из 122 комментов :) всего за один день :) ... прям сериал...
мы старались :) Да, такая драма развернулась. Честно говоря, не думал, что до такого дойдет.
@@zaemiel сериал пришлось досрочно свернуть, по причине не способности оплатить гонорар главному герою :D
Он считает, что он прав. С этим трудно что-то сделать. Может быть это привычка смотреть на вещи с позиции начальника.
@@zaemiel Я сомневаюсь, что Антон руководитель (хотя это не так принципиально) Он изначально "прослушал" видео невнимательно о том, что будет серия видео (в том числе и многопоточном варианте кода) И на протяжении всего общения пропускал мимо ушей информацию ... "фильтры" в ушах наверное :) Но было интересно. Заодно посмотре чем человек занимается на гитхабе :) коммиты говорят сами за разработчика.
на самом деле его гитхаб ни о чем не говорит. Он мог пользоваться битбакетом или гитлабом и комитить в приватные репозитории. Но думаю, что вы правы - он не очень похож на руководителя. Функциональный подход, который вовсе не функциональный, дублирование кода, чрезмерно усложненный код, когда в этом нет необходимости - слишком очевидны. Хотя использование shlex.quote() для экранирования имен файлов мне понравилось.
Еще мне показалось странным, что он использует gc, но не использует контекстный менеджер with для работы с Pool'ом, хотя он его поддерживает.
Скобки в имени файла, если есть, тоже нужно экранировать, иначе будет unexpected token `(
можно просто re.escape(filename)
и return int(float(stdout)) вместо точного значения из ffprobe при большом количестве файлов, фильмов например, - разница будет в несколько минут от реальной длительности
Не знаю, что значит большое количество. Думаю, вы правы, но для моих задач такая точность не нужна.
что на счет udemy ?
я буду думать. У них есть проблемы (минусы, подвоные камни и прочие эпитеты и метафоры. Пока тестирую эту идею.
@@zaemiel на udemy б курс купил.
Не совсем понял зачем вам это считать, но если вы не знакомы с таким редактором как Adobe Premier, то наверное стоит немного погуглить)))
По-моему, это самый смешной комментарий на всем канале.
Я не знаком с таким редактором и, честно говоря, не вижу смысла знакомиться.
Почему "бОш"? А не бАш или бЭш?
потому что я произносил это слово неправильно
Почему бОш, он же бЭш?)
да, он бэш
всегда звал его бАшем :)
да, но читается-то бЭш
Бош - шуруповёрт , а это язык БЭШ ( баш скрипты) !!! Учитель х…в
Кто диз влепил? Залетный php-шник?
Спасибо большое за поддержку. Я это очень ценю и если бы не вы я бы уже давно все бросил бы. Честное слово. По поводу стримов - не знаю, что тут можно делать... просто не понимаю, что можно стримить.
Keep :^) ваи бы в юмористы пойти......
Спасибо!
Спасибо
Спасибо.