Многопроцессность, многопоточность, асинхронность в Python и не только. Что это и как работает?
ฝัง
- เผยแพร่เมื่อ 16 มิ.ย. 2024
- Мой курс «Хардкорная веб-разработка» - course.to.digital
Книжный клуб Ботаним!, где мы читаем хорошие ИТ-книги: botanim.to.digital/
Telegram: t0digital.t.me
Сказать спасибо за это видео можно здесь - boosty.to/digitalize.team
Сегодняшний выпуск - о том, как заставить наше приложение летать! Поговорим о процессорах, о том, как они работают, о многоядерных CPU и Hyper-Threading, о процессах, потоках и многопоточности, а также об асинхронности или кооперативной многозадачности. Будет насыщенно!
0:00 О чём пойдёт речь
0:30 О многозадачности на единственном ядре CPU
1:42 О тактовой частоте процессоров и многоядерных CPU
3:07 Потоки, они же Threads
4:26 Состояние гонки, оно же race condition
5:20 Hyper-Threading и гипер-потоки
7:56 Потоки на многоядерных CPU
8:24 GIL в Python
9:16 Как обслужить тысячу HTTP запросов?
10:09 Асинхронность, кооперативная многозадачность
14:20 Как работает асинхронность
15:31 Выводы
/****************** about ******************/
Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:
- Диджитализируй digitalize.team, разрабатываем сложные IT системы для бизнеса;
- Salesbeat salesbeat.pro, комплексный модуль доставки для интернет магазинов.
Если у вас есть проект на разработку, пишите нам на hi@digitalize.team.
С другими предложениями, а также если вам нужна одна или несколько индивидуальных консультаций/уроков по разработке (3000 руб/час), пишите мне на alexey@salesbeat.pro.
Telegram канал - t.me/t0digital
ВК - digitalize.team
RuTube - rutube.ru/channel/24802975/ab...
Дзен - dzen.ru/id/6235d32cb64df01e6e...
Мой курс «Хардкорная веб-разработка» - course.to.digital
Вжух!
Спасибо за видео! Важная тема, давно жду ее)
Тема интересная, ждем продолжения.
Как же приятно тебя слушать! Спасибо и удачи в развитии!
Спасибо за ликбез по мультипоточности ядер)
"Немножко" дополню/скорректирую в режиме зануды:
1:00 Процесс и поток на процессоре может быть один, когда нет ОС. Это кучу МК (микроконтроллеров) и им подобных процов. Даже на х86 можно запустить монопроцесс и, обычно, вы его пускаете. BIOS Based I/O system не редко однопоточна+однопроцессна (но может мои данные устарели)
1:20 я бы прям в начале уточнил разницу между "работает" и "выполняется" ("исполняется"). Состояния ожидания тоже работа (это вам не зомби) и одновременно реально работать без переключений могут сотни процессов, а вот с выполнением да, только один в один фрейм исполнения. Хотя кому-то наоборот "программа исполняется" это существование процесса, а "программа работает" это греет воздух, трасформируя данные
3:20 строго говоря у программы может быть и 0 (ноль) потоков/процессов. Пример -- скрипты, которые не оперируют потоками/процессами, а исполняются родительским интерпретатором.
3:40 программа != процесс,
4:00 потоки так-то бывают разные и на сколько я знаю у потоков могут быть свои адресные пространства, но не уверен. Надо изучить что в каких ОС
4:36 гонки потоков можно, как избегать рядом подходов в мультипоточном прог-ии, так и исключать, так что проблема не совсем понятно, зачем сюда внесена, но при этом даже о законе Абеля ни слова(
Часть про простаивающие ядра оставляю на совести автора, там у меня нет знаний, за тем и смотрел =)
12:43 асинхронность, а точнее асихронное программирование либо асихронное выполнение это *один из* способов решить проблему, как достичь большой отдачи на малом числе ядер/потоков. В принципе можно и 10к дескрипторов потоков создать и нихай ОС сама их рулит, если поток умеет переходить в ожидание, то даже разрулит)
14:10 высокоэффективные ли? Если замерять RPS, то с высокой верятностью при идентичной задаче JS можно отточить не лучше питона, тот не лучше явы (иногда питон быстрее даже правильно "сваренной" явы), а эти ребята всё равно уступят Go/RUST/C++/Fortran (я счас о пределе, который можно выжать, а не о качестве библиотек, которые делают разрыв обычно ещё сильнее) Эффективно на тех же JS/Python писать ёмкий код (мало строк, много логики и смысла), но тут ни JIT, ни процессоры, ни ОС ни при чём
14:50 это упрощение сродни Пи = 3, простите. EL исполняет задачи из очереди на исполнение по мере завершения исполнения текущих задач (в частности для JS это по одной задаче), а задачи, завершаемые не выходом, а переходом в ожидание, по мере удовлетворения ожидания, перекладывает в очередь ожидания и взятием из очереди на исполнение следующей задачи
На этом всё, надеюсь уточнения кто-то дочитает, а не в в воздух это...
Немного сложновато, хотелось бы увидеть это ПРЯМ НА РЕАЛЬНОМ ПРИМЕРЕ! Прям наглядно увидеть многопоточность, сам ПОТОК/ПРОЦЕСС. Вот есть компьютер, и что мне делать чтобы увидеть этот поток, процесс?! Запустить программу что-ли? (Понятное дело что и сама ос что-то да выполняет, но как увидеть ожидание процесса, как увидеть что работает многопоточность НА РЕАЛЬНОМ ПРИМЕРЕ?!) МОЖЕТ МОЖНО ПРОГРАММУ НАПИСАТЬ И НАГЛЯДНО УВИДЕТЬ?!? Подскажите пожалуйста, буду благодарен!
@@danilakim5126 простейший варик: запускаете live-образ линукс-based (проще говоря убунты), ставите там htop, запускаете его. Там можно наглядно увидеть нити (posix-based threads, по-нашему потоки) и их родительские процессы. Можно изучить и препарировать их, если будет желание.
Ещё вариант тот же Process Explorer вместо классического Task Manager виндового способен показать потоки виндовых процессов (не моя специфика, не знаю на сколько глубоко там можно копать)
А так, на хабре том же найти реально)
Братан ты бы вышел на улицу воздухом подышал, пивка попил
Ждём следующее видео! Тема очень интересная, интересно услышать твои мысли!
Спасибо!
Просто лучшее объяснение из всех, что я смотрел, все четко и структурированно. Спасибо огромное!
Без лишней воды. Спасибо огромное за такие ценные рассуждения.
Благодарю за ваш труд!
Здорово. Отличный ввод в многопоточность и асинхронность. Спасибо.
Рад, что полезно!
Очень круто! Выпускай почаще видео с ликбезом. Очень люблю за завтраком включить и послушать сжато полезную инфу.
Наверное самое лучшее видео по этой теме на ютубе! Все четко и понятно!
Спасибооо!
Сделаю паузу и скажу. Когда увлекался своим ZX-Spectrum-ом, изучал ассемблер. Благодаря этому, не плохо понимаю тему прерываний, т.к. там это было оооочень хорошо видно. Изначально, на zx работает только одна прога. По учебнику, делал на машинных кодах часы, которые работали в фоне в системе. Для это создаётся прерывание, у которого есть свой номер, как сейчас сказали бы, свой ID. Когда сделал эти часы, которые висят и не пропадают, был в восторге)
А по какому учебнику учился? Интересно, т.к. сам на спектруме ассемблер познавал в 90-х
У меня было наоборот: понимание устройства event loop помогло разобраться с прерываниями на ардуино)))
Господа,а можно поподробнее про прерывания? Прерывание разве можно создавать? Прерывания в zx spectrum это аналог программы или это всё таки ближе к callback функции?
@@Enerdzizer в спектруме, прерывание задаётся в каком-то регистре и вроде указывается адрес перехода. Уже не помню
Без лишней воды. Спасибо огромное за инфо.
Спасибо за разъяснение такой интересной, непростой, но важной темы.
Ты очень круто всё объясняешь! Очень нравится структура твоих видео! Нет никакой воды из разряда «что бы установить пакет, используйте пип инсталл…» но в тоже время нет «эээ ну тут просто переписываете ядро». Всё очень понятно, доступная информация
Благодаря таким авторам, хочется изучать тему. Спасибо! Смотрим дальше
Супер!
Как раз по чуть чуть нахватал и так удачно залетел на это видео!
Спокойно четко понятно.
Спасибо.
Круто! Все очень доступно и понятно изложено! Спасибо!
Спасибо за подробное и понятное описание!
Самое чёткое и ясное введение в тему какое только встречал!
Продолжай в тоже духе! Хороших лекторов не так уж много!
Спасибо!
th-cam.com/users/shortsHpwZpcfOxto?feature=share
@@t0digital Поддерживаю
Очень интересно рассказываете! Просмотрел с интересом до конца. Хотелось бы практических-современных примеров!
Спасибо , надеюсь разберусь в теме асинхронности с нуля до полного понимания благодаря вашим роликам. Перехожу к следующему )
Алексей! Спасибо за ваши видео! Почаще бы.
Не ожидал, от канал с таким количеством подписчиков, такого качества видео, продолжайте в том же духе!
Спасибо! Подписчики тоже понемногу растут, что приятно🙏
Спасибо за информацию. Легко и интересно слушать. То что искал!
Спасибо! Ждем больше примеров на практике
Супер разложил! На пальцах) благодарю за труды😊
Все очень круто, отличный формат и подача! Спасибо, большое!
Спасибооо!
Спасибо за каждое видео, очень приятно слушать и смотреть! И темы всегда прям то, что надо!
th-cam.com/users/shortsHpwZpcfOxto?feature=share
th-cam.com/users/shortsHpwZpcfOxto?feature=share
Супер, самая не скучная лекция :)
Доходчивое объяснение. Интересно слушать. Благодарю 🌈
Отличное видео. Спасибо!
Спасибо! Отличную тему затронули, надеюсь будет продолжение. 🙏
Будет обязательно!
Всё предельно ясно и по полочкам, спасибо большое!
Рад, что полезно! Спасибо!
Интересные все видео. Спасибо. Много полезного, без понтов, доступно и профессионально.
Спасибо! Рад, что полезно
Отличное видео! Жду продолжения =)
Скоро будет:)
спасибо большое за простое но в то же время содержательное видео!
Спасибо за видеоурок. Очень интересно посмотреть разбор темы с кодом
Спасибо большое, ждём продолжения
спасибо, скоро продолжение, на бусти уже кое-что есть:)
Круто получилось - просто и понятно. Ждем подобные разборки. Спасибо )
Спасибо!
Спасибо огромное за Ваши труды. Очень интересно и понятно)
Спасибооо!
На одном дыхании посмотрел)
Очень классно, продолжай)
Спасибо! На бусти уже есть продолжение, скоро появится и на канале
Пересмотрел кучу лекций и подкастов про многопроцессность, многопоточность и асинхронность. Но все было очень сложно и заурядно. Здесь просто и понятно. Спасибо огромное за видео, у тебя талант объяснять!
Спасибо большое, очень приятно! Буду продолжать
Спасибо большое, теперь наконец-то стало понятно! )
Супер! Очень интересно и доходчиво
Отличное видео! Очень понятно и четко! Благодарю
Спасибо за видео! Очень интересно и хочется побольше примеров и практики))
Да, в следующих видео будут примеры и практика
Спасибо.. Внятно, понятно и без воды.. Талант педагога налицо!
Спасибооо!
Спасибо за хороший материал, очень доступно для начинающих!
Ждём продолжения!)
Спасибо! Скоро будет продолжение
Спасибо за ваш контент!
Каждый раз слушаю с большим интересом) спасибо)
Спасибооо!
Благодарю, Вас, за труд!
Большое спасибо за доступное объяснение таких важных вещей!
Спасибо, рад, что понравилось!
Алексей, всегда приятно тебя слушать.
Спасибо!
Лучший! Бооольше годного контента по Python 😱🤓
Спасибо за интересное видео!
Большое спасибо за ролик!
Невероятно интересно! Спасибо за то что объясняете все таким простым и понятным языком!!!
Спасибо! Рад, что нравится:)
th-cam.com/users/shortsHpwZpcfOxto?feature=share
Очень интересный материал, хотелось бы больше услышать про то, как происходит работа процессора на физическом уровне!
Классный Канал , Рад что познакомился с Автором. Очень интересно
Спасибооо! Приятно
Спасибо за теорию, теперь чуточку лучше понимаю тему многопоточности и асинхронности
Круто, спасибо большое!)))
Ждём продолжения!
Скоро будет:)
Спасибо! Очень доходчивое объяснение)
Интересно, ждём продолжения
Спасибо! Продолжение будет
Отличный способ подачи, без заумных фраз, но и без ненужного разжевывания простых вещей, жду ещё
Спасибо, рад, что понравилось!
Спасибо за классное изложение материала!
Клевое видео для погружения в тему!
Спасибо! Очень полезно!
Очень познавательно. Очень жду продолжения. Хотелось бы по этой же теме посмотреть взаимодействия оперативной памяти к ядрам и кешу.
Спасибо за видео!
Спасибо большое за ваши поучительные материалы
Супер тема, спасибо!
Спасибо огромное за это видео, все четко объяснил ))
Отлично! Благодарю!
Алекс! Это было самое понятное объяснение на тему GIL и async которое я видел :) Продолжай снимать!
Спасибо:)!
Спасибо! Вы отлично объясняете! Ценный материал!
Ну наконец то нашел нормальное объяснение, спасибо Вам огромное!!
Очень интересно рассказываете)
Тема действительно интересная и важная. Я лично с ней столкнулся, когда нужно было обрабатывать запрос на вызов предсказательной модели (что не быстро).
Надеюсь услышать в следующем видео какие-либо лучшие практики на этот счёт!
Понятно и познавательно. Спасибо за полезную информацию!
Рад, что полезно!
Крутое видео!) Жду продолжения с разбором примеров работы многопоточности и асинхронности)
th-cam.com/users/shortsHpwZpcfOxto?feature=share
Алексей, спасибо, смотрю все твои видео подряд, старые еще надо закончить смотреть. ) Невероятно полезно, особенно Джуну. ) Продолжай дальше!
Будем продолжать!
Максимально понятным и доступным языком рассказаны довольно сложные вещи для понимания. Большое уважение автору! Но про синхронность надо конечно поразвернутей рассказать в следующем видео, особенно азы и механику событий.
Благодарю! Наконец-то уложилось всё это добро в голове, а то был какой-то беспорядочный набор фактов.
Благодарю за то, что вы делаете!!!!
Спасибо! Будем продолжать
Спасибо за понятное изложение темы
Большое спасибо за твою работу! Очень полезная информация.
Спасибо! Рад, что полезно!
Спасибо. Круто объясняешь!
Большое тебе спасибо! Очень круто, а главное своевременно. Там в Джанго 3.1 подвезли асинхорнные вьюшки, хотел поиграться с ними, а тут и объяснения подъехали. Моё уважение!
Спасибо!
Отличный канал, благодарю
Спасибо, реально помог разобраться)
отличная лекция! впрочем как и всегда. спасибо за твои труды и доступное изложение сложных тем.
Спасибо, рад, что полезно!
Классно интересно оч жду следующего видео
Очень доходчиво!
Материал преподносится отлично! Продолжайте в том же духе! Снимите ещё про асинхронные фреймворки 🔥🔥
Будет такой материал обязательно
Четкое видео, очень доступно объяснил, лайк и подписка