Балансировка фигня, сделать одну ее несложно. Как синхронизировать разные экземпляры - вот эта реальная задача. И решать ее придется средствами выбранной "Б/Д". И далеко не везде она хорошо и надежно решается
Всё верно сказано. Зависит так же от БД. Некоторые не поддерживать кластеризацию Master-Master. С такими нужно думать своё решение и здесь всё зависит от приложения, которое использует эту БД. Попробую сделать видео по MySQL в связке Master-Master.
RomNero, хорошая тематика и видео тоже.Хотелось бы еще увидеть как на линуксовых машинах вы все ставите,настраиваете и попутно объясняя весь процесс =)
Очень интересный вопрос раскрываете в видео, приятно вас слушать! Было бы здорово послушать в след видео ваше мнение по поводу простаивания ресурсов при таких схемах и облака как вариант возможного решения
Спасибо за отзыв. К сожалению это постоянная проблема с ресурсами при использования HA. Использования кластера очень упрощает жизнь, когда нужно обновлять системы или переносить. В остальных 90% всего рабочего времени - ресурсы просто есть и системы работают параллельно. Данную проблему решает хорошо K8s. Но это другая тема уже. Там свои нюансы.
Хоть и прошло 11 месяцев с видоса, но он тут как нельзя кстати. нужно сделать реферат по HAProxy, но в вузе эта тема не обсуждается, а предмет распределенные системы сдать как-то надо, вам спасибо большое
@@RomNero под App серверами подразумеваю сервера приложений (веб сервера, напримера apache) между load balacer-ами и БД, или прокси сервером и БД, как у вас на схеме
Недавно я занимался тонкой и безопасной настройкой HA haproxy , хотел чтобы Haproxy работал в режиме HA Active/Active варианты настройки были но с некоторыми костылями если честно , в итоге я настраивал Active/Passive c keepalived
Добрый день RomNer! Очень понравились твои видео по ansible. Не думал сделать так же на по saltstack? Очень мало русско язычного контента. А ты делаешь приятные и понятные гайды.
Добрый день. Спасибо за позитивный отзыв. Давно как-то смотрел Salt, но никогда не использовал и не встречал тех, кто с ним работает. Сейчас, наверное, более популярен ansible и terraform. Я уверен, что в Salt есть свои сильные стороны. На фирмах стараются использовать всегда одно решение и перейти на другое сопровождается долгой дискуссией.
@@RomNero Да вы правы. Но вот что меня удивило в saltstack, он может как и ansible работать по ssh и при этом и как master - minion. Он использует те же yaml. Имеет множество модулей и даже запускать ansible-playbook. Но конечно порог вхождения по выше и разобраться с ним у меня вызывает трудности. Всё равно спасибо за ответ!
Есть еще более элегантный способ, но тут потребуется оборудование с BGP, на каждый loadbalancer ставится BIRD который на loopback анонсит BGP адрес, таким образом установив равные веса можно добиться распределения трафика между loadbalancers, в случае с keepalived работает всегда только 1, второй просто курит как запасной
Да, вы правы. И так в большинстве случаев, что backup/slave сервер просто в режиме ожидания. Спасибо, попробую bird. Что-то подобное давно тестировали, но была проблема с responce time.
@@RomNero а причем тут респонс тайм? BIRD постоянно по BGP общается с маршрутизаторами о своей доступности. А вообще, мы так балансили трафик от приложений к кластеру PostgreSQL через 2 HAproxy c BGP, сам PosgreSQL кластер это master-slave с переключением, управлятся патрони. Схема такая DNS имя -> BGP адрес -> два HAproxy -> Кластер PostgreSQL (патрони на 8080 порту отдает 200 если мастер и 404 если slave) таким образом на проксях в реалтайме можно понимать кто есть кто и куда слать трафик
Здравствуйте, дорогой автор канала , я видел ваши ролики на канале они о devops , я как раз очень хочу обучиться данному направление ( цель трудоустройства и развитие в этом направление) . У вас на канале на мой взгляд отрывками даны видео , как я понимаю для ознакомления. Могли бы вы подсказать полноценный, пошаговый ресурс или курс необходимым годным материалом , желательно чтобы было больше практики для обучения??? , чтобы с актуальными знаниями я мог трудоустроиться
Я думаю, что какого-то конкретного материала вам никто не скажет. Есть определённые вещи, которые просто необходимо знать. Например сети, win/Linux сервер. И ещё очень много базовых вещей. Я думаю, что невозможно сразу устроиться как devops. Без знаний администрирования дорога в devops закрыта (к сожалению это так). Начните с изучения северных систем на основе Windows и Linux. Так же IT должно быть как хобби иначе будете себя постоянно заставлять что-то делать и изучать.
Что-то похожее я делал на Амазон. на виртуальных машинах. причем балансеры у них готовые есть. Держало ddos атаку 20 гигабит вроде. но это 7 лет назад было.
Можно, да и нужно, использовать вместо keepalived технологию IP anycast, реализуется достаточно просто с использованием протоколов динамической маршрутизации, но тут всегда будет преимущество, виртуальный адрес, как вы его назвали одновременно будет прописан на всех серверах и работать они будут одновременно. Возможную проблему сессий в частности tcp соединений, решает правильно настроенный five tuple routing rules. Вы получаете одновременно равномерно загруженные балансировщики, а не так как в предлагаемой вами реализации, когда у вас трафик пойдет весь на один балансер.
а что делать с сокетами? Как через ЛБ реализовать? У меня апка на 3 инстансах и юзает кафку, и мне нужно отправлять на фронт респонс через сокети. Проблема в том что я не знаю с какого именно инстанса будет отправляться сокет.
Спасибо за видео. Вопрос: Вы упомянули аж 2 раза что оба HAproxy синхронизируются, но что именно синхронизуется? И как на счёт текущего состояния Backend servers которые имеют Ready статус на мастер LB а на slave другой статус (например MAINTENANCE). Как синхронизировать их? Очень жду ваши комментарии, Заранее спасибо.
Спасибо. Хорошо подметили. Я здесь оговорился, haproxy не синхронизируются. У них статическая конфигурация. Haproxy может только видеть статус backend сервера и направлять запросы на работающий сервер. Keepalived имеют условную синхронизацию в плане статуса. Если нод с Keepalived не работает или недоступен, то второй перенимает vip или другие вещи. На практике покажу.
Добрый день! Подскажите пожалуйста, как web сервера будут синхронизироваться между собой? Например захотел, поправить конфиг nginx, как на других двух нодах он будет синхронизируется?
Все же присутствует определенная каша с терминами: bottleneck, оно же бутылочное горлышко - это "Узкое место - явление, при котором производительность или пропускная способность системы ограничена одним или несколькими компонентами или ресурсами." (для простоты - из Википедии) то, что вы называете bottleneck - на самом деле SPOF (single point of failure) - Единая точка отказа, "узел системы, отказ которого приводит к её неработоспособности." Не путайте народ! Это СОВЕРШЕННО разные вещи!
@@RomNero т.е. получается полоса балансировщика является узким местом ? если 3 балансировщика в полосой по 1 Гб/с то ставить 4 сервера с такой же полосой нет смысла ?
Но нужно понимать, что эти все прелеcти - стоить будет даже не 3x, а даже больше. 3.5x c точки зрения инфраструктуры. Это очень дорого и такие решения возможны только на хороших проектах, в которых загружен бюджет на это именно по причине отказоустойчивости. А разница - вы сами понимаете какая в стоимости.
Как же ты понятно теорию рассказываешь! Жду практику
Спасибо. Очень приятно. Практике будет вскоре.
Очень жаль что можно поставить только один лайк. Жду продолжение серии больше чем своего дня рождения
Хахаха. Спасибо. Видео будет на днях.
Очень интересно! Рад что затронута данная тема!
Спасибо. На днях будет практическая часть
Благодарю! Теперь осталось это все на практике увидеть, попробовать, записать. За, что Вам огромное спасибо! Жду видео!
Спасибо большое, Евгений 👍
Огромное спасибо за видео! Давно подбирался к этой теме, а тут видео с любимого канал) Спасибо!
Спасибо за отзыв. Продолжение будет.
Видео настолько интересное, и настолько хорошо рассказано, что я чуть не забыл лайк поставить. Вовремя спохватился.
Спасибо. Очень приятно😄👍
Спасибо за видео! Как раз хотел изучить как настроить балансировку Б/Д, ждём продолжение)
Спасибо. Не планировал делать видео по балансировка БД, но сейчас задумался😉
Балансировка фигня, сделать одну ее несложно. Как синхронизировать разные экземпляры - вот эта реальная задача. И решать ее придется средствами выбранной "Б/Д". И далеко не везде она хорошо и надежно решается
Всё верно сказано. Зависит так же от БД. Некоторые не поддерживать кластеризацию Master-Master. С такими нужно думать своё решение и здесь всё зависит от приложения, которое использует эту БД.
Попробую сделать видео по MySQL в связке Master-Master.
@@RomNero О, это как раз мой случай, заранее спасибо 😉
Спасибо. Жду продолжение видео, очень интересная тема!
Спасибо. Продолжение будет вскоре.
RomNero, хорошая тематика и видео тоже.Хотелось бы еще увидеть как на линуксовых машинах вы все ставите,настраиваете и попутно объясняя весь процесс =)
Спасибо за отзыв и за идею. Вы не первый спрашиваете о самих виртуалках.
Сделаю обязательно видео 😉
Однозначно лайк, отличный канал, не забрасывай
Спасибо. Буду продолжать😉
Благодарю вас за ваш труд. Жду очередных работ.
Спасибо за отзыв 👍
Очень интересный вопрос раскрываете в видео, приятно вас слушать! Было бы здорово послушать в след видео ваше мнение по поводу простаивания ресурсов при таких схемах и облака как вариант возможного решения
Спасибо за отзыв.
К сожалению это постоянная проблема с ресурсами при использования HA. Использования кластера очень упрощает жизнь, когда нужно обновлять системы или переносить. В остальных 90% всего рабочего времени - ресурсы просто есть и системы работают параллельно.
Данную проблему решает хорошо K8s. Но это другая тема уже. Там свои нюансы.
спасибо!!!
очень ждал видео о LoadBalancer
жду продолжение
ЕЩЕ РАЗ СПАСИБО!!!!!!!!!!!!❤
Спасибо за позитивный отзыв. 👍😉
Огромное спасибо за работу, очень крутой канал и очень доступно объясняете.
Спасибо 👍
Спасибо за ваш труд, если есть возможность расскажите больше про VIP
Спасибо. На следующем видео увидите как работает vip. Это довольно все просто 🙂
Отлично. Жду продолжение.
Спасибо. На днях будет видео😉
Огромное спасибо за урок!!!
Спасибо за отзыв 👍
очень крутой канал! СПАСИБО огромное!
Спасибо за отзыв👍😉
Очень интересно ... жду продолжения
Спасибо. Продолжение будет.
спасибо. очень понятно рассказано
Спасибо, хорошее и понятное видео.
Спасибо за отзыв👍😉
Круто, спасибо!
классная подача, жду видосы по k8s
Спасибо за позитивный отзыв. Видео по K8s на стадии подготовки.
@@RomNeroпотому что ваши видео помогли мне понять сети докер
Принятно слышать. Значит, не зря делаю видео😉
Спасибо!
В 2010 году настраивал лодбалансинг на программном шлюзе Viatta. Тогда это был для меня первый опыт.
2010 году я даже понятия не имел о LB, только максимум мог комп собрать и систему установить😄
Хоть и прошло 11 месяцев с видоса, но он тут как нельзя кстати. нужно сделать реферат по HAProxy, но в вузе эта тема не обсуждается, а предмет распределенные системы сдать как-то надо, вам спасибо большое
Прикольно, что даже даже для вуза мои видео подходят👍 какая специальность?
@@RomNero Вообще мат. обеспечение и администрирование информационных систем, так что сис админ, но по сути программисты с математикой и базами данных
Отличная направленность. В любую сферу потом можно идти👍
Отличное видео супер, прошу Вас сделайте также по бэкенд (App) серверам т.е как синхронизировать их итд
+
Спасибо. Уже данное видимо в работе 👍
@@RomNero мое решение по App серверам меня не устраивает, тоже хотел бы увидеть бест практис )
Что вы подразумеваете под App серверами? Некоторые applications просто не поддерживают кластеризацию и HA. Видео будет о backend в плане базы данных.
@@RomNero под App серверами подразумеваю сервера приложений (веб сервера, напримера apache) между load balacer-ами и БД, или прокси сервером и БД, как у вас на схеме
Awsome!!👍
Thank you👍
Недавно я занимался тонкой и безопасной настройкой HA haproxy , хотел чтобы Haproxy работал в режиме HA Active/Active варианты настройки были но с некоторыми костылями если честно , в итоге я настраивал Active/Passive c keepalived
Сейчас большинство останавливаются на этом варианте.
Добрый день RomNer! Очень понравились твои видео по ansible. Не думал сделать так же на по saltstack? Очень мало русско язычного контента. А ты делаешь приятные и понятные гайды.
Добрый день. Спасибо за позитивный отзыв.
Давно как-то смотрел Salt, но никогда не использовал и не встречал тех, кто с ним работает. Сейчас, наверное, более популярен ansible и terraform.
Я уверен, что в Salt есть свои сильные стороны. На фирмах стараются использовать всегда одно решение и перейти на другое сопровождается долгой дискуссией.
@@RomNero Да вы правы. Но вот что меня удивило в saltstack, он может как и ansible работать по ssh и при этом и как master - minion. Он использует те же yaml. Имеет множество модулей и даже запускать ansible-playbook. Но конечно порог вхождения по выше и разобраться с ним у меня вызывает трудности. Всё равно спасибо за ответ!
Есть еще более элегантный способ, но тут потребуется оборудование с BGP, на каждый loadbalancer ставится BIRD который на loopback анонсит BGP адрес, таким образом установив равные веса можно добиться распределения трафика между loadbalancers, в случае с keepalived работает всегда только 1, второй просто курит как запасной
Да, вы правы. И так в большинстве случаев, что backup/slave сервер просто в режиме ожидания.
Спасибо, попробую bird.
Что-то подобное давно тестировали, но была проблема с responce time.
@@RomNero а причем тут респонс тайм? BIRD постоянно по BGP общается с маршрутизаторами о своей доступности. А вообще, мы так балансили трафик от приложений к кластеру PostgreSQL через 2 HAproxy c BGP, сам PosgreSQL кластер это master-slave с переключением, управлятся патрони. Схема такая DNS имя -> BGP адрес -> два HAproxy -> Кластер PostgreSQL (патрони на 8080 порту отдает 200 если мастер и 404 если slave) таким образом на проксях в реалтайме можно понимать кто есть кто и куда слать трафик
Спасибо за видео! Информативно, жду магии )
Спасибо. Не знаю будет ли магия, но что-то постараюсь показать 😄
Здравствуйте, дорогой автор канала , я видел ваши ролики на канале они о devops , я как раз очень хочу обучиться данному направление ( цель трудоустройства и развитие в этом направление) . У вас на канале на мой взгляд отрывками даны видео , как я понимаю для ознакомления. Могли бы вы подсказать полноценный, пошаговый ресурс или курс необходимым годным материалом , желательно чтобы было больше практики для обучения??? , чтобы с актуальными знаниями я мог трудоустроиться
Я думаю, что какого-то конкретного материала вам никто не скажет. Есть определённые вещи, которые просто необходимо знать. Например сети, win/Linux сервер. И ещё очень много базовых вещей.
Я думаю, что невозможно сразу устроиться как devops. Без знаний администрирования дорога в devops закрыта (к сожалению это так).
Начните с изучения северных систем на основе Windows и Linux.
Так же IT должно быть как хобби иначе будете себя постоянно заставлять что-то делать и изучать.
Можете, пожалуйста добавлять в информацию под видео ссылку на следующую? Так проще сориентироваться. Спасибо!
Так могу иногда забыть сделать. Но вот подправить playlist стоит 👍
Что-то похожее я делал на Амазон. на виртуальных машинах. причем балансеры у них готовые есть. Держало ddos атаку 20 гигабит вроде. но это 7 лет назад было.
В Aws есть уже готовые хорошие решения 👍
Можно, да и нужно, использовать вместо keepalived технологию IP anycast, реализуется достаточно просто с использованием протоколов динамической маршрутизации, но тут всегда будет преимущество, виртуальный адрес, как вы его назвали одновременно будет прописан на всех серверах и работать они будут одновременно.
Возможную проблему сессий в частности tcp соединений, решает правильно настроенный five tuple routing rules.
Вы получаете одновременно равномерно загруженные балансировщики, а не так как в предлагаемой вами реализации, когда у вас трафик пойдет весь на один балансер.
В некоторых ситуациях ваше решение будет более правильным. Здесь я соглашусь. 👍
А как масштабировать load balancer? Что если на него разово прилетело миллион запросов?
а что делать с сокетами? Как через ЛБ реализовать? У меня апка на 3 инстансах и юзает кафку, и мне нужно отправлять на фронт респонс через сокети. Проблема в том что я не знаю с какого именно инстанса будет отправляться сокет.
Спасибо за видео. Вопрос: Вы упомянули аж 2 раза что оба HAproxy синхронизируются, но что именно синхронизуется?
И как на счёт текущего состояния Backend servers которые имеют Ready статус на мастер LB а на slave другой статус (например MAINTENANCE). Как синхронизировать их? Очень жду ваши комментарии, Заранее спасибо.
Спасибо. Хорошо подметили. Я здесь оговорился, haproxy не синхронизируются. У них статическая конфигурация. Haproxy может только видеть статус backend сервера и направлять запросы на работающий сервер.
Keepalived имеют условную синхронизацию в плане статуса. Если нод с Keepalived не работает или недоступен, то второй перенимает vip или другие вещи.
На практике покажу.
Супер! Расскажите про Службу балансировки в Windows server и Freeloadbanacer?)
Windows это то не совсем моя сфера. В нем я не силён ((
Добрый день! Подскажите пожалуйста, как web сервера будут синхронизироваться между собой? Например захотел, поправить конфиг nginx, как на других двух нодах он будет синхронизируется?
Добрый день. Никак не будет синхронизироватся. Для этого есть систему управления конфигурацией.
Не путайте понятия high availability.
@@RomNero например Ansible как я понимаю, если например его нет, должен заходить на каждый из трех web серверов и править конфиги ручками.
Да, всё верно. Можно использовать скрипты для этого. Но это будет не совсем верное.
Стоит изучить ansible. Решит много проблем.
@@RomNero Спасибо большое за Ваши видео, все очень понятно и классно рассказываете!
Не сказал что существует разделение на L4 и L7 балансировщики.
а выполняет ли он защитную функцию? или чисто перераспределение нагрузки? что тогда в схеме может быть встроено?
Конечно, можно поставить фильтрацию трафика и cache, но это делается другими программами.
Какой программой Вы пользуетесь для составления таких красивых блок-схем?
Спасибо. Но я вас розачарую - в данном видео использовался простой PowerPoint 🙂
Все же присутствует определенная каша с терминами:
bottleneck, оно же бутылочное горлышко - это "Узкое место - явление, при котором производительность или пропускная способность системы ограничена одним или несколькими компонентами или ресурсами." (для простоты - из Википедии)
то, что вы называете bottleneck - на самом деле SPOF (single point of failure) - Единая точка отказа, "узел системы, отказ которого приводит к её неработоспособности."
Не путайте народ!
Это СОВЕРШЕННО разные вещи!
Согласен. Не то сказал, что имел в виду😄 ну ничего, смысл, надеюсь, был понятен.
скажите, входящий балансировщих должен иметь полосу такой же производительности как и сервера или можно меньше, т.к. он только запросы принимает ?
Через балансоровщик будут проходит все пакеты (не только запросы).
@@RomNero т.е. получается полоса балансировщика является узким местом ?
если 3 балансировщика в полосой по 1 Гб/с то ставить 4 сервера с такой же полосой нет смысла ?
Видос - норм, подача - норм. Братан, но звук - репения и хрипения...
Странно. Я этого не заметил, что со звуком что-то не так. Спасибо. Сейчас пересмотрю.
Но нужно понимать, что эти все прелеcти - стоить будет даже не 3x, а даже больше. 3.5x c точки зрения инфраструктуры. Это очень дорого и такие решения возможны только на хороших проектах, в которых загружен бюджет на это именно по причине отказоустойчивости. А разница - вы сами понимаете какая в стоимости.
Полностью согласен. Часто заказывают Backup часть очень маленькую, что бы хоть как-то реализовать отказоустойчивость.