Адрес для получения обновлений бота в Telegram: " api.telegram.org/botBOTTOKEN/getUpdates ", где вместо BOTTOKEN - токен телеграма Ну и чтоб два раза не вставать: если вдруг вы хотите меня поддержать, то добро пожаловать на мой бусти boosty.to/vyacheart! Если вдруг вы не досмотрели ролик до конца, то посмотрите с 14й минуты, я там рассказываю подробности:) Добавлю, что я не буду публиковать "эксклюзивный" платный контент, который связан с какими-то знаниями. Я за то, чтоб знания и образовательный контент были общедоступны. А вот какие-нибудь специфические детали внутренней кухни в стиле влога: очень вероятно, что буду публиковать там:)
Только начал знакомство со связкой Prometheus + Grafana, спасибо тебе большое, за качественное объяснение без воды, буду рад если покажешь больше всяких инетересных фич :)
Круто! без воды, без "му-хрю", приятная речь. немного Быстрова о - часто приходится перематывать туда-сюда, но возможно это просто я слоупок. спасибо за чудесный тутор!
Когда мы ставим 0.9 квантиль, мы хотим видеть график *большинства* запросов (или видеть 90-й перцентиль, если быть точным). То есть такой график покажет, что 90 процентов запросов выполняются *быстрее* , чем значение кривой, а 10 оставшихся процентов - это потенциальные аномалии: сеть затормозила, GC отработал, база перегрузилась, и в итоге запросы обрабатывались дольше, чем то что мы видим на графике. Но *большинство* запросов выполняются нормально. Можно ещё сформулировать, как "с вероятностью 90% запрос отработает быстрее X" (где X - то что мы видим на графике). И самое интересное тут - это когда мы начинаем сравнивать перцентили: вот половина запросов (quantile=0.5) выполняются очень быстро, затем в диапазоне от 50 до 75% (quantile=0.75) они дольше всего на 100 миллисекунд, и таким образом мы можем регулировать положение "среза", и точно понимать как работает система, не учитывая моментные аномальные всплески.
@@VyacheArt вот если нужно список пациентов для видео 1) tsenart/vegeta Звезды: 21 тыс. Последний коммит: 11 октября 2020 г. 2) rakyll/hey Звезды: 15,2 тыс. Последний коммит: 6 августа 2020 г. 3) fortio/fortio Звезды: 2,9 тыс. Последний коммит: прошлая неделя 4) k6io/k6 Звезды: 19,8 тыс. Последний коммит: 2 недели назад 5) buger/goreplay Звезды: 17 тыс. Последний коммит: 6 октября 2021 г. 6) codesenberg/bombardier Звезды: 4,1 тыс. Последний коммит: 15 октября 2020 г.
Ротатор в этом ролике - это просто небольшой живой проект, куда я внедрил метрики. Можно было бы какой-то совсем синтетический пример придумать, но я решил по мотивам вот этого ролика сделать th-cam.com/video/27WPASOQs2w/w-d-xo.html А фактически это небольшой рекламный сервер на Go, который подбирает рекламу
Добрый день. Последние версии Графаны начали развивать историю с локализацией, но правильно ли я понимаю, что создать русифицированную версию сейчас можно только если самому сбилдить из исходников нужную версию? Жаль, что история с добавлением языков в файлах инструмента не дадут эффекта, равно как и подмена других языков. Или все же есть какой-то более менее простой способ русификации?
Боюсь, я тут даже не знаю как там дела с локализацией, никогда не задавались таким вопросом. Буду рад, если кто-то из подписчиков подскажет, мой беглый ресёрч в репе графаны не привёл ни к какому результату
@@VyacheArt я увидел репозиторий, где человек сделал локализацию и вроде закомиттил в основную ветку разработчиков, но они похоже не добавили. И на Crowdin полный перевод уже есть и достаточно давно.
У нас тут вопрос возник при вытаскивании данных с прометея. Есть метрика из стандартного прометей коллектора http_request_total. Работает она прям огонь, но не понятно, как вывести, когда проходит 1 запрос. Съедается он любой функцией типа rate/increase/change. Может была такая ситуация в практике? А может будет ответ что-то вроде метрика на 1 запрос не нужна? В любом случае, буду рад ответу.
А приходит 1 запрос за какой период? Можно два варианта попробовать: 1. В значении интервала (то что между [ и ]) поставить период, за который ожидается запрос. То есть если 1 запрос в час (к примеру), то можно поставить 1h. Тогда данные будут усредняться за час, и после запроса кривая не будет сразу уходить в 0. И схлопываться кривая должна перестать 2. Не совсем решение, но мы использовали irate, когда на малом объёме запросов нужно было детально отследить динамику Мне кажется метрика в любом случае лишней не будет, наверняка в последствии запросов будет ожидаемо/неожиданно больше
@@VyacheArt период ставили минуту, ставили час, ставили 24. Только при сутках что-то показывал, но ты же понимаешь, что такое счастье не нужно. Irate тоже не помогала. Есть подозрения, что он пытается сравнить в функции NaN и единицу, в связи с чем возвращает NaN. Напомню, что change тоже отказался работать. Спасибо за подтверждение необходимости мелких метрик! Тоже думал в этом ключе, но мнение авторитетных для меня людей крайне важно.
М, тогда получается там правда очень мало запросов. Я тут чуть раскрою своё "метрика лишней не будет" - если каждый запрос не является супер тяжёлым, и нет разницы между одним запросом в секунду и пятью, то я бы метрику оставил, но не стал бы заморачиваться над проблемой "схлопывания" кривой. Я бы поставил алерт на какую-то границу, чтобы после её пересечения быть в курсе, что кол-во запросов увеличилось, и всё. Когда запросов перевалит за число, которое уже не будет схлопываться, то и проблема решится, и будут данные, с которыми уже можно работать, и алерт даст об этом знать.
@@VyacheArt не будь таким дурачком как я. Метрика из стандартной прометеевской либы для подсчета рейта должна быть request_duration_seconds_count. Потому что в ней: в отличии от request_total нет client_ip (и оно нафиг не нужно в принципе в большинстве своем). Уковырялся вусмерть, а с другой стороны, это кому блин так приспичило назвать метрику? Аррррр!
@KH9IZb ну, зато опыт!)) Спасибо большое, что поделился им)) Видимо там Summary метрика "request_duration_seconds", ну, а в "_count" - количество записей длительностей в неё 🙂
Вячеслав, подскажи плиз! Производим миграцию с графаны 7 на 9 и сталкиваюсь со следующей проблемой. На графане 7 у нас настроены алерты на дашбордах и в момент срабатывая алерта, появляется анотация на график (где написана ошибка и что алерт сработал). После того как на графану 9 переносим json дашборд из 7, алерты переносятся неполноценно. Про это я читал и понял, что это нормальная ситуация. Проблема заключаeтся в следуюещем, на графане 9 я настроил алертинг идентичный тому что был на 7, т.е. пороги и условия одиноковые. Но в момент срабатывания алерта не рисуется вертикальная анотация о том когда он произошел. Т.е. на самом графике не видно ничего. У вас в видео на времени 13:02 появилась анотация (pending). Мне вот нужна такая же только во время срабаотывания алерта. Может что-то сможете подсказать. Я уже все перепробовал и legacy alert включал и обратно возвращал, пока не помогло
Я, к сожалению, не сталкивался с такой проблемой и не было опыта переезда с 7 на 9, но по логике на отображение аннотаций могут влиять настройки Annotations у дашборда grafana.com/docs/grafana/latest/dashboards/build-dashboards/annotate-visualizations/#querying-other-data-sources . Что у вас находится в этом разделе? Есть ли что-то вообще?
@@VyacheArt Да тут даже вопрос не переезда с одной на другую графану. По сути я сейчас поднимаю версии c нуля 9.3.1-9.3.6 и такое поведение у меня на обоих версиях. Моя задача сейчас сделать так, чтобы по срабатыванию алерта рисовалась аннотация на самом дашборде (в целом у вас на так и было в видео). Я сейчас пытаюсь это сделать на самом просто примере, беру дефолтный дашборд от прометеуса ( Prometheus 2.0 Stats) ставлю настраиваю алерт и когда он срабатывает, должна как я понимаю ставится вертикальное обозначение алерта на графике, но его нет. Судя по всему я что-то делаю не правильно. Возвращаясь к вопросу: В вкладке Annotations у меня находится только дефолтная аннотация (Annotations & Alerts) Всю уже документацию прочитал, понятия не имею что делать
@@ilayfortress4091 в туторе 9.4.3, она на момент записи была самой последней версий. Образ `grafana/grafana-oss:9.4.3`. В ролике дополнительно я ничего не настраивал, если что, то есть отображение аннотации было по умолчанию. Но я помню, что на старых версиях они иногда пропадали из-за слишком большого периода в Time селекторе. Но похоже было именно на баг, чем на задуманное поведение. А вы тестируете именно на дефолтном дашборде от прометеуса (=шаблоне), или уже пробовали создавать чистый свой со своими панельками?
@@VyacheArt Я иду от сложного к простому, начинал со сложного рабочего дашборда, пришел к элементарному дашборду, чтобы просто проверить функционал алертов. Использую дефолтный дашборд Prometheus 2.0 Stats, метрика scrape_duration_seconds, датасорс prometheus, алерт ставлю на превышение определенного значения. Настроил уведомления в ТГ, они приходят а аннотация не отображается. Сейчас попробую поставить версию как у вас. Также, видел выше, что вы хотели снимать отдельное видео про аннотации, думаю оно всем очень нужно. Очень плохо освещенная тема.
Привет, подскажи можно ли настроить алерты на правила которые графана загружает из prometheus автоматически. Или придется на каждое из них делать графики а потом делать алерты?
Привет! Я такое никогда не делал, но вижу есть вот такой плагин grafana.com/grafana/plugins/camptocamp-prometheus-alertmanager-datasource/ . Панель создать всё равно нужно будет, но единственную, и у неё Data Sourceм будет AlertManager из прометеуса. Вроде похоже на то что тебе нужно
Привет! Спасибо за видео, очень в тему сейчас. Есть несколько вопросов по теме видео: 1) Можно ли сделать так, что бы при срабатывании алерта и при его решении на график добавлялась аннотация о событии с произвольным сообщением? 2) Можно ли добавить аннотацию сразу на несколько графиков, например: количество ошибок подскочило, сработал алерт, добавилась аннотация на график ошибок и добавилась аннотация на график количества запросов 3) Можно ли сделать аннотацию программно, например раскатал новый мастер на проде и на графике количества ошибок сразу появилась аннотация, если вдруг срабатывает алерт я на графике могу увидеть, что количество ошибок выросло после релиза и надо что-то делать
Привет, спасибо! 1. Да, по сути по умолчанию и добавляется аннотация, и её текст можно даже подредактировать. Вот не уверен, что можно подредактировать сам шаблон аннотации, но в неё включается легенда панели, поэтому можно включить в неё нужное 2. Я, к сожалению, не знаю способа настроить такую цепочку нативно внутри графаны, когда источник именно алерт, но! У графаны в качестве канала нотификации можно выбрать вебхуку, то есть когда случится какой-то алерт, графана обратится по какому-то URLу и передаст всю инфу. А обработчик на этом урле может уже создать аннотацию по API grafana.com/docs/grafana/latest/developers/http_api/annotations/ 3. О да, конечно, это вообще основной сценарий использования. Вот по ссылке выше как раз API можно найти. Более того у аннотаций есть теги, и их можно выводить только на тех дашбордах, на которых это нужно. Например, на бизнесовом дашборде можно вывести только аннотации про деплой, а на техническом ещё и всякие перезагрузки сервисов, запущенные миграции и тд. Для этого у дашборда в настройках есть раздел Annotations как раз, в котором можно указать нужные теги. Это сумасшедшая фича графаны, вот тут можно детали почитать grafana.com/docs/grafana/latest/dashboards/build-dashboards/annotate-visualizations/ Может даже по аннотациям отдельный ролик запишу
Адрес для получения обновлений бота в Telegram: " api.telegram.org/botBOTTOKEN/getUpdates ", где вместо BOTTOKEN - токен телеграма
Ну и чтоб два раза не вставать: если вдруг вы хотите меня поддержать, то добро пожаловать на мой бусти boosty.to/vyacheart! Если вдруг вы не досмотрели ролик до конца, то посмотрите с 14й минуты, я там рассказываю подробности:) Добавлю, что я не буду публиковать "эксклюзивный" платный контент, который связан с какими-то знаниями. Я за то, чтоб знания и образовательный контент были общедоступны. А вот какие-нибудь специфические детали внутренней кухни в стиле влога: очень вероятно, что буду публиковать там:)
Спасибо за очень подробное видео. Я многое понял благодаря Вашему туториалу. Удачи!
Только начал знакомство со связкой Prometheus + Grafana, спасибо тебе большое, за качественное объяснение без воды, буду рад если покажешь больше всяких инетересных фич :)
Круто! без воды, без "му-хрю", приятная речь. немного Быстрова о - часто приходится перематывать туда-сюда, но возможно это просто я слоупок. спасибо за чудесный тутор!
Спасибо большущее, очень рад что нравится!:)
Ты не слоупок, меня эта скорость и небольшая рваность изображения (склейки) тоже несколько сбивает с толку, не даёт зацепиться вниманию.
Я недавно начал изучать возможности графаны и этого ролика мне не хватало , приходилось самому разбираться . Продолжайте
Спасибо! Рад, что помог в изучении!
++ не для новичка
Очень крутое наполнение и визуал
Спасибо за Ваш труд! Как всегда на высоте❤
Спасибо большущее за тёплые слова! 🥹
Спасибо за очередное видео! Познавательно, как всегда! Успехов!
Спасииибо!
Спасибо тебе огромное❤ самый полезный ролик для начинающих. Коротко, понятно и без воды.
Хороший, качественный контент. Спасибо!
Спасибо! ^_^
Спасибо, прекрасный контент.
Спасибо!
Порядочно, спасибо за видео
очень приятное изложение, мое уважение
Спасибо за видео. Коммент в поддержку!
Спасиибо!
Молодец парень! Очень круто и доступно объяснил, продолжай в том же духе! МОЛОДЧИНА!!!
Большущее спасибо, очень приятно! 🥹
Отличный урок! Спасибо
Хорошо рассказываешь.
Звук и визуал на высоте.
Спасиибо!
Неожиданно хороший контент, спасибо.
как всегда супер!
от души!
Спасибо! отлично все рассказано, коротко и ясно!
Друже, спасибо тебе огромное, ОГРОМНОЕ!!
Огромное пожалуйста и спасибо!
спасибо, очень круто
То что нужно, спасибо!
Спасибо!!
Полезно, спасибо!
Спасибо, полезный видос
Спасибо!
Thank you, bro! Keed going... 🤟😉
Thank you!
(and for the compliment of my boobs as well)
Спасибо за видео! Прекрасная подача!
Не сталкивался с использованием Grafana как BI-системы?
Спасибо, всё отлично разжевали
Спасибо!
Как подвзяать к графане устройство андродид по ip, что бы было видно когда унего связь WiFi пропадает ??
Подскажите, что делает квантиль 0.9 в примере с временем выполнения запроса
Когда мы ставим 0.9 квантиль, мы хотим видеть график *большинства* запросов (или видеть 90-й перцентиль, если быть точным). То есть такой график покажет, что 90 процентов запросов выполняются *быстрее* , чем значение кривой, а 10 оставшихся процентов - это потенциальные аномалии: сеть затормозила, GC отработал, база перегрузилась, и в итоге запросы обрабатывались дольше, чем то что мы видим на графике. Но *большинство* запросов выполняются нормально.
Можно ещё сформулировать, как "с вероятностью 90% запрос отработает быстрее X" (где X - то что мы видим на графике).
И самое интересное тут - это когда мы начинаем сравнивать перцентили: вот половина запросов (quantile=0.5) выполняются очень быстро, затем в диапазоне от 50 до 75% (quantile=0.75) они дольше всего на 100 миллисекунд, и таким образом мы можем регулировать положение "среза", и точно понимать как работает система, не учитывая моментные аномальные всплески.
После того, как создал переменную и получил все instance, как изменить у них название "у Preview of values"? на человеческий язык
Подскажите, а что за программа используется для управления контейнерами, модификации манифестов (на 1:19)
Это просто GoLand от JetBrains. Он самими контейнерами не управляет (хотя наверняка есть плагин для этого), но этим занимается docker compose
Молодец, хороший контент, развивай пожалуйста канал
Спасибо большое! И рад, что нравится:) на этой неделе ещё про мониторинг выпущу, если что
@@VyacheArt Я как раз сейчас этим занимаюсь, будет очень полезно) Спасибо
Народ, а существуют ли готовые Alert rules, ну или хотя бы конкретные примеры как их настраивать? Уж больно сложно и непонятно как их создавать.
Спасибо большое за видео.
Подскажите, можно ли через графану отправлять алерт в отдельную тему чата телеграма?
круто, спасибо за видео и труды.
и ты упомянул бомбардир.
сделай пжл обзор утилит нагрузочного тестирования на Go.
Спасибо за тёплые слова и коммент! По бомбардиру замётано, спасибо за идею!
@@VyacheArt вот если нужно список пациентов для видео
1) tsenart/vegeta
Звезды: 21 тыс.
Последний коммит: 11 октября 2020 г.
2) rakyll/hey
Звезды: 15,2 тыс.
Последний коммит: 6 августа 2020 г.
3) fortio/fortio
Звезды: 2,9 тыс.
Последний коммит: прошлая неделя
4) k6io/k6
Звезды: 19,8 тыс.
Последний коммит: 2 недели назад
5) buger/goreplay
Звезды: 17 тыс.
Последний коммит: 6 октября 2021 г.
6) codesenberg/bombardier
Звезды: 4,1 тыс.
Последний коммит: 15 октября 2020 г.
ваааау))) спасибо большое! Такой список однозначно поможет!
Спасибо! Очень крутое обьяснение🔥
Спасибо!!
Здравствуйте, подскажите как сделать чтоб прилогалась картинка к alert’ам (виде графика, скрин графика)
Здравствуйте! Воть grafana.com/docs/grafana/latest/alerting/manage-notifications/images-in-notifications/
@@VyacheArt
На данный момент они отключили эту возможность
Подскажи, что такое ротатор и где его скачать? Я так понимаю ротатор это эмуляция веб-сервера?
Ротатор в этом ролике - это просто небольшой живой проект, куда я внедрил метрики. Можно было бы какой-то совсем синтетический пример придумать, но я решил по мотивам вот этого ролика сделать th-cam.com/video/27WPASOQs2w/w-d-xo.html
А фактически это небольшой рекламный сервер на Go, который подбирает рекламу
Топ контент, реп+
от души, спасибо!
Добрый день. Последние версии Графаны начали развивать историю с локализацией, но правильно ли я понимаю, что создать русифицированную версию сейчас можно только если самому сбилдить из исходников нужную версию? Жаль, что история с добавлением языков в файлах инструмента не дадут эффекта, равно как и подмена других языков. Или все же есть какой-то более менее простой способ русификации?
Боюсь, я тут даже не знаю как там дела с локализацией, никогда не задавались таким вопросом. Буду рад, если кто-то из подписчиков подскажет, мой беглый ресёрч в репе графаны не привёл ни к какому результату
@@VyacheArt я увидел репозиторий, где человек сделал локализацию и вроде закомиттил в основную ветку разработчиков, но они похоже не добавили. И на Crowdin полный перевод уже есть и достаточно давно.
У нас тут вопрос возник при вытаскивании данных с прометея. Есть метрика из стандартного прометей коллектора http_request_total. Работает она прям огонь, но не понятно, как вывести, когда проходит 1 запрос. Съедается он любой функцией типа rate/increase/change. Может была такая ситуация в практике? А может будет ответ что-то вроде метрика на 1 запрос не нужна? В любом случае, буду рад ответу.
А приходит 1 запрос за какой период? Можно два варианта попробовать:
1. В значении интервала (то что между [ и ]) поставить период, за который ожидается запрос. То есть если 1 запрос в час (к примеру), то можно поставить 1h. Тогда данные будут усредняться за час, и после запроса кривая не будет сразу уходить в 0. И схлопываться кривая должна перестать
2. Не совсем решение, но мы использовали irate, когда на малом объёме запросов нужно было детально отследить динамику
Мне кажется метрика в любом случае лишней не будет, наверняка в последствии запросов будет ожидаемо/неожиданно больше
@@VyacheArt период ставили минуту, ставили час, ставили 24. Только при сутках что-то показывал, но ты же понимаешь, что такое счастье не нужно. Irate тоже не помогала. Есть подозрения, что он пытается сравнить в функции NaN и единицу, в связи с чем возвращает NaN. Напомню, что change тоже отказался работать.
Спасибо за подтверждение необходимости мелких метрик! Тоже думал в этом ключе, но мнение авторитетных для меня людей крайне важно.
М, тогда получается там правда очень мало запросов. Я тут чуть раскрою своё "метрика лишней не будет" - если каждый запрос не является супер тяжёлым, и нет разницы между одним запросом в секунду и пятью, то я бы метрику оставил, но не стал бы заморачиваться над проблемой "схлопывания" кривой. Я бы поставил алерт на какую-то границу, чтобы после её пересечения быть в курсе, что кол-во запросов увеличилось, и всё.
Когда запросов перевалит за число, которое уже не будет схлопываться, то и проблема решится, и будут данные, с которыми уже можно работать, и алерт даст об этом знать.
@@VyacheArt не будь таким дурачком как я. Метрика из стандартной прометеевской либы для подсчета рейта должна быть request_duration_seconds_count. Потому что в ней: в отличии от request_total нет client_ip (и оно нафиг не нужно в принципе в большинстве своем). Уковырялся вусмерть, а с другой стороны, это кому блин так приспичило назвать метрику? Аррррр!
@KH9IZb ну, зато опыт!)) Спасибо большое, что поделился им)) Видимо там Summary метрика "request_duration_seconds", ну, а в "_count" - количество записей длительностей в неё 🙂
Не знаю что это такое но мне это надо
Это правильно!
Вячеслав, подскажи плиз!
Производим миграцию с графаны 7 на 9 и сталкиваюсь со следующей проблемой. На графане 7 у нас настроены алерты на дашбордах и в момент срабатывая алерта, появляется анотация на график (где написана ошибка и что алерт сработал). После того как на графану 9 переносим json дашборд из 7, алерты переносятся неполноценно. Про это я читал и понял, что это нормальная ситуация.
Проблема заключаeтся в следуюещем, на графане 9 я настроил алертинг идентичный тому что был на 7, т.е. пороги и условия одиноковые. Но в момент срабатывания алерта не рисуется вертикальная анотация о том когда он произошел. Т.е. на самом графике не видно ничего. У вас в видео на времени 13:02 появилась анотация (pending). Мне вот нужна такая же только во время срабаотывания алерта. Может что-то сможете подсказать. Я уже все перепробовал и legacy alert включал и обратно возвращал, пока не помогло
Я, к сожалению, не сталкивался с такой проблемой и не было опыта переезда с 7 на 9, но по логике на отображение аннотаций могут влиять настройки Annotations у дашборда grafana.com/docs/grafana/latest/dashboards/build-dashboards/annotate-visualizations/#querying-other-data-sources . Что у вас находится в этом разделе? Есть ли что-то вообще?
@@VyacheArt Да тут даже вопрос не переезда с одной на другую графану. По сути я сейчас поднимаю версии c нуля 9.3.1-9.3.6 и такое поведение у меня на обоих версиях.
Моя задача сейчас сделать так, чтобы по срабатыванию алерта рисовалась аннотация на самом дашборде (в целом у вас на так и было в видео). Я сейчас пытаюсь это сделать на самом просто примере, беру дефолтный дашборд от прометеуса ( Prometheus 2.0 Stats) ставлю настраиваю алерт и когда он срабатывает, должна как я понимаю ставится вертикальное обозначение алерта на графике, но его нет. Судя по всему я что-то делаю не правильно.
Возвращаясь к вопросу:
В вкладке Annotations у меня находится только дефолтная аннотация (Annotations & Alerts)
Всю уже документацию прочитал, понятия не имею что делать
@@VyacheArt кстати, подскажите, на какой версии grafana вы делали этот тутор?
@@ilayfortress4091 в туторе 9.4.3, она на момент записи была самой последней версий. Образ `grafana/grafana-oss:9.4.3`. В ролике дополнительно я ничего не настраивал, если что, то есть отображение аннотации было по умолчанию. Но я помню, что на старых версиях они иногда пропадали из-за слишком большого периода в Time селекторе. Но похоже было именно на баг, чем на задуманное поведение.
А вы тестируете именно на дефолтном дашборде от прометеуса (=шаблоне), или уже пробовали создавать чистый свой со своими панельками?
@@VyacheArt Я иду от сложного к простому, начинал со сложного рабочего дашборда, пришел к элементарному дашборду, чтобы просто проверить функционал алертов. Использую дефолтный дашборд Prometheus 2.0 Stats, метрика scrape_duration_seconds, датасорс prometheus, алерт ставлю на превышение определенного значения. Настроил уведомления в ТГ, они приходят а аннотация не отображается. Сейчас попробую поставить версию как у вас.
Также, видел выше, что вы хотели снимать отдельное видео про аннотации, думаю оно всем очень нужно. Очень плохо освещенная тема.
Привет, подскажи можно ли настроить алерты на правила которые графана загружает из prometheus автоматически.
Или придется на каждое из них делать графики а потом делать алерты?
Привет! Я такое никогда не делал, но вижу есть вот такой плагин grafana.com/grafana/plugins/camptocamp-prometheus-alertmanager-datasource/ . Панель создать всё равно нужно будет, но единственную, и у неё Data Sourceм будет AlertManager из прометеуса. Вроде похоже на то что тебе нужно
Привет!
Спасибо за видео, очень в тему сейчас.
Есть несколько вопросов по теме видео:
1) Можно ли сделать так, что бы при срабатывании алерта и при его решении на график добавлялась аннотация о событии с произвольным сообщением?
2) Можно ли добавить аннотацию сразу на несколько графиков, например: количество ошибок подскочило, сработал алерт, добавилась аннотация на график ошибок и добавилась аннотация на график количества запросов
3) Можно ли сделать аннотацию программно, например раскатал новый мастер на проде и на графике количества ошибок сразу появилась аннотация, если вдруг срабатывает алерт я на графике могу увидеть, что количество ошибок выросло после релиза и надо что-то делать
Привет, спасибо!
1. Да, по сути по умолчанию и добавляется аннотация, и её текст можно даже подредактировать. Вот не уверен, что можно подредактировать сам шаблон аннотации, но в неё включается легенда панели, поэтому можно включить в неё нужное
2. Я, к сожалению, не знаю способа настроить такую цепочку нативно внутри графаны, когда источник именно алерт, но! У графаны в качестве канала нотификации можно выбрать вебхуку, то есть когда случится какой-то алерт, графана обратится по какому-то URLу и передаст всю инфу. А обработчик на этом урле может уже создать аннотацию по API grafana.com/docs/grafana/latest/developers/http_api/annotations/
3. О да, конечно, это вообще основной сценарий использования. Вот по ссылке выше как раз API можно найти.
Более того у аннотаций есть теги, и их можно выводить только на тех дашбордах, на которых это нужно. Например, на бизнесовом дашборде можно вывести только аннотации про деплой, а на техническом ещё и всякие перезагрузки сервисов, запущенные миграции и тд. Для этого у дашборда в настройках есть раздел Annotations как раз, в котором можно указать нужные теги.
Это сумасшедшая фича графаны, вот тут можно детали почитать grafana.com/docs/grafana/latest/dashboards/build-dashboards/annotate-visualizations/
Может даже по аннотациям отдельный ролик запишу
@@VyacheArt Спасибо большое за ответ и ролик по аннотациям был бы очень интересным
Не раскрыл главную боль - если на графике есть переменные, алертинг к нему не прикрутить :(
Но ролик всё равно класс, спасибо!
я думал тебя нейросеть нарисовала и сделала анимацию
тема алертов вообще не раскрыта
@VyacheArt при попытке получить ID бота выдает {"ok":true,"result":[]}