Мониторинг LLM в production

Панин Глеб, менеджер по работе с большими данными , X5 Tech
Бурный рост эффективности ML систем провоцирует огромное количество дискуссий. X5 Tech собрала экспертов в Data Science, чтобы обсудить как с помощью новых методов и подходов победить неэффективные процессы.
Языковые модели представляют из себя крайне интересный и перспективный инструмент, однако они известны своей нестабильностью. В докладе рассказываю, как пытаемся обнаруживать некорректную работу LLM и оперативно с ней бороться.
____
Подписывайтесь на Х5 Tech, чтобы знать больше о технологиях:
t.me/x5_tech
habr.com/ru/co...
x5tech
kod.ru/author/x5
/ @x5technology