Евгений Ненахов - Spark Streaming: брать или не брать?

Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Скачать презентацию с сайта SmartData - jrg.su/993g53
Все чаще продуктовым командам приходится решать задачи потоковой обработки данных в связи с потребностью бизнеса обрабатывать данные в режиме реального времени или близком к реальному. Инструментов для решения задач потоковой обработки данных много, и каждый из них способен достаточно эффективно решать свои задачи. Одним из самых популярных решений на данный момент является Apache Spark Streaming, который достаточно универсален и имеет богатую функциональность. Но часто встречаются и такие задачи, где Spark Streaming - это не лучшее решение, и он может впоследствии стать больше обузой, чем эффективным решением. Евгений рассказывает про преимущества и недостатки Spark Streaming: когда стоит применять именно этот инструмент, а когда лучше рассмотреть другие варианты. Он также представляет чек-лист по применению Spark Streaming в проектах. Доклад будет интересен специалистам, которые еще не имели дела со Spark Streaming, но хотели бы его использовать для решения своих задач.

[@vladaleshin5028]

Является ли CDC/Debezium альтернативным решением в случае с небольшим количеством сообщений и несложными трансформациями?