Андрей Терехов - Как устроена поставка данных в Яндексе

Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Практически любая компания, оперирующая данными, быстро приходит к необходимости хранить и обрабатывать их в разных системах в зависимости от задач.
Аналитики уезжают в Clickhouse и Greenplum, бэкапы на черный день отгружаются в дешевые HDFS и S3. Разработчики хотят все что ни попадя сгрузить в Elastic и Kafka, а любой яндексоид - в лучшее хранилище на свете, которое он сам с друзьями написал на досуге. Но начальник настоял - давайте еще Oracle. В таком мире возникает запрос на сервис, который сможет быстро и эффективно перекладывать данные между этими мирами.
Для решения данной задачи в Яндексе разработали Data Transfer - сервис кросс-системной репликации данных. Им уже пользуются сотни команд, постоянно перекачивая десятки гигабайт данных в секунду, а некоторое время назад он стал доступен и пользователям Яндекс.Облака.
Доклад будет полезен как разработчикам, проявляющим интерес к распределенным системам поставки больших данных, так и дата-инженерам, которые узнают детали работы востребованного инструмента.
Скачать презентацию: assets.ctfassets.net/oxjq45e8...

[@npc-r390]

Если бы вы выкатили эту штуку в opensourse, было бы здорово