ไม่สามารถเล่นวิดีโอนี้
ขออภัยในความไม่สะดวก
Михаил Благов - Эволюция схемы данных. Носим данные из реляционной СУБД в Hadoop
ฝัง
- เผยแพร่เมื่อ 28 ส.ค. 2024
- Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Скачать презентацию с сайта SmartData - jrg.su/FD7Epx
Знакома ли вам такая ситуация: построили замечательный ETL, витрины и красивые дашборды. На очередной отчетной встрече о работе вашей компании докладчик открывает дашборд, а там вместо графиков красные буквы (в лучше случае) или драматическое снижение ключевых показателей. Все охают, хватаются за сердце, а вы понимаете, что кто-то просто обновил продуктивную систему, не предупредив отдел отчетности... В докладе - про эволюцию схемы реляционных данных. Как не сломать downstream своими обновлениями, как защититься от ломающих обновлений в upstream системе. Стек: Hadoop, Spark. Форматы: Avro, Parquet, ORC. И немного про схемы и технологии их обновления.
elt on spark ? did you hear about informatica or similar products?
It's stupid to write etl with select * from table and then with a wise face prove different life hacks of consequences resolution 😂