BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)

Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ 2017
Тезисы:
www.highload.ru...
Мы планируем поделиться с аудиторией примером SuccessStory создания BigData-инфраструктуры (Hadoop) в Почте России. Мы расскажем про выбранные решения, мотивацию их выбора, а также про то, куда развивается продукт в Почте.
Доклад будет интересен всем проектам и компаниям, где только задумываются о развитии BigData-технологий, а также всем, кому интересно узнать, как устроена "внутри" современная Почта.
...
Нашли ошибку в видео? Пишите нам на [e-mail]

[@SergiVRN]

Потрясающая работа!!!

[@ivani3237]

Очень хорошая презентация и рассказ

[@EdwVee]

Почему примерно все перечисленное на джаве? Религия?

[@АлександрКаминский-ш9ъ]

Мало комментов товарищи ! 2020 год а мы используем solution описанный в этом видео ;)

[@Paipai-o1y]

А что не так, объясните кто-нибудь? 🙈🙈

[@TheSergWolf]

Мне вас жаль))))

[@ivani3237]

2020 а вы еще с хадупом??? это уже прошлый век

[@BalynOmavel]

Девочка в углу на 47:47, кто ты?

[@andreykucherov9592]

Healp team, носит микрофон для вопросов :)

[@alexandrem8210]

Оторвать руки этим горе архитекторам. Неудивительно что теперь вместо 4 человек работают 40. Качественно поставили Почту на бабки. 200 млн новых событий в день спокойно и Oracle и Vertica осилили

[@abraham1901]

800m & 5Pb данных, пересчет всех событий каждую ночь

[@TheSergWolf]

"колоночные базы" 😂😂😂.
Ламо

[@zkolja]

очень перегружен проект (пока что осилил до 26 минут)
и не удивительно, что не работало..
посмотрим дальше :)
upd:
повторюсь: слишком перегружено, очень много точек отказа
жаба и жсон - о какой скорости идёт разговор? если об масштабируемости (с оговорками) или понимании приходящих\исходящих пакетов - то да, а о скорости - нет.

[@OskarKokoschka-u2h]

В 2020 это уже устаревшие решения

[@Paipai-o1y]

Подскажите, какие именно решения устарели? От чего им лучше было бы отказаться и в пользу чего? Пытаюсь разобраться в этой теме. Спасибо

[@Paipai-o1y]

И это вы адресовали Почте России или команде Люксофт?

[@ivani3237]

@@Paipai-o1y все уже в облаке. s3+snowflake - это топ на сегодняшний день. Никакие хадупы с вертиками уже не нужны

[@kotovskyandrew]

@@ivani3237 Замечательно подходящее решение для Почты России (сарказм)

[@ivani3237]

@@kotovskyandrew почте россии уже ничего не поможет конечно, но ее пример другим наука.