Добрый день. Вы говорите про мягкое, а я в видео говорю про тёплое. Core - это условное деление команд. Core-команда может использовать разные инструменты: Airflow, AirByte, etc. Это всего лишь инструменты. Выбор технологий зависит от Teach Lead, CDO, Principal Data Engineer. RAW слой - это слой сырых данных, его могут и обычно собирает команда ядра (core). Точно также core-команда может собирать ODS, DDS слои и в редких случая DM, о чём я сказал в видео. И повторюсь немного: выбор инструмента зависит от многих параметров. Поэтому в core-команде может быть всё, что вы перечислили.
@@DataLikeQWERTY я не знаю что у вас за команда, но у нас DE не делится. есть задача от заказчика и есть сотрудник, который ее выполняет. да хоть Peer DB или табличная функция postgresql будет использоваться для ETL/ELT процесса PG->CH. Принцип работы одинаковый без разницы какой слой собирается. Есть заказчик с тз и есть исполнитель.
Спасибо за видео! Как лучше всего начать свой путь в мир data engineering?
korsak0v.notion.site/Data-Engineer-185c62fdf79345eb9da9928356884ea0
Круто
Расскажи пж по подробнее про команды ядра
привет) будут ещё видосы?
Будут. Монтируется новый выпуск
что такое ядро? может быть row слой? почему его вдруг должна собирать какая то отдельная команда а не airflow airbyte kafka dagster и т. д.?
Добрый день. Вы говорите про мягкое, а я в видео говорю про тёплое.
Core - это условное деление команд. Core-команда может использовать разные инструменты: Airflow, AirByte, etc. Это всего лишь инструменты. Выбор технологий зависит от Teach Lead, CDO, Principal Data Engineer.
RAW слой - это слой сырых данных, его могут и обычно собирает команда ядра (core). Точно также core-команда может собирать ODS, DDS слои и в редких случая DM, о чём я сказал в видео.
И повторюсь немного: выбор инструмента зависит от многих параметров. Поэтому в core-команде может быть всё, что вы перечислили.
@@DataLikeQWERTY я не знаю что у вас за команда, но у нас DE не делится. есть задача от заказчика и есть сотрудник, который ее выполняет. да хоть Peer DB или табличная функция postgresql будет использоваться для ETL/ELT процесса PG->CH. Принцип работы одинаковый без разницы какой слой собирается. Есть заказчик с тз и есть исполнитель.