Valeu pela mensagem e pelo feedback. O objetivo é mesmo comportilhar conhecimento da forma mais didática possivel. Agradeço se comprartilhar o canal nas suas redes. Abraços.
Cara, estou iniciando os estudos em Azure e Data Engineer e este vídeo é de grande valia, gostei bastante! Continue postando vídeos dessa qualidade e assunto, obrigado! OBS: Já assinei o canal!!!
Excelente explicação Luis! Show de bola! Luis, um grande desafio de quem está migrando projetos de ETL e DW para ambiente Microsoft, é questão da precificação do Data Factory. Por mais que no site da Microsoft tem a calculadora, ainda é desafiante estimar o valor quando as cargas estiverem em produção. Com o SSIS rodando no Data Factory é até mais simples de entender e estimar os preços. Mas diretamente no Data Factory ainda é desafiante. Poderia gravar um vídeo falando sobre isso e dando alguns exemplos práticos de precificação dos serviços do Data Factory nativo? Abraço!
@@SQLCerebro Complementando o comentário do Ricardo.. a diferença entre colocar os arquivos csv num blob e num data lake e em PAAS trás uns custos que não são muito estimáveis.. fica tudo meio no achômetro .. o processo é mais simples, mas a precificação é mais complexa e me parece que temos de acompanhar o dia a dia com cuidado para não superdimensionar os recursos e extrapolar no gasto ainda fiquei na dúvida de como criar um MOLAP nesta prataforma, ou temos de converter os cubos para tabelas?
Ricardo. De fato é preciso assumir algumas premissas para fazer os cálculos de custo do ambiente. Mas há uma calculadora que pode nos ajudar nesta tarefa: azure.microsoft.com/pt-br/pricing/calculator/
Luiis, boa noite, Parabens pelo curso, tenho uma duvida, tudo que voce fez, foi feito sem uma linha de codigo, para promover esses passos para homologação e produção, existe alguma ferramenta ou algo parecedo, para a promoção para os demais ambientes ?
Olá José Paulo. Existem algumas formas de aplicar as disciplinas de DevOps com o Data Factory, 1. Você pode integrar o ADF com o Github ou o Azure DevOps, você pode também usar um SDK em Python ou .NET. Você pode ainda usar Azure Cli ou PowerShell para criar pilepine as Code: medium.com/hitachisolutions-braintrust/3-steps-to-run-powershell-in-azure-data-factory-e7c73d38e548
@@SQLCerebro , Luis, muito obrigado pela resposta, atualmente o mercado usa mais o que ADF com o Github ou o Azure DevOps ? E parabens pela sua iniciativa, me inscrevi e vou segui-lo, eu trabalho com AWS e no dia08/01/2024, vou começar um curso na Ka Solution 34203 Data Engineering on Microsoft Azure (DP-203) , pois quero ter conhecimento em engenharia de dados nas duas clouds.
Correto. A ingestão é normalmente é a cptura dos dados brutos, aqui no vídeo estou tratando e transformando os dados, mas sim pode ser considerado ingestão também.
Excelente vídeo! Ganhou um inscrito! Uma dúvida: o Data Factory possui flexibilidade para criar tabelas slowly change dimension (tipo 2 por exemplo)? Pelo que vi não há tantos steps iguais outras ferramentas, mas também posso estar equivocado por estar iniciando os estudos.
Fala Afonso. A resposta é sim o ADF suporta SCD. Sugiro que dê uma olhada no material desse curso gratuito: docs.microsoft.com/pt-br/learn/modules/populate-slowly-changing-dimensions-azure-synapse-analytics-pipelines/
![ละลาย (LALALYE) - DAOU PITTAYA ต้าห์อู๋ พิทยา [OFFICIAL MV]](http://i.ytimg.com/vi/wo6r9TgausI/mqdefault.jpg)
Parabéns pela didática e conteúdo! Não é fácil ser simples e objetivo, e você o fez com maestria. Sucesso hoje e sempre !!!
Valeu pela mensagem e pelo feedback. O objetivo é mesmo comportilhar conhecimento da forma mais didática possivel. Agradeço se comprartilhar o canal nas suas redes. Abraços.
Cara, estou iniciando os estudos em Azure e Data Engineer e este vídeo é de grande valia, gostei bastante! Continue postando vídeos dessa qualidade e assunto, obrigado! OBS: Já assinei o canal!!!
Valeu Marcos. O objetivo é mesmo ajudar a comunidade. Se puder compartilhe o vídeo nas suas redes sociais para ajudar a divulgar o trabalho.
Simples e objetivo
@@alexwallace960 obrigado pelo comentário Alex. Espero que goste dos outros vídeos do canal. Abraços
Valeu pela demonstração.
Obrigado pelo feedback Mauricio. Abraços
Bacana demais, muito obrigado!
Obridado Vini. Se puder, por favor compartilhe o vídeo nas suas redes. Abraços
Excelente explicação Luis! Show de bola!
Luis, um grande desafio de quem está migrando projetos de ETL e DW para ambiente Microsoft, é questão da precificação do Data Factory. Por mais que no site da Microsoft tem a calculadora, ainda é desafiante estimar o valor quando as cargas estiverem em produção. Com o SSIS rodando no Data Factory é até mais simples de entender e estimar os preços. Mas diretamente no Data Factory ainda é desafiante.
Poderia gravar um vídeo falando sobre isso e dando alguns exemplos práticos de precificação dos serviços do Data Factory nativo?
Abraço!
Fala Ricardo. Obrigado pela sugestão, vou pensar em como posso desenvolver esse tema. Abraços.
@@SQLCerebro Complementando o comentário do Ricardo.. a diferença entre colocar os arquivos csv num blob e num data lake e em PAAS trás uns custos que não são muito estimáveis.. fica tudo meio no achômetro .. o processo é mais simples, mas a precificação é mais complexa e me parece que temos de acompanhar o dia a dia com cuidado para não superdimensionar os recursos e extrapolar no gasto ainda fiquei na dúvida de como criar um MOLAP nesta prataforma, ou temos de converter os cubos para tabelas?
@@guaracifalcao Por enquanto a opção disponível no Azure Analysis é apenas tabular.
Ricardo. De fato é preciso assumir algumas premissas para fazer os cálculos de custo do ambiente. Mas há uma calculadora que pode nos ajudar nesta tarefa: azure.microsoft.com/pt-br/pricing/calculator/
Luiis, boa noite, Parabens pelo curso, tenho uma duvida, tudo que voce fez, foi feito sem uma linha de codigo, para promover esses passos para homologação e produção, existe alguma ferramenta ou algo parecedo, para a promoção para os demais ambientes ?
Olá José Paulo. Existem algumas formas de aplicar as disciplinas de DevOps com o Data Factory, 1. Você pode integrar o ADF com o Github ou o Azure DevOps, você pode também usar um SDK em Python ou .NET. Você pode ainda usar Azure Cli ou PowerShell para criar pilepine as Code: medium.com/hitachisolutions-braintrust/3-steps-to-run-powershell-in-azure-data-factory-e7c73d38e548
@@SQLCerebro , Luis, muito obrigado pela resposta, atualmente o mercado usa mais o que ADF com o Github ou o Azure DevOps ?
E parabens pela sua iniciativa, me inscrevi e vou segui-lo, eu trabalho com AWS e no dia08/01/2024, vou começar um curso na Ka Solution 34203 Data Engineering on Microsoft Azure (DP-203) , pois quero ter conhecimento em engenharia de dados nas duas clouds.
@@josepaulo9054 Certamente o Github. Bons estudos. Abraços
Excelente didática, obrigado!
Super Obrigado Jord. Se puder, por favor compartilhe o vídeo nas suas redes. Abraços
Dentro dos estepes pra criar um data lake, esses procedimentos seriam INGESTÃO e ARMAZENAMENTO, certo?
Correto. A ingestão é normalmente é a cptura dos dados brutos, aqui no vídeo estou tratando e transformando os dados, mas sim pode ser considerado ingestão também.
valeu prof. obrigado.
Valeu Edson!!!! Abraços
Muito bom, parabéns pelos vídeos, você indica algum curso online sobre o Azure com essa temática voltada para ETLs e DW?
Eduardo, eu recomendo o curso do EDX: www.edx.org/course/orchestrating-big-data-with-azure-data-factory
Excelente vídeo! Ganhou um inscrito!
Uma dúvida: o Data Factory possui flexibilidade para criar tabelas slowly change dimension (tipo 2 por exemplo)?
Pelo que vi não há tantos steps iguais outras ferramentas, mas também posso estar equivocado por estar iniciando os estudos.
Fala Afonso. A resposta é sim o ADF suporta SCD. Sugiro que dê uma olhada no material desse curso gratuito: docs.microsoft.com/pt-br/learn/modules/populate-slowly-changing-dimensions-azure-synapse-analytics-pipelines/
O Pipelines são a implementação do Azure data Factory dentro do Synapse Studio. Abraços
Excellente conteudo. Favor , podes trazer algo sobre ETLs na AWS Glue ?
Tenho alguns assuntos preparados para os próximos vídeos, mas assim que possível abordarei esse. Obrigado pelo comentário.
Muito bom
Fala Robson, se puder, por favor compartilhe o vídeo nas suas redes. Obrigado pelo comentário. Abraços
Muito bacana...bem explicado!
Que bom que gostou. Não deixe de compartilhar os videos nas suas redes. Abraços