ฝัง
- เผยแพร่เมื่อ 8 ก.พ. 2025
- 🔥 Você quer dominar o mundo da Engenharia de Dados? Neste vídeo, eu revelo como construir um processo ETL impecável usando Microsoft Azure e Spark Databricks! Não perca, clique em 'Assistir' agora! 🔥"
"Você está pronto para elevar sua carreira em Engenharia de Dados a um novo patamar? 🔥 Aprenda como construir um processo de Extração, Transformação e Carga (ETL) usando Microsoft Azure e Spark Databricks! Este vídeo é para qualquer profissional ou entusiasta em tecnologia que deseja criar pipelines de dados robustos e eficientes. Vamos mostrar como otimizar seu workflow em Engenharia de Dados, explorando cada etapa do ETL do início ao fim. 🚀"
Descubra como se tornar um Engenheiro de Dados com o Método Data Pro:
metododatapro....
Covid dataset: www.kaggle.com...
#engenhariadedados #pyspark #microsoftazure
Descubra como se tornar um Engenheiro de Dados com o Método Data Pro:
metododatapro.codifike.com.br/
aula maravilhosa
Que bom que gostou! 😊
Parabéns pelo video, direto ao ponto!
Valeu!
Eu que agradeço
Professor, não faltou o sr. criar a tabela para receber o bronze?
Excelente conteúdo! Obrigado por compartilhar seu conhecimento.
Obrigado
Que sorte ter encontrado seu canal, muito bom!
Muito obrigado 😊
Parabéns pelo conteúdo.
Muito obrigado
Faça um tutorial básico de Azure :D
Anotado
Muito bom mestre!
Obrigado pelo elogio
Conteúdo sensacional!!!
Muuuito bom, parabens!!
Obrigado
deu até vontade de virara engenheiro de dados kkkkk parabéns pela aula, muito boa
Valeu obrigado
Faz um vídeo usando AWS
Boa ideia
Parabéns pelo conteúdo. Um duvida que tenho é se eu conseguiria trabalhar com uma fonte de dados em PDF, tenho algumas monografias em pdf e gostaria de extrair algumas informações e armazenar em um banco de dados SQL.
Dá sim, mas é bem chato pode usar essa lib aqui github.com/chrismattmann/tika-python
Professor tudo bem? Quando vc faz o upload dos arquivos e comenta que "na sua empresa ja vai vir pronto" vc quer dizer por exemplo um processo de Apache Airflow? sou novato e estou tentando encaixar as ideias
O que eu quis dizer foi que provavelmente na sua empresa, o arquivo que será processado, já estará no diretório ou em algum local específico para o seu processo de etl executar. No exemplo do vídeo eu fiz esse processo de upload manual, mas isso será feito de maneira automática. O airflow será poderá ser usado para orquestrar cada passo do processo.
Data de "naiscimento" by Carioquês :D
uma pergunta, por que eu simplesmente não utilizaria o pandas neste caso?
Pois o pandas nao trabalha com dados em paralelo
caramba na hr que comecei a estudar spark jkkkk
Show. Bons estudos
Igual ao colega abaixo,, também encontrei um erro na criação da tabela externa. Vi outras pessoas reportando no Stack também, mas nenhuma solução funcionou aqui...
[RequestId=61bdb970-001b-4f0f-b23e-efafafbe346d ErrorClass=INVALID_PARAMETER_VALUE] GenerateTemporaryPathCredential uri /mnt/azuredatabrickssinas/silver/sinas_fontes is not a valid URI. Error message: INVALID_PARAMETER_VALUE: Missing cloud file system scheme.
Fala amigo, tudo bem? Estou com o mesmo erro, você conseguiu encontrar uma solução?
Excelente video, mas estou com um erro
[RequestId=61bdb970-001b-4f0f-b23e-efafafbe346d ErrorClass=INVALID_PARAMETER_VALUE] GenerateTemporaryPathCredential uri /mnt/azuredatabrickssinas/silver/sinas_fontes is not a valid URI. Error message: INVALID_PARAMETER_VALUE: Missing cloud file system scheme.
Também cheguei nesse ponto e ainda não consegui resolver. Conseguiu uma solução?
@@nettoflorestal eu tb