Olá Danilo.Agradeço muito pelo teu vídeo esclarecedor.Tua didática e demo ficaram perfeitas.Particularmente acho que o conceito apresentado como algo muito lento.Não sabia que isso era o método de pipeline estado da art.Acho que eles erraram no conceito.Você não tem culpa nenhuma disso.
Baita vídeo! Como proceder quando queremos lançar um Airflow em outro local que não o localhost? Deploy em uma instância em nuvem? Ou uma solução na linha do Cloud Run (Google Cloud)? Valeuu!
Fala Thiago, tudo bem ? Nesse vídeo eu mostro como configura um Airflow Gerenciado na AWS : th-cam.com/video/hg_DS2CRbiI/w-d-xo.html Veja se é isso que precisa ? Caso você queira lançar um airflow em produção sem ser gerenciado, o caminho é parecido, porém, no vídeo que fiz de airflow não tem os setups recomendados como um banco sql com alta disponibilidade, rotinas de backup, etc.
Opa, tudo bem? Obrigado pela inscrição. Claro é sim, vou colocar aqui pra gravar. Fiquei um pouco parado esses meses porque nasceu meu filho. Mas agora já estou me programando pra começar as novas gravações. Obrigado
Estou começando implementar meus serviços do Airflow em um cluster on-premise gerenciado pelo Kubernetes, porém sempre que eu utilizo o helm para instalar o pacote do airflow, os containers não são iniciados corretamente nos nós worker. Ele fica com o status de PodInicialization eternamente. Você poderia me auxilar nessa questão? Não consegui identificar o erro pelos comandos kubectl logs | describe :(
Hum.. ainda não peguei esse cenário. Se quiser manda os logs pra gente tentar dar uma olhada. Criei canal grupos para a galera jogar dúvidas técnicas. Estão na descrição do vídeo e do canal. Joga la seu problema e o log 🤜
@@dan.asousa muito obrigado pela atenção e pelo retorno. Já trabalhei em uma empresa que pedia por email o resultado para campanhas do marketing todo dia de manhã sedo. Vai ajudar muito!
Muito bom Danilo. Pq vc n faz vídeos mais simples, por exemplo, como transferir dados de bancos e servidores diferentes, ou importar dados de arquivos csv, excel etc, não tem ngm fazendo isso no youtube..
Obrigado por compartilhar seu conhecimento
Que bom que gostou. Eu que agradeço
Piazada que fez o curso da KaSolution com esse mestre deixa salve!
Essa turma foi top d+ !!
Excelente Vídeo ! 👌
Que bom que gostou 👊
Boa, Danilo. Ficou excelente
Obrigado
Sem palavras... Excelente ! Obrigado pelo video !
Eu que agradeço pelo tempo !! 👍👊
Excelente vídeo Danilo! Poderia compartilhar as configurações que fez para fazer a gravação dos arquivos locais na pasta "./data/randomuser" ?
Cara, por ser um laboratório pra Dev eu deixei com a permissão aberta. " chmod -R 777 /opt "
Parabéns pelo vídeo, muito boa a didática, excelente explicação! Ganhou mais um inscrito :)
Show, obrigado pelo feedback
show esse vídeo!
Obrigado Thiago
Ficou bom demais!!
Valeuu Dan !!
Muito bom cara!
Obrigado!
+1
Eu que agradeço!!
Olá Danilo.Agradeço muito pelo teu vídeo esclarecedor.Tua didática e demo ficaram perfeitas.Particularmente acho que o conceito apresentado como algo muito lento.Não sabia que isso era o método de pipeline estado da art.Acho que eles erraram no conceito.Você não tem culpa nenhuma disso.
Ótima sugestão!
Baita vídeo! Como proceder quando queremos lançar um Airflow em outro local que não o localhost? Deploy em uma instância em nuvem? Ou uma solução na linha do Cloud Run (Google Cloud)? Valeuu!
Fala Thiago, tudo bem ?
Nesse vídeo eu mostro como configura um Airflow Gerenciado na AWS : th-cam.com/video/hg_DS2CRbiI/w-d-xo.html
Veja se é isso que precisa ?
Caso você queira lançar um airflow em produção sem ser gerenciado, o caminho é parecido, porém, no vídeo que fiz de airflow não tem os setups recomendados como um banco sql com alta disponibilidade, rotinas de backup, etc.
Cara, por favor, faz um vídeo de como usar a api do twitter pra salvar num datalake.
Fala Arthur, tudo bem? Gostei da ideia, não conheço essa API. Vou entender como funciona e depois gravo um vídeo! Valeuu
@arthur vinicius já está no forno. Fica de olho no canal que provavelmente até o fim do mês sai!!! Vlwwww
Olá Danilo, gostei muito do seu canal e me tornei inscrito. Seria possível criar um conteúdo utilizando pyspark + Airflow?
Opa, tudo bem? Obrigado pela inscrição. Claro é sim, vou colocar aqui pra gravar. Fiquei um pouco parado esses meses porque nasceu meu filho. Mas agora já estou me programando pra começar as novas gravações. Obrigado
@@dan.asousa felicidade ao novo membro da sua Família!
consigo livro sobre conceitos teóricos de pipelines?
Olá Marcelo, tudo bem?
Eu conheço esse, mas ainda não li.
Data Pipelines with Apache Airflow
Abs.
Estou começando implementar meus serviços do Airflow em um cluster on-premise gerenciado pelo Kubernetes, porém sempre que eu utilizo o helm para instalar o pacote do airflow, os containers não são iniciados corretamente nos nós worker. Ele fica com o status de PodInicialization eternamente. Você poderia me auxilar nessa questão? Não consegui identificar o erro pelos comandos kubectl logs | describe :(
Hum.. ainda não peguei esse cenário. Se quiser manda os logs pra gente tentar dar uma olhada. Criei canal grupos para a galera jogar dúvidas técnicas. Estão na descrição do vídeo e do canal. Joga la seu problema e o log 🤜
Sua didática é ótima. Você vai ensinar a gerar um email com um resultado de uma query por exempo?
Opa, tudo bem? Não estava nos planos mas posso gravar um vídeo explicando!!
@@dan.asousa muito obrigado pela atenção e pelo retorno. Já trabalhei em uma empresa que pedia por email o resultado para campanhas do marketing todo dia de manhã sedo. Vai ajudar muito!
Alguem ai sabe um video semelhante em typescript?
Muito bom Danilo. Pq vc n faz vídeos mais simples, por exemplo, como transferir dados de bancos e servidores diferentes, ou importar dados de arquivos csv, excel etc, não tem ngm fazendo isso no youtube..
Opa, tudo bem?
Obrigado pela dica, vou colocar aqui no backlog pra fazer esses vídeos, em breve eu posto!
Abs
Os dados recolhidos na API sao atualizados ou ficam apenas com o valor do momento da recolha?
Olá Guilherme, tudo bem ? Esses dados não são atualizados. O valor permanece o mesmo da captura.