Como extrair dados de uma API e salvar no Datalake com Airflow

แชร์
ฝัง
  • เผยแพร่เมื่อ 15 ม.ค. 2025

ความคิดเห็น • 42

  • @videosvirais1039
    @videosvirais1039 ปีที่แล้ว +1

    Obrigado por compartilhar seu conhecimento

    • @dan.asousa
      @dan.asousa  ปีที่แล้ว

      Que bom que gostou. Eu que agradeço

  • @wienbier
    @wienbier 3 ปีที่แล้ว +1

    Piazada que fez o curso da KaSolution com esse mestre deixa salve!

    • @dan.asousa
      @dan.asousa  3 ปีที่แล้ว

      Essa turma foi top d+ !!

  • @joa0liveira92
    @joa0liveira92 8 หลายเดือนก่อน +1

    Excelente Vídeo ! 👌

    • @dan.asousa
      @dan.asousa  8 หลายเดือนก่อน

      Que bom que gostou 👊

  • @edsonbarbosadesouza653
    @edsonbarbosadesouza653 3 ปีที่แล้ว +1

    Boa, Danilo. Ficou excelente

  • @felipef6300
    @felipef6300 3 ปีที่แล้ว +1

    Sem palavras... Excelente ! Obrigado pelo video !

    • @dan.asousa
      @dan.asousa  3 ปีที่แล้ว

      Eu que agradeço pelo tempo !! 👍👊

  • @Maquiavelli
    @Maquiavelli 7 หลายเดือนก่อน +1

    Excelente vídeo Danilo! Poderia compartilhar as configurações que fez para fazer a gravação dos arquivos locais na pasta "./data/randomuser" ?

    • @dan.asousa
      @dan.asousa  7 หลายเดือนก่อน

      Cara, por ser um laboratório pra Dev eu deixei com a permissão aberta. " chmod -R 777 /opt "

  • @yamateknowledge
    @yamateknowledge 2 ปีที่แล้ว +1

    Parabéns pelo vídeo, muito boa a didática, excelente explicação! Ganhou mais um inscrito :)

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว +1

      Show, obrigado pelo feedback

  • @thiagoduarte7207
    @thiagoduarte7207 2 ปีที่แล้ว +1

    show esse vídeo!

  • @danpolocain
    @danpolocain 3 ปีที่แล้ว +1

    Ficou bom demais!!

  • @marcosoliveira8731
    @marcosoliveira8731 2 ปีที่แล้ว +1

    Muito bom cara!
    Obrigado!
    +1

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว +1

      Eu que agradeço!!

  • @AlmirBispo-CSV-Comp-DB
    @AlmirBispo-CSV-Comp-DB 2 ปีที่แล้ว +1

    Olá Danilo.Agradeço muito pelo teu vídeo esclarecedor.Tua didática e demo ficaram perfeitas.Particularmente acho que o conceito apresentado como algo muito lento.Não sabia que isso era o método de pipeline estado da art.Acho que eles erraram no conceito.Você não tem culpa nenhuma disso.

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว

      Ótima sugestão!

  • @thiagobellotto
    @thiagobellotto 2 ปีที่แล้ว +1

    Baita vídeo! Como proceder quando queremos lançar um Airflow em outro local que não o localhost? Deploy em uma instância em nuvem? Ou uma solução na linha do Cloud Run (Google Cloud)? Valeuu!

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว

      Fala Thiago, tudo bem ?
      Nesse vídeo eu mostro como configura um Airflow Gerenciado na AWS : th-cam.com/video/hg_DS2CRbiI/w-d-xo.html
      Veja se é isso que precisa ?
      Caso você queira lançar um airflow em produção sem ser gerenciado, o caminho é parecido, porém, no vídeo que fiz de airflow não tem os setups recomendados como um banco sql com alta disponibilidade, rotinas de backup, etc.

  • @arthurvinicius9215
    @arthurvinicius9215 2 ปีที่แล้ว +2

    Cara, por favor, faz um vídeo de como usar a api do twitter pra salvar num datalake.

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว

      Fala Arthur, tudo bem? Gostei da ideia, não conheço essa API. Vou entender como funciona e depois gravo um vídeo! Valeuu

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว +2

      @arthur vinicius já está no forno. Fica de olho no canal que provavelmente até o fim do mês sai!!! Vlwwww

  • @oiwelder
    @oiwelder ปีที่แล้ว +2

    Olá Danilo, gostei muito do seu canal e me tornei inscrito. Seria possível criar um conteúdo utilizando pyspark + Airflow?

    • @dan.asousa
      @dan.asousa  ปีที่แล้ว +1

      Opa, tudo bem? Obrigado pela inscrição. Claro é sim, vou colocar aqui pra gravar. Fiquei um pouco parado esses meses porque nasceu meu filho. Mas agora já estou me programando pra começar as novas gravações. Obrigado

    • @oiwelder
      @oiwelder ปีที่แล้ว +1

      @@dan.asousa felicidade ao novo membro da sua Família!

  • @Marcelo-tz6du
    @Marcelo-tz6du 2 ปีที่แล้ว +1

    consigo livro sobre conceitos teóricos de pipelines?

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว +1

      Olá Marcelo, tudo bem?
      Eu conheço esse, mas ainda não li.
      Data Pipelines with Apache Airflow
      Abs.

  • @wellingtonbraga2670
    @wellingtonbraga2670 ปีที่แล้ว +1

    Estou começando implementar meus serviços do Airflow em um cluster on-premise gerenciado pelo Kubernetes, porém sempre que eu utilizo o helm para instalar o pacote do airflow, os containers não são iniciados corretamente nos nós worker. Ele fica com o status de PodInicialization eternamente. Você poderia me auxilar nessa questão? Não consegui identificar o erro pelos comandos kubectl logs | describe :(

    • @dan.asousa
      @dan.asousa  ปีที่แล้ว

      Hum.. ainda não peguei esse cenário. Se quiser manda os logs pra gente tentar dar uma olhada. Criei canal grupos para a galera jogar dúvidas técnicas. Estão na descrição do vídeo e do canal. Joga la seu problema e o log 🤜

  • @carlosaugusto.devjava
    @carlosaugusto.devjava 2 ปีที่แล้ว +1

    Sua didática é ótima. Você vai ensinar a gerar um email com um resultado de uma query por exempo?

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว

      Opa, tudo bem? Não estava nos planos mas posso gravar um vídeo explicando!!

    • @carlosaugusto.devjava
      @carlosaugusto.devjava 2 ปีที่แล้ว

      @@dan.asousa muito obrigado pela atenção e pelo retorno. Já trabalhei em uma empresa que pedia por email o resultado para campanhas do marketing todo dia de manhã sedo. Vai ajudar muito!

  • @henriquecosta4539
    @henriquecosta4539 2 ปีที่แล้ว +1

    Alguem ai sabe um video semelhante em typescript?

  • @alanamantinodasilva4362
    @alanamantinodasilva4362 2 ปีที่แล้ว +1

    Muito bom Danilo. Pq vc n faz vídeos mais simples, por exemplo, como transferir dados de bancos e servidores diferentes, ou importar dados de arquivos csv, excel etc, não tem ngm fazendo isso no youtube..

    • @dan.asousa
      @dan.asousa  2 ปีที่แล้ว

      Opa, tudo bem?
      Obrigado pela dica, vou colocar aqui no backlog pra fazer esses vídeos, em breve eu posto!
      Abs

  • @guilhermedias3519
    @guilhermedias3519 3 ปีที่แล้ว

    Os dados recolhidos na API sao atualizados ou ficam apenas com o valor do momento da recolha?

    • @dan.asousa
      @dan.asousa  3 ปีที่แล้ว

      Olá Guilherme, tudo bem ? Esses dados não são atualizados. O valor permanece o mesmo da captura.