André, me tira uma dúvida estou usando o comando co bash operator bash_command = 'mkdir -p "C:\\airflow-docker\\pasta"' esta retornando no log como se a task fosse executada com sucesso, porém não esta sendo criada a pasta. Alguma sugestão?
Olá, muito obrigado por assistir aos vídeos e por compartilhar a sua dúvida. Vamos ver se consigo ajudar... Ai iniciar o Airflow todos os processos só conhecem o diretorio em que o Airflow está instalado. Exemplo: Imagine que instalamos o Airflow no diretorio: C:/AndreRicardo/meu_airflow/ O Airflow só vai conhecer o que estiver dentro do meu_airflow pra baixo. Esta é uma questão de segurança e isolamento que os sistemas operacionais e os programas incluem para proteger os servidores de ataques, vírus e outros que possam danificar ou acessar arquivos que estejam fora da instalação. Isto garante o isolamento e a segurança da aplicação, ou seja, o Airflow só conhece o mundinho dele! Espero ter ajudado... em breve devo gravar um vídeo sobre este tema com mais detalhes. Forte Abraço.
Excelente vídeo meu caro, parabéns! Uma dúvida, meu objetivo é extrair dados de uma base postgre e salvar um .csv localmente no docker. Inicialmente fiz o código python salvando o .csv em uma pasta local, porém ao rodar no airflow e salvar no docker, recebo o erro de não ter permissão para criar pasta e salvar arquivo no docker. Com qual código altero essa permissão para poder salvar no docker? Erro recebido no Airflow: PermissionError: [Errno 13] Permission denied: '/opt/airflow/dados/DesafioGitHub/output_data/csv
Olá! muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Quando vamos salvar alguns arquivos localmente no docker, o airflow precisa de permissão para fazer isto, e o Airflow, por diversos motivos(e um deles é a segurança) só conhece o diretório das DAGs. Para eu tentar te ajudar, me procura no LinkedIn e encaminha a sua DAG(se puder) Espero ter ajudado. Forte Abraço
Boa noite. Adoro os seus vídeos, parabéns. Mas estou com um problema, eu não consigo colocar as dags para aparecer no airflow. Faço tudo certinho mas não atualizo. Você teria uma dica pra mim?
Gostei muito!! Bem objetivo. Uma sugestão seria incluir: Como organizar as dags, em qual diretório...
Ganhou um inscrito, pela simplicidade nas explicações, sem enrolação e pelo carisma!!! 👍
Muito topo, obrigado Mestre!!!!
Eu que agradeço. Abraço.
Muito bom meu camarada, parabéns pelo conteúdo
😀
Parabéns, ótimo videos. Estou seguindo a playlist inteira de airflow aqui. Valeu pela ajuda
muito obrigado. fico feliz em saber que estou conseguindo ajudar.
excelente didática, obrigado pela aula !
Muito obrigado! Bons estudos.
Obrigado pelo tutorial, muito bom!
Muito top, obrigado Mestre!
Eu que agradeço. Abraço.
fera d+
Obrigado!
Top dms!!
Muito obrigado
André, me tira uma dúvida estou usando o comando co bash operator bash_command = 'mkdir -p "C:\\airflow-docker\\pasta"' esta retornando no log como se a task fosse executada com sucesso, porém não esta sendo criada a pasta. Alguma sugestão?
Olá, muito obrigado por assistir aos vídeos e por compartilhar a sua dúvida.
Vamos ver se consigo ajudar...
Ai iniciar o Airflow todos os processos só conhecem o diretorio em que o Airflow está instalado.
Exemplo:
Imagine que instalamos o Airflow no diretorio: C:/AndreRicardo/meu_airflow/
O Airflow só vai conhecer o que estiver dentro do meu_airflow pra baixo.
Esta é uma questão de segurança e isolamento que os sistemas operacionais e os programas incluem para proteger os servidores de ataques, vírus e outros que possam danificar ou acessar arquivos que estejam fora da instalação.
Isto garante o isolamento e a segurança da aplicação, ou seja, o Airflow só conhece o mundinho dele!
Espero ter ajudado... em breve devo gravar um vídeo sobre este tema com mais detalhes.
Forte Abraço.
Excelente vídeo meu caro, parabéns!
Uma dúvida, meu objetivo é extrair dados de uma base postgre e salvar um .csv localmente no docker.
Inicialmente fiz o código python salvando o .csv em uma pasta local, porém ao rodar no airflow e salvar no docker, recebo o erro de não ter permissão para criar pasta e salvar arquivo no docker.
Com qual código altero essa permissão para poder salvar no docker?
Erro recebido no Airflow: PermissionError: [Errno 13] Permission denied: '/opt/airflow/dados/DesafioGitHub/output_data/csv
Olá! muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando.
Quando vamos salvar alguns arquivos localmente no docker, o airflow precisa de permissão para fazer isto, e o Airflow, por diversos motivos(e um deles é a segurança) só conhece o diretório das DAGs.
Para eu tentar te ajudar, me procura no LinkedIn e encaminha a sua DAG(se puder)
Espero ter ajudado.
Forte Abraço
@@andre_ricardo entao voce salva os arquivos na propria pasta dags?
Boa noite. Adoro os seus vídeos, parabéns.
Mas estou com um problema, eu não consigo colocar as dags para aparecer no airflow. Faço tudo certinho mas não atualizo. Você teria uma dica pra mim?