- 34
- 46 910
Danilo Sousa
Brazil
āđāļāđāļēāļĢāđāļ§āļĄāđāļĄāļ·āđāļ 24 āļ.āļ. 2021
ð Bem-vindo ao Canal Danilo Sousa - Big Data, Machine Learning e IA!
Aqui, vocÊ encontra tudo o que precisa para mergulhar no universo de dados e inteligÊncia artificial! ð De tutoriais prÃĄticos sobre Big Data a conceitos avançados de Machine Learning, passando por aplicaçÃĩes reais de IA, nosso objetivo ÃĐ trazer conhecimento acessÃvel e valioso para todos os nÃveis de aprendizado.
ð Se inscreva agora e embarque nessa jornada com a gente! Novos vÃdeos toda semana. NÃĢo perca nossas dicas e tutoriais exclusivos!
Grupos do WhatsAPP e Telegram Para discussÃĩes TÃĐcnicas:
chat.whatsapp.com/JBEq2kBCEG52ewlZYIxsZD
Redes Sociais:
www.danilosousa.com/
Instagram : dan.asousa
Linkedin: www.linkedin.com/in/danilosousadba
Facebook: canaldodanilosousa
Aqui, vocÊ encontra tudo o que precisa para mergulhar no universo de dados e inteligÊncia artificial! ð De tutoriais prÃĄticos sobre Big Data a conceitos avançados de Machine Learning, passando por aplicaçÃĩes reais de IA, nosso objetivo ÃĐ trazer conhecimento acessÃvel e valioso para todos os nÃveis de aprendizado.
ð Se inscreva agora e embarque nessa jornada com a gente! Novos vÃdeos toda semana. NÃĢo perca nossas dicas e tutoriais exclusivos!
Grupos do WhatsAPP e Telegram Para discussÃĩes TÃĐcnicas:
chat.whatsapp.com/JBEq2kBCEG52ewlZYIxsZD
Redes Sociais:
www.danilosousa.com/
Instagram : dan.asousa
Linkedin: www.linkedin.com/in/danilosousadba
Facebook: canaldodanilosousa
Novo AWS S3 Tables: Armazenamento e Consulta de Dados Simplificados
Neste vÃdeo, vocÊ vai conhecer o #s3 #tables, o mais recente serviço da #AWS que promete revolucionar a forma como armazenamos e consultamos dados na nuvem. Vou explicar passo a passo como configurar o serviço, criar tabelas diretamente em buckets #S3 e aproveitar recursos avançados de consulta e integraçÃĢo com outras soluçÃĩes AWS, como Amazon Athena e AWS Glue.
O que vocÊ vai aprender neste vÃdeo:
Deixe seu Like e Inscreva-se no canal para nÃĢo perder nenhum vÃdeo sobre AWS, computaçÃĢo em nuvem e boas prÃĄticas de desenvolvimento.
Se tiver dÚvidas ou sugestÃĩes, deixe um comentÃĄrio - ficarei feliz em responder!
Links:
www.danilosousa.com/
Instagram : dan.asousa
Linkedin: www.linkedin.com/in/danilosousousadba
Facebook : canaldodanilosousa
00:00 Inicio
00:20 Overview Arquitetura Hadoop / MPP
01:10 HDFS
02:00 S3
02:26 Melhores prÃĄticas armazenamento Datalake
02:44 Small Files
03:00 S3Tables
04:25 EMR - Apache Spark
04:40 Iceberg Catalog vs Glue Catalog
05:30 spark-shell
06:05 Criando Namespace no Apache Iceberg
O que vocÊ vai aprender neste vÃdeo:
Deixe seu Like e Inscreva-se no canal para nÃĢo perder nenhum vÃdeo sobre AWS, computaçÃĢo em nuvem e boas prÃĄticas de desenvolvimento.
Se tiver dÚvidas ou sugestÃĩes, deixe um comentÃĄrio - ficarei feliz em responder!
Links:
www.danilosousa.com/
Instagram : dan.asousa
Linkedin: www.linkedin.com/in/danilosousousadba
Facebook : canaldodanilosousa
00:00 Inicio
00:20 Overview Arquitetura Hadoop / MPP
01:10 HDFS
02:00 S3
02:26 Melhores prÃĄticas armazenamento Datalake
02:44 Small Files
03:00 S3Tables
04:25 EMR - Apache Spark
04:40 Iceberg Catalog vs Glue Catalog
05:30 spark-shell
06:05 Criando Namespace no Apache Iceberg
āļĄāļļāļĄāļĄāļāļ: 176
āļ§āļĩāļāļĩāđāļ
Configurando Sagemaker com Cloud Formation e Github Actions
āļĄāļļāļĄāļĄāļāļ 2059 āļŦāļĨāļēāļĒāđāļāļ·āļāļāļāđāļāļ
Neste vÃdeo, mostraremos como configurar o Sagemaker usando Cloud Formation e Github Actions. Se vocÊ ÃĐ novo na AWS e no Sagemaker, este tutorial irÃĄ guiÃĄ-lo atravÃĐs do processo de configuraçÃĢo passo a passo. Familiarize-se com essas ferramentas e otimize seus projetos de aprendizado de mÃĄquina! Links: www.danilosousa.com/ Instagram : dan.asousa Linkedin: www.linkedin.com/in/danil...
AWS Sagemaker | Machine Learning
āļĄāļļāļĄāļĄāļāļ 429āļāļĩāļāļĩāđāđāļĨāđāļ§
Segue o primeiro vÃdeo da sÃĐrie sobre o #aws #sagemaker que ÃĐ uma ferramenta sensacional para a criaçÃĢo de modelos de #machinelearning Com o Sagemaker ÃĐ possÃvel fazer testes e exploraçÃĢo de modelos, usar todo o poder computacional da AWS para treinar modelos complexos que necessitam de GPU. Realizar #deploy dos modelos em produçÃĢo e muito mais. Instagram dan.asousa Links: www.dan...
Como instalar o Airflow no Windows
āļĄāļļāļĄāļĄāļāļ 7KāļāļĩāļāļĩāđāđāļĨāđāļ§
Fala galera, tudo bem com vocÊs ? Decidi gravar um vÃdeo ensinando como fazer a instalaçÃĢo do apache #airflow no windows para ajudar quem ainda nÃĢo tem acesso ao Airflow em Cloud ou no ambiente Linux. Lembrando que essa instalaçÃĢo nÃĢo ÃĐ recomendado para executar em ambientes de produçÃĢo e serve apenas para utilizar como ambiente para desenvolvimento. Se vocÊ gosta de conteÚdos sobre #bigdata e ...
Como Fazer AgregaçÃĩes no Apache Spark ?
āļĄāļļāļĄāļĄāļāļ 1502 āļāļĩāļāļĩāđāđāļĨāđāļ§
Corte do vÃdeo th-cam.com/video/Ky_RoI0umPc/w-d-xo.html Neste vÃdeo vamos aprender como fazer uma #agregaçÃĢo em um #dataframe utilizando o #apachespark Links: www.danilosousa.com/ Instagram : dan.asousa Linkedin: www.linkedin.com/in/danilosousousadba Facebook : canaldodanilosousa Grupo no Telegram para discussÃĩes tÃĐcnicas : t.me/canaldodanilosousa
Spark Streaming Hands ON
āļĄāļļāļĄāļĄāļāļ 2.3K2 āļāļĩāļāļĩāđāđāļĨāđāļ§
Fala Galera tudo bem com vocÊs? Seguindo a sequÊncia de vÃdeos sobre #ApacheSpark, neste vÃdeo, vamos ter mais um Hands ON sobre #dataengineering mas dessa vez serÃĄ com #sparkstreaming. Vamos aprender como construir um Spark Streaming lendo uma conexÃĢo socket e tambÃĐm lendo um diretÃģrio. Espero que gostem e qualquer dÚvida podem mandar nos comentÃĄrios que ajudo vocÊs. Links: www.danilosousa.com...
Como Abrir um Arquivo CSV utilizando o Apache Spark ?
āļĄāļļāļĄāļĄāļāļ 8392 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como Abrir um Arquivo CSV utilizando o Apache Spark ?
Como criar uma Spark Session?
āļĄāļļāļĄāļĄāļāļ 9152 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como criar uma Spark Session?
Como funciona o Spark Streaming ?
āļĄāļļāļĄāļĄāļāļ 1.4K2 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como funciona o Spark Streaming ?
Spark Sql VS Spark Dataframe
āļĄāļļāļĄāļĄāļāļ 4702 āļāļĩāļāļĩāđāđāļĨāđāļ§
Spark Sql VS Spark Dataframe
Como funciona o Particionamento no Apache Spark ?
āļĄāļļāļĄāļĄāļāļ 7142 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como funciona o Particionamento no Apache Spark ?
RDD VS Dataframe | Apache Spark
āļĄāļļāļĄāļĄāļāļ 7142 āļāļĩāļāļĩāđāđāļĨāđāļ§
RDD VS Dataframe | Apache Spark
O que ÃĐ um Dataframe ? | Apache Spark
āļĄāļļāļĄāļĄāļāļ 9032 āļāļĩāļāļĩāđāđāļĨāđāļ§
O que ÃĐ um Dataframe ? | Apache Spark
O que ÃĐ Lazy Evaluation ? | Apache Spark
āļĄāļļāļĄāļĄāļāļ 9672 āļāļĩāļāļĩāđāđāļĨāđāļ§
O que ÃĐ Lazy Evaluation ? | Apache Spark
Crie seu primeiro cÃģdigo de Apache Spark
āļĄāļļāļĄāļĄāļāļ 2.9K2 āļāļĩāļāļĩāđāđāļĨāđāļ§
Crie seu primeiro cÃģdigo de Apache Spark
O que ÃĐ um RDD no Apache Spark ?
āļĄāļļāļĄāļĄāļāļ 1.6K2 āļāļĩāļāļĩāđāđāļĨāđāļ§
O que ÃĐ um RDD no Apache Spark ?
Como Funciona um Job no Apache Spark ?
āļĄāļļāļĄāļĄāļāļ 6042 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como Funciona um Job no Apache Spark ?
Arquitetura Apache Spark
āļĄāļļāļĄāļĄāļāļ 5712 āļāļĩāļāļĩāđāđāļĨāđāļ§
Arquitetura Apache Spark
Tipos de implementaçÃĩes Com Apache Spark
āļĄāļļāļĄāļĄāļāļ 3762 āļāļĩāļāļĩāđāđāļĨāđāļ§
Tipos de implementaçÃĩes Com Apache Spark
Como fazer Query em CSV com AWS Athena
āļĄāļļāļĄāļĄāļāļ 2K2 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como fazer Query em CSV com AWS Athena
Como configurar o Apache Airflow na AWS (MWAA)
āļĄāļļāļĄāļĄāļāļ 2.8K2 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como configurar o Apache Airflow na AWS (MWAA)
Airflow Local VS Airflow Gerenciado na AWS
āļĄāļļāļĄāļĄāļāļ 2K2 āļāļĩāļāļĩāđāđāļĨāđāļ§
Airflow Local VS Airflow Gerenciado na AWS
Como extrair dados de uma API e salvar no Datalake com Airflow
āļĄāļļāļĄāļĄāļāļ 6K3 āļāļĩāļāļĩāđāđāļĨāđāļ§
Como extrair dados de uma API e salvar no Datalake com Airflow
Apache Airflow + InstalaçÃĢo Docker
āļĄāļļāļĄāļĄāļāļ 4.1K3 āļāļĩāļāļĩāđāđāļĨāđāļ§
Apache Airflow InstalaçÃĢo Docker
ProfissÃĩes na ÃĄrea de dados
āļĄāļļāļĄāļĄāļāļ 1263 āļāļĩāļāļĩāđāđāļĨāđāļ§
ProfissÃĩes na ÃĄrea de dados
Legal... Estou aguardando os prÃģximos vÃdeos.
JÃĄ estou preparando o prÃģximo sobre as novas funcionalidades. TMJ ðŠ
ParabÃĐns Ãģtimo video.
Que bom que gostou !! Obrigado
muito foda a explicaçÃĢo, meus parabÃĐns! vou ficar no aguardo do prÃģximo vÃdeo. valeu Danilo!
Valeu, jÃĄ estou preparando o prÃģximo. TMJ ð
Sensacional, muitas dÚvidas que eu tinha sobre que tem no pdf de simulado da certificaçÃĢo de Associate Developer foram respondidas nessa sÃĐrie, obrigado pela ajuda!ð
Obrigado pelo feedback!
Tudo bem, Danilo? Estou tendo dificuldades para instalar o Airflow. Tentei tanto pelo Visual Studio Code, atravÃĐs de um tutorial gringo; agora pelo seu tambÃĐm e, em ambos os casos, aparece o mesmo erro pra mim: (root) Additional property root command is not allowed O que seria isso?
Opa, tudo em ordem? Entra no nosso grupo do whats e coloca os erros lÃĄ que fica mais fÃĄcil de ajudar. chat.whatsapp.com/JBEq2kBCEG52ewlZYIxsZD
@@dan.asousa Obrigado, amigo!! Solicitei acesso ao grupo.
@@fggfdfg3525 Show, ÃĐ sÃģ postar sua dÚvida lÃĄ.
Muito rÃĄpido na explicaçÃĢo
conteudo rico, curto e com poucos inscritos, nunca vou entender
Criar conteÚdo educativo ÃĐ complicado mesmo. âOssos do ofÃcioâ. Bora compartilhar aà pra bater 1000 inscritos. Quase lÃĄ ðð
Muito boa a explicaçÃĢo. RÃĄpida e objetiva! ParabÃĐns!
Que bom que gostou
simples, rÃĄpido e fÃĄcil, obg professor
Que bom que gostou!
Procurando boas dias de MWAA... Achei!!! ððð
Que bom que consegui te ajudar. Obrigado ðð
Obrigado heroi vc me salvou, tava tendo muita dificuldade com o docker compose
showw que bom que consegui te ajudar
excelente!!!
Que bom que gostou !
Muito bom! A parte de calculo do preço do air flow foi um Plus muito legal!
Que bom que gostou. TMj
Excelente vÃdeo Danilo! Poderia compartilhar as configuraçÃĩes que fez para fazer a gravaçÃĢo dos arquivos locais na pasta "./data/randomuser" ?
Cara, por ser um laboratÃģrio pra Dev eu deixei com a permissÃĢo aberta. " chmod -R 777 /opt "
Boa tarde Danilo! Muito obrigado por compartilhar conhecimento. Uma duvida, essa linguagem ÃĐ Python?
Que bom que gostou. Sim, isso ÃĐ python
Excelente VÃdeo ! ð
Que bom que gostou ð
Boa tarde queridos. Primeiramente obrigada Danilo pelo material incrivel. Quando estava na etapa de criar os containers (comando: sudo docker-compose up -d) recebi o seguinte erro do terminal: sudo: docker-compose: command not found. Porem, descobri que no meu caso de instalaçÃĢo nova no docker no windows, a integraçÃĢo WSL vem desabilitada. entÃĢo consegui ir no meu do docker desktop, opçÃĢo resources->WSL integration e habilitar a chave Ubuntu. apos esse ajuste que consegui rodar o comando e construir os containers. Espero que ajude caso alguem pare nessa mesma etapa. Abraços.
Preciso acessar as pastas das dags, como faço isso ?
Tudo bem ? Conseguiu acessar ? Passou batido e nÃĢo vi a msg
@@dan.asousa Opa, consegui sim, obrigado pelo vÃdeo.
me salvou obrigada meu camarada
Aà sim em. Que bom. Qualquer dÚvida pode jogar aqui nos comentÃĄrios
E ai Danilo, show de bola seu vÃdeo sobre Sagemaker e automaçÃĢo. Tenho uma pergunta que ÃĐ um pouco fora do assunto, mais tÃĄ ligado. Sabe uma forma fÃĄcil e intuitiva de ver todos os recursos que estÃĢo criados na AWS, e tambÃĐm quais estÃĢo ligados e o tempo de uso de cada um?
Opa BlZa ? Tem sim. Deixa eu chegar no computador aà mostro os passos pra vocÊ
Billing and Cost Management > Bills Veja se isso te atende
Oi Danilo. ParabÃĐns pelo conteÚdo. Inferentia com LLM, e NLP. VocÊ usa ?
OlÃĄ, obrigado. Uso sim, Posso gravar o prÃģximo vÃdeo usando um modelo de NLP. Vou ver algum aqui pra fazer o End-to-End no Sagemaker
ParabÃĐns pelo conteÚdo Danilo. Mandou bem D+
Grande Dani. Obrigado. Bora gravar um junto algum dia ?
opa. topo sim. esse topico de IaC e bem interessante.
Show, jÃĄ vou deixar no esquema aqui. Terminando essa sÃĐrie do Sagemaker jÃĄ vou preparar alguns vÃdeos
Boa noite, eu quero instalar o docker dessa forma, mas tem varias bibliotecas que eu preciso instalar a mais, todas as formas que eu tenho tentado me devolvem esse erro: You are running pip as root. Please use 'airflow' user to run pip! Alguem sabe como eu posso fazer pra instalar as bibliotecas adicionais que eu preciso?
OlÃĄ, tudo bem? Tem um procedimento especÃfico para instalar as libs dentro do Airflow. Entra no grupo do Whats ( que estÃĄ nas informaçÃĩes do Canal ) e joga sua dÚvida lÃĄ que fica mais fÃĄcil pra ir explicando :)
chat.whatsapp.com/JBEq2kBCEG52ewlZYIxsZD
Adorei a explicaçÃĢo!
Que bom que gostou, tentei trazer de maneira simples e direta.
Caraca, estou a tanto tempo procurando esse conteudo de forma gratuita e nÃĢo encontrava nada! obrigado! Deus abençoe!
Que bom que estÃĄ te ajudando. ðð qualquer sugestÃĢo de conteÚdo pode deixar nos comentÃĄrios
Danilo, parabens pelo canal, bem legal mesmo...gostaria de ver uma DAG funcionando com python operator, porÃĐm com um particularidade. O Codigo python a ser executado pela DAG estarÃĄ em outra maquina WINDOWS e esse codigo python irÃĄ somente ler um CSV que estarÃĄ no mesmo diretÃģrio e mandar o resultado para um S3. O Airflow servirÃĄ apenas para ir lÃĄ no server windows e executar o PYTHON
Opa tudo bem ? Vou ver aqui se encontro algum operador pra isso
Excelente vÃdeo meu caro, parabÃĐns! Uma dÚvida, meu objetivo ÃĐ extrair dados de uma base postgre e salvar um .csv localmente no docker. Inicialmente fiz o cÃģdigo python salvando o .csv em uma pasta local, porÃĐm ao rodar no airflow e salvar no docker, recebo o erro de nÃĢo ter permissÃĢo para criar pasta e salvar arquivo no docker. Com qual cÃģdigo altero essa permissÃĢo para poder salvar no docker? Erro recebido no Airflow: PermissionError: [Errno 13] Permission denied: '/opt/airflow/dados/DesafioGitHub/output_data/csv
Pode rodar o chmod -R 777 /opt/airflow ( para fins didÃĄticos essa ÃĐ a melhor opçÃĢo ). Na descriçÃĢo do canal tem o link do grupo no Whats. Qualquer coisa joga sua dÚvida lÃĄ que fica mais fÃĄcil de ajudar.
boa tarde, eu fiz todas as configuraçÃĩes, e todos os containers estÃĢo rodando, mas o webserver nÃĢo carrega. AlguÃĐm consegue ajudar ?
agora funcionou pessoal, eu tinha instalado o /opt fora do diretorio do airflow.. e o correto tem que estar dentro do diretorio do airflow.
@@adrianamarques3629 show que bom que conseguiu e que compartilhou a soluçÃĢo. Criei um grupo no whats pra esse tipo de dÚvidas. EstÃĄ na descriçÃĢo do canal.
como ÃĐ gerenciado pela aws, ÃĐ cobrado por isso, entao para empresas que estao começando e nao tem tanta demanda de orquestraçÃĢo, fica enviavel, tem outra opçÃĢo para usarmos o airflow de forma mais barata ?
EntÃĢo, depende da importÃĒncia e de o quando quer ter de disponibilidade nos pipelines. Acho que isso ÃĐ para qualquer sistema. Mas se o impacto nÃĢo for tÃĢo grande, da pra subir com VMS, ou com Docker / Kubernetes otimizando a infra-estrutura. Agora se realmente houver bastante impacto, uma infra para o Airflow, mesmo sem ser gerenciado, acaba sendo pesada, pois como comentei no vÃdeo da arquitetura dele, precisa de um banco de dados, webserver, workers, flower, etc. Pra deixar tudo isso em produçÃĢo com alta disponibilidade vai um investimento razoÃĄvel. Resumindo, se nÃĢo houver impacto e for sÃģ pocs, sobe tudo em VM / Docker / Kubernetes sem redundÃĒncia que vai sair mais barato. Ou entÃĢo atÃĐ usa outra opçÃĢo ( Como Step Functions )
OlÃĄ Danilo, gostei muito do seu canal e me tornei inscrito. Seria possÃvel criar um conteÚdo utilizando pyspark + Airflow?
Opa, tudo bem? Obrigado pela inscriçÃĢo. Claro ÃĐ sim, vou colocar aqui pra gravar. Fiquei um pouco parado esses meses porque nasceu meu filho. Mas agora jÃĄ estou me programando pra começar as novas gravaçÃĩes. Obrigado
@@dan.asousa felicidade ao novo membro da sua FamÃlia!
O ÃĄudio ÃĐ um pouco baixo em relaçÃĢo aos vÃdeos em geral, mas muito boa a aula. ParabÃĐns!
Opa valeu pelo comentÃĄrio. Esse foi um dos primeiros vÃdeos e audio sempre foi um dos maiores desafios. Vlww
OiÊ! Nossa, a explicaçÃĢo ÃĐ fantÃĄstica. Que trabalho incrÃvel que vocÊ fez. Muito obrigado por esso vÃdeos. Professor Danilo
Que bom que gostou!! Obrigado pelo feedback
muito bom!!
Obrigado
Obrigado pelo tutorial. TÃī na dÚvida como incluir uma conexÃĢo pro Oracle, jÃĄ instalei o provider via PIP mas ele nÃĢo aparece na lista de tipos de conexÃĢo ainda. Alguma dica?
OlÃĄ tudo bem? Tentou restartar o web server ? Se quiser entre no grupo que criei para essas discussÃĩes, fica mais fÃĄcil ajudar. chat.whatsapp.com/JBEq2kBCEG52ewlZYIxsZD
Oi danilo, Quando tento abrir a pÃĄgina do localhost diz que Esta pÃĄgina nÃĢo estÃĄ funcionando Nenhum dado foi enviado por localhost mesmo com o container do airflow funcionando. VocÊ sabe como me orientar?
OlÃĄ tudo bem? Provavelmente seu serviço nÃĢo subiu. Se quiser entra nesse grupo que acabei de criar para discussÃĩes TÃĐcnicas. chat.whatsapp.com/JBEq2kBCEG52ewlZYIxsZD
Valeu, DanilÃĢo! Seu vÃdeo me ajudou muito!!
Que bom que te ajudou! Precisando de alguma coisa ÃĐ sÃģ gritar!
eu estou usando o python, como e me deixou confuso como aplicaria este cÃģdigo@@dan.asousa
Estou começando implementar meus serviços do Airflow em um cluster on-premise gerenciado pelo Kubernetes, porÃĐm sempre que eu utilizo o helm para instalar o pacote do airflow, os containers nÃĢo sÃĢo iniciados corretamente nos nÃģs worker. Ele fica com o status de PodInicialization eternamente. VocÊ poderia me auxilar nessa questÃĢo? NÃĢo consegui identificar o erro pelos comandos kubectl logs | describe :(
Hum.. ainda nÃĢo peguei esse cenÃĄrio. Se quiser manda os logs pra gente tentar dar uma olhada. Criei canal grupos para a galera jogar dÚvidas tÃĐcnicas. EstÃĢo na descriçÃĢo do vÃdeo e do canal. Joga la seu problema e o log ðĪ
Bom tutorial! Mas eu tenho uma duvida. Estou tendo problemas para rodar o um codigo airflow (tipo criar um DAG e Task) e depois enxergar isso na lista de dags na URL. Voce sabe como me ajudar com isso?
OlÃĄ, tudo bem? EntÃĢo provavelmente estÃĄ dando algum erro na hora de compilar a DAG. Tenta entrar no grupo do telegram ou do Whats e joga a dÚvida lÃĄ. A ideia e usar o grupo para essas discussÃĩes mais tÃĐcnicas! Abs
Mano, vocÊ conseguiu resolver isso? Me ajuda, por favor kkk
Obrigado por compartilhar seu conhecimento
Que bom que gostou. Eu que agradeço
OlÃĄ Danilo, consegue me ajudar: ðŽðĨē Quando executei o comando "sudo docker-compose up -d" apareceu isso: " Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? "
OlÃĄ tudo bem ? Provavelmente o docker estÃĄ com problema na instalaçÃĢo ou nÃĢo estava iniciado. Consegue ver se ele estÃĄ executando normalmente ?
@@dan.asousa OlÃĄ, esta sim... vi que colocou uma observaçÃĢo na descriçÃĢo, de que o " docker-compose up -d " precisa estar dentro do diretÃģrio airflow. como faço isso?
@@luanagoncalves8834 e sÃģ entrar no diretÃģrio âcd airflowâ. Se quiser entre no grupo do telegram ou whats que criei para esses tipos de dÚvidas. Os links estÃĢo nas descriçÃĩes dos vÃdeos e do canal. ð
Grande Danilo... Que saudade meu amigo... JÃĄ me inscrevi aqui.... Show de bola..Grande abraço NXT
Opaa quanto tempo!!!! Sim, aquele time era D+ !! Vamos combinar alguma coisa algum dia desses ai! Abraços!! Obrigado
faz via tf por gentileza meu querido
Depois que eu gravei pensei melhor acho que vou fazer via Cloud Formation, porque a parte de infra-estrutura da pra criar via TF( domain, users, etc ) porÃĐm os jobs, pipelines, etc dentro do Sagemaker nÃĢo tem mÃģdulos do TF pra isso :( . Mas vamos ver o que a galera vai pedir ai! ðĪ
tava doido pra um conteudo desse, um salve de um CB xD
Ai sim em, que bom que curtiu!!
PÃī, vÃdeo bom Danilo! ParabÃĐns. Uso o sagemaker hÃĄ um tempo e vou acompanhar para ver se aprendo algo novo. Se opiniÃĩes valem algo, a mÚsica ficou meio alta meu amigo.
Opa tudo bem? Sho que bom que gostou ! Valeu pelo feedback, opniÃĩes sempre valem! Eu percebi tambÃĐm, mas sÃģ depois de subir para o TH-cam :( . Mais uma vez obrigado pelo feedback!!! abs
Gostaria de saber como exportar em formato cab uma tabela associada a uma variÃĄvel atravÃĐs do sparksql
Fala JoÃĢo tudo bem? Sinceramente nunca vi trabalhando com formato CAB. nÃĢo sei se jÃĄ desenvolveram alguma lib pra isso. Pode ser que a microsoft tenha mas eu ainda nÃĢo vi. Essa tabela associada a uma variÃĄvel seria um dataframe? NÃĢo entendi muito bem. Abs
@@dan.asousa cara kkkk digitei errado, era formado CSV
@@dan.asousa exportas para csv um data frame spark
@@JoaoPereira-oq8op pra CSV ÃĐ tranquilo basta utilizar o dataframe.write.csv("path_e_nome_do_arquivo.csv") Ai tem outros parÃĒmetros que pode colocar. Segue outro exemplo df.write.option("header","true") .option("delimiter",";") .csv("nomedoarquivo.csv")
todos os containers rodando, mas o webserver nao carrega
SerÃĄ que faltou alguma config no docker? Criei um canal no Telegram pra ficar mais fÃĄcil as discussÃĩes tÃĐcnicas. Tenta postar lÃĄ que a gente descobre o problema t.me/canaldodanilosousa
@@dan.asousa Estou com o mesmo problema. Entrei no seu canal do telegram, mas lÃĄ ÃĐ fechado para escrever perguntas. NÃĢo consigo enviar nenhuma mensagem.
@@somaliseger7868 Opa tudo bem? JÃĄ criei um novo canal e coloquei la o link. Em breve vou recriar o canal mas por enquanto ÃĐ sÃģ entrar no link que enviei lÃĄ. Abs
@@somaliseger7868 Acabei de criar um novo grupo no WhatsApp. Acho que ajuda tambÃĐm. chat.whatsapp.com/JBEq2kBCEG52ewlZYIxsZD
Muito bom! Mas eu to tendo um probleminha, na hora de colocar o docker (docker-compose up -d) ele da erro: âNo configuration file provided not foundâ
VocÊ estÃĄ no diretÃģrio do airflow? Tem que estar aparecendo o arquivo docker-compose.yml
@@dan.asousa Oi Danilo, era o que estava faltando mesmo, te agradeço!
@@gustavovictor6818 showw que bom que conseguiu!! ð
Cara, explicaçÃĢo sensacional! Achei bastante apropriada pra pessoal de engenharia de software, nÃĢo precisou ficar explicando conceitos bÃĄsicos de computaçÃĢo, rede etc. Engraçado que eu fiquei procurando vÃĄrios vÃdeos em inglÊs pra aprender como ÃĐ a arquitetura do Spark, e nenhum tava me agradando, trombei com o teu, e daà ele foi de longe o melhor dos que encontrei ð
Que bom que gostou , passei a mesma coisa quando comecei estudar , sÃģ achava conteÚdo em inglÊs e geralmente nÃĢo explicavam o que eu queria saber, por isso, resolvi criar o canal. Obrigado ðĪ
explore.skillbuilder.aws/learn/public/learning_plan/view/1044/solutions-architect-learning-plan