Parabens pela baita explicação. Didatica simples sem deixar de ser tecnico. Elucidou muuita coisa. Adorei, continue a produzir mais videos assim sobre engenharia de dados. Sensacional
Não conhecia a engenharia de dados, mas a cada vídeo estou mais inclinado a estudar e aprofundar em direção dessa profissão! Estou buscando cursos, paralelo ao terceiro semestre de análise e desenvolvimento de sistemas que estou iniciando...
como está 2 anos dp ? vc ta trabalhando na área? to pensando em ir pra ela mas n sei se ta mt limitado a achar vagas aqui no brasil ;/ meu medo é ter dificuldade de encontrar
Ae, mano. Vou começar em Setembro uma pós em Eng de dados na PUC Minas. Já sou Engenheiro Civil há 4 anos, mas sempre programei python e HTML JS. Será que consigo titulação em Eng. de software no meu CREA com essa pós? Gosto demais da área.
Fala Marcelo, muito legal, a área vai bombar! Sobre a pergunta do CREA eu não sei direito, mas segue um link que pode te ajudar: www.institutodeengenharia.org.br/site/2018/09/28/engenharia-de-software-e-regulamentada-junto-ao-crea/
Faço Eng de Software na PUC à 2 anos (Bacharel), CREA para a área de computação não existe, pois não é necessário para assinar projetos ou qualquer parte da construção de um software.
Olá Grego, muito bom seu canal. Sou estudante da área de dados e almejo ser um engenheiro de dados, porém tenho uma certa dificuldade em demonstrar o que eu sei para uma primeira oportunidade. Encontro muitos vídeos de portfólio de projetos para cientista de dados, github, etc. Portanto, gostaria de sugerir um vídeo, pois não encontro em lugar nenhum isso: como eu posso criar um portfólio como engenheiro de dados? como, por exemplo, eu crio o portfólio de um data warehouse que projetei ou um data lake? Ficaria muito grato, se me você me ajudar, por vídeo, ou aqui nos comentários mesmo. Obrigado.
Falaa Ayres, que bom que gostou do canal, tenho em mente um vídeo com essa questão, mas agora irei agilizar a produção dele, mas de qualquer forma recomendo os seguintes projetos: - Processamento de dados em JSON, CSV, TSV, TXT, Fixed Width Files - Processamento e armazenamento de imagens - Testes unitários de código - Projeto DDL de um Data Warehouse - Projeto conceitual de um Datalake e por ai vai Use datasets publicos, como por exemplo o do IBGE, ou datasets do Kaggle Recomendo desenvolver com Python ou Scala No vídeo vou abordar mais a fundo esses temas, por enquanto fica a vontade pra me perguntar =)
Oi Marcos! Quando eu falo sobre SQL quero dizer sobre Structured Query Language, criada para suprir operações de manipulação, busca e administração de bancos de dados relacionais, o SQL Server é uma engine de banco de dados que utiliza essa linguagem, recomendo o curso aqui do canal, o módulo 2 vai ter SQL e NO-SQL.
Ah mano valeu, estou a muito tempo estudando e batendo cabeça porque é difícil de achar vídeos que é referente a área de Engenharia de dados Mas gostaria de saber o apache airflow ? Como desenvolver o projeto de Engenharia de dados?
Oi Tatielly, tudo bem? Que bom que esta curtindo o conteudo! Sobre o Apache AirFlow como um case em Engenharia de dados, voce pode usar ele de diversas formas, qual tipo de problema você quer resolver?
@@GregoTech estou fazendo curso de airflow achava que criava pipeline, etl, neste curso udemy o problema é para vendas de uma imobiliária O problema é como criar projetos que empresa querem?
@@tatiellerodrigues2742 Entendi, geralmente o Airflow é utilizado na camada de orquestração de pipelines de dados. Então por exemplo, digamos que qualquer empresa tem um processo onde ele tem que buscar dados de um sistema de origem, trata-los e devolver para um sistema de destino, um etl padrão, agora imagina que as empresas não tem apenas esse processo, mas sim vários, onde cada um deles pode ou não depender entre si, a medida que o sistema for evoluindo isso pode se tornar uma dor de cabeça para o engenheiro que trabalha com os pipelines de dados. O airflow entra para auxiliar na criação de pipelines mais robustos e com fácil compreensão das dependencias atraves da interface gráfica, assim como auxiliar no reprocessamento retroativo em caso de falhas. Basicamente sua principal função é trazer todos os pipelines de dados de uma organização para um ambiente unico, visual e controlado. Espero que tenha sido util =)
Grego, iniciei uma pos em DSA, e estou aprendendo a programar em R (queria q fosse python kk). Minha duvida é se esse MBA ajuda no meu objetivo de me tornar Engenheiro de dados ou escolhi o curso errado msm?
Fala Pedrão! Cara, engenharia de dados é em suma engenharia de software, de longe recomendo um curso de ciência da computação ou análise e desenvolvimento de sistemas. Uma pós em DSA pode te ajudar em Engenharia de dados se você quiser trabalhar com Engenharia de Machine Learning pra entender as engrenagens de como funcionam os modelos de machine/deeplearning. Espero ter ajudado!
Cara mt bom, mt didático. Parabéns mesmo! Só recomendo acrescentar alguns outros detalhes importantes a descrição, como a sequência do conteúdo que você passou. O que acha? Eu, por exemplo, prezei por prestar atenção ao em vez de anotar, agora vou ter que rever o vídeo todo pra anotar os tópicos que foram muito interessantes, aliás. Como não tenho mais tempo, vou ter que deixar pra outra hora e, considerando a realidade do comportamento humano, a chance de esquecer ou deixar pra lá é bem grande. Um abraço e continue produzindo, acredito que vá muito longe :)
Lais, primeiramente muito obrigado pelo comentário, ele faz toda a diferença. Um mini resumo com os principais pontos do conteúdo na descrição do vídeo, algo nesse formato já ajudaria?
Parabéns pelo video brother, mas como alguém já comentou aqui, acho válido por na descrição os tópicos abordados, e explana-los no vídeo, assim teremos as informações explicadas no vídeo e a escrita para poder guardar e traçar uma rota de estudos. Até breve.
Muito bacana poder ouvir alguém que atua na área. Esse área de dados faz meus olhos brilharem, pois eu descobrir realmente que os dados me fascinam
Sucesso meu amigo 👏
Opa, vendo seu conteúdo agora em 2023! Tens algum treinamento especifico para Engenheiro de Dados? Trabalho com SQL e ETL com Pentaho/PDI e Python.
Parabens pela baita explicação. Didatica simples sem deixar de ser tecnico. Elucidou muuita coisa. Adorei, continue a produzir mais videos assim sobre engenharia de dados. Sensacional
Muito obrigado André fico feliz que gostou!
Quais livros?
Obrigado
Muito bom conteúdo, parabéns!
top !
O que um engenheiro de dados junior faz? Como fazer um portifólio para poder aplicar a vagas?
th-cam.com/video/netBiFg5ZEM/w-d-xo.html
Acabei de lançar um vídeo que pode te ajudar.
Não conhecia a engenharia de dados, mas a cada vídeo estou mais inclinado a estudar e aprofundar em direção dessa profissão! Estou buscando cursos, paralelo ao terceiro semestre de análise e desenvolvimento de sistemas que estou iniciando...
como está 2 anos dp ? vc ta trabalhando na área? to pensando em ir pra ela mas n sei se ta mt limitado a achar vagas aqui no brasil ;/ meu medo é ter dificuldade de encontrar
Grego você seria um excelente professor, caso ainda não esteja lecionando.👍👍👍👍👍
Obrigado Walter, ainda não estou mas pretendo =)
Salve, Greco ! Estou estudando data analystics mas o meu objetivo é engenheiro de dados, qual o curso de engenheiro de dados que você indica?
Adoraria um vídeo sobre o Hadoop!
Acho que seria uma boa também!
Ae, mano. Vou começar em Setembro uma pós em Eng de dados na PUC Minas. Já sou Engenheiro Civil há 4 anos, mas sempre programei python e HTML JS. Será que consigo titulação em Eng. de software no meu CREA com essa pós? Gosto demais da área.
Fala Marcelo, muito legal, a área vai bombar!
Sobre a pergunta do CREA eu não sei direito, mas segue um link que pode te ajudar:
www.institutodeengenharia.org.br/site/2018/09/28/engenharia-de-software-e-regulamentada-junto-ao-crea/
@@GregoTech Vlw, amigo
@@CELUGames qual seria seu benefício com essa titulação? Fiquei curioso
Poderia comentar sobre a sua opinião agora que já está na pós da PUC há algum tempo?
Por coincidência, quase entrei na mesma pós
Faço Eng de Software na PUC à 2 anos (Bacharel), CREA para a área de computação não existe, pois não é necessário para assinar projetos ou qualquer parte da construção de um software.
Ótima didática! Pode criar um curso.
Faz um vídeo sobre Hadoop.
Muito obrigado Marcelo! Está no pipeline um curso breve de Hadoop e MapReduce
Olá Grego, muito bom seu canal. Sou estudante da área de dados e almejo ser um engenheiro de dados, porém tenho uma certa dificuldade em demonstrar o que eu sei para uma primeira oportunidade. Encontro muitos vídeos de portfólio de projetos para cientista de dados, github, etc. Portanto, gostaria de sugerir um vídeo, pois não encontro em lugar nenhum isso: como eu posso criar um portfólio como engenheiro de dados? como, por exemplo, eu crio o portfólio de um data warehouse que projetei ou um data lake? Ficaria muito grato, se me você me ajudar, por vídeo, ou aqui nos comentários mesmo. Obrigado.
Falaa Ayres, que bom que gostou do canal, tenho em mente um vídeo com essa questão, mas agora irei agilizar a produção dele, mas de qualquer forma recomendo os seguintes projetos:
- Processamento de dados em JSON, CSV, TSV, TXT, Fixed Width Files
- Processamento e armazenamento de imagens
- Testes unitários de código
- Projeto DDL de um Data Warehouse
- Projeto conceitual de um Datalake
e por ai vai
Use datasets publicos, como por exemplo o do IBGE, ou datasets do Kaggle
Recomendo desenvolver com Python ou Scala
No vídeo vou abordar mais a fundo esses temas, por enquanto fica a vontade pra me perguntar =)
@@GregoTech obrigado pelas dicas Grego, vou colocar em prática
Seria muito legal mesmo
Grego quando vc comenta sobre linguagem SQL está se referindo ao SQL server? Se não qual curso vc me indicaria para aprender Linguagem SQL?
Oi Marcos! Quando eu falo sobre SQL quero dizer sobre Structured Query Language, criada para suprir operações de manipulação, busca e administração de bancos de dados relacionais, o SQL Server é uma engine de banco de dados que utiliza essa linguagem, recomendo o curso aqui do canal, o módulo 2 vai ter SQL e NO-SQL.
Recomenda algum curso, principalmente focado em ferramentas open sources?
Cara por enquanto não achei cursos bons no mercado 😐
Ótimo conteúdo e vídeo!
Porém, o som de fundo mt alto ;-)
Obrigado pelo comentário!
indica livros para iniciantes
Python Fluente do Luciano Ramalho =)
Ah mano valeu, estou a muito tempo estudando e batendo cabeça porque é difícil de achar vídeos que é referente a área de Engenharia de dados
Mas gostaria de saber o apache airflow ? Como desenvolver o projeto de Engenharia de dados?
Oi Tatielly, tudo bem?
Que bom que esta curtindo o conteudo! Sobre o Apache AirFlow como um case em Engenharia de dados, voce pode usar ele de diversas formas, qual tipo de problema você quer resolver?
@@GregoTech estou fazendo curso de airflow achava que criava pipeline, etl, neste curso udemy o problema é para vendas de uma imobiliária
O problema é como criar projetos que empresa querem?
@@tatiellerodrigues2742 Entendi, geralmente o Airflow é utilizado na camada de orquestração de pipelines de dados.
Então por exemplo, digamos que qualquer empresa tem um processo onde ele tem que buscar dados de um sistema de origem, trata-los e devolver para um sistema de destino, um etl padrão, agora imagina que as empresas não tem apenas esse processo, mas sim vários, onde cada um deles pode ou não depender entre si, a medida que o sistema for evoluindo isso pode se tornar uma dor de cabeça para o engenheiro que trabalha com os pipelines de dados. O airflow entra para auxiliar na criação de pipelines mais robustos e com fácil compreensão das dependencias atraves da interface gráfica, assim como auxiliar no reprocessamento retroativo em caso de falhas.
Basicamente sua principal função é trazer todos os pipelines de dados de uma organização para um ambiente unico, visual e controlado.
Espero que tenha sido util =)
@@GregoTech Valeu obrigado , agora entendi
Grego, iniciei uma pos em DSA, e estou aprendendo a programar em R (queria q fosse python kk). Minha duvida é se esse MBA ajuda no meu objetivo de me tornar Engenheiro de dados ou escolhi o curso errado msm?
Fala Pedrão! Cara, engenharia de dados é em suma engenharia de software, de longe recomendo um curso de ciência da computação ou análise e desenvolvimento de sistemas. Uma pós em DSA pode te ajudar em Engenharia de dados se você quiser trabalhar com Engenharia de Machine Learning pra entender as engrenagens de como funcionam os modelos de machine/deeplearning.
Espero ter ajudado!
Brabíssimo!
Brabeiro
Cara mt bom, mt didático. Parabéns mesmo! Só recomendo acrescentar alguns outros detalhes importantes a descrição, como a sequência do conteúdo que você passou. O que acha?
Eu, por exemplo, prezei por prestar atenção ao em vez de anotar, agora vou ter que rever o vídeo todo pra anotar os tópicos que foram muito interessantes, aliás. Como não tenho mais tempo, vou ter que deixar pra outra hora e, considerando a realidade do comportamento humano, a chance de esquecer ou deixar pra lá é bem grande.
Um abraço e continue produzindo, acredito que vá muito longe :)
Lais, primeiramente muito obrigado pelo comentário, ele faz toda a diferença.
Um mini resumo com os principais pontos do conteúdo na descrição do vídeo, algo nesse formato já ajudaria?
Parabéns pelo video brother, mas como alguém já comentou aqui, acho válido por na descrição os tópicos abordados, e explana-los no vídeo, assim teremos as informações explicadas no vídeo e a escrita para poder guardar e traçar uma rota de estudos.
Até breve.
Corinthiavirus
( ͡° ͜ʖ ͡°)
Opa
Opa