Gostaria de dar os parabéns pelo vídeo! Vi que já faz 1 ano desde o último vídeo no canal e queria dizer que seu conteúdo é ótimo e espero que volte a gravar mais vídeos sobre a área. Estou desenvolvendo meu TCC da faculdade na área e esse vídeo foi uma porta de entrada pra eu começar a entender melhor o assunto e me aprofundar mais no meu tema! Muito obrigado pelo vídeo, de coração, tenho ctz que muitos assim como eu compreenderam um pouco melhor o assunto graças aos seus vídeos!
Vitor, boa noite, excelente iniciativa e voce está de parabens. Queria tirar uma duvida que a escrevo abaixo: Voce citou as 3 grandes areas: Inbound Zone , Raw Zone e Trusted Zone. Imaginando uma empresa que vende serviços e os mesmo são comercializados pelo Magazine Luiza, Extra, Pão de Açucar e Lojas CEM e o processo para todas e a seguinte: 1 - Diariamente elas postam suas vendas e cada uma em seu forte:planilhas, CSV e TXT e esses arquivos cairiam na Inbound Zone. 2 - Na manha seguinte, esses arquivos seriam ingeridos e carregados na area da Raw Zone. 3 - No final da ingestão na area da Raw Zone e iniciado o processo para gerar os arquivos parquet na Trusted Zone. E ai vem a duvida, vamos iomagina que eu tenho um registro com informações de vendas, itens de vendas e dados dos compradores, tudo isso estará no formato parquet na Trusted Zone e posteriormente eu quero gerar informações como por exemplo produtos vendidos por faixa etaria, estado civil e sexo do comprador e como produto final eu teria uma Fato de Vendas com as suas dimensões. Na sua visão tudo isso poderia ficar na Trusted Zone e faria sentido ter uma tabela Fato Vendas e suas dimensões? E outro ponto caso voce tenha ou conheça cursos a respeito desse tema, peço a gentileza de informar-me, abaixo deixo o meu e-mail para contato. E para os demais integrantes do grupo, eu tenho muita saudades de 20 anos atrás , pois formavamos grupos e nos reuniamos para falar a resdpeito de assunto de interesse comum, como é o caso de Data Lake e hoje fala-se muito a respeito de Lak House e creio que essa duvida que eu tenho, deve ser a duvida de algumas pessoas. E aquela famosa frase, juntos somos mais fortes. Grande abraço Vitor e mais uma vez Parabens pela sua iniciativa.
Colega, existem drivers (jdbc e outros de bancos de dados) que fazem a conexão e import tanto de arquivos em diversos formatos quanto de outros SGBDs. Tvz fosse o caso de criar rotinas que tanto trabalhasse o dados fora da camada do banco quando uma transformação destes dados dentro de uma staging area, usando linguagens procedurais e SQL mesmo. Desculpe, sou meio purista em relação aos dados pois sou DBA oracle e tudo penso em usar um SGBD como solução final.
Excelente vídeo, muito obrigado!! Uma pergunta: esta divisão em "zonas" e áres de negócio não faz o datalake ser o mesmo que um data mesh? Outra dúvida: nesse processo de tirar da zona "inboud" para a "trusted" é como se eu tivesse no meu datalake três arquivos/conjunto de arquivos referentes ao mesmo dado, certo? Ele fica, de certa forma, triplicado na nuvem, certo?
Gostaria de dar os parabéns pelo vídeo! Vi que já faz 1 ano desde o último vídeo no canal e queria dizer que seu conteúdo é ótimo e espero que volte a gravar mais vídeos sobre a área. Estou desenvolvendo meu TCC da faculdade na área e esse vídeo foi uma porta de entrada pra eu começar a entender melhor o assunto e me aprofundar mais no meu tema! Muito obrigado pelo vídeo, de coração, tenho ctz que muitos assim como eu compreenderam um pouco melhor o assunto graças aos seus vídeos!
Muito bom conteúdo, parabéns!
Vitor, boa noite, excelente iniciativa e voce está de parabens.
Queria tirar uma duvida que a escrevo abaixo:
Voce citou as 3 grandes areas:
Inbound Zone , Raw Zone e Trusted Zone.
Imaginando uma empresa que vende serviços e os mesmo são comercializados pelo Magazine Luiza, Extra, Pão de Açucar e Lojas CEM e o processo para todas e a seguinte:
1 - Diariamente elas postam suas vendas e cada uma em seu forte:planilhas, CSV e TXT e esses arquivos cairiam na Inbound Zone.
2 - Na manha seguinte, esses arquivos seriam ingeridos e carregados na area da Raw Zone.
3 - No final da ingestão na area da Raw Zone e iniciado o processo para gerar os arquivos parquet na Trusted Zone.
E ai vem a duvida, vamos iomagina que eu tenho um registro com informações de vendas, itens de vendas e dados dos compradores, tudo isso estará no formato parquet na Trusted Zone e posteriormente eu quero gerar informações como por exemplo produtos vendidos por faixa etaria, estado civil e sexo do comprador e como produto final eu teria uma Fato de Vendas com as suas dimensões.
Na sua visão tudo isso poderia ficar na Trusted Zone e faria sentido ter uma tabela Fato Vendas e suas dimensões?
E outro ponto caso voce tenha ou conheça cursos a respeito desse tema, peço a gentileza de informar-me, abaixo deixo o meu e-mail para contato.
E para os demais integrantes do grupo, eu tenho muita saudades de 20 anos atrás , pois formavamos grupos e nos reuniamos para falar a resdpeito de assunto de interesse comum, como é o caso de Data Lake e hoje fala-se muito a respeito de Lak House e creio que essa duvida que eu tenho, deve ser a duvida de algumas pessoas. E aquela famosa frase, juntos somos mais fortes.
Grande abraço Vitor e mais uma vez Parabens pela sua iniciativa.
Show! Parabéns!
Excelente vídeo. Muito obrigado e parabéns!
Parabéns pelo vídeo, mto esclarecedor e didático!
Obrigado
Show… muito obrigado
Ótima didática!
Conteúdo sensacional!! Amigo, você poderia me indicar um livro que possua esse assunto?
Excelente ! Parabéns, didática mil !
Colega, existem drivers (jdbc e outros de bancos de dados) que fazem a conexão e import tanto de arquivos em diversos formatos quanto de outros SGBDs. Tvz fosse o caso de criar rotinas que tanto trabalhasse o dados fora da camada do banco quando uma transformação destes dados dentro de uma staging area, usando linguagens procedurais e SQL mesmo. Desculpe, sou meio purista em relação aos dados pois sou DBA oracle e tudo penso em usar um SGBD como solução final.
Excelente vídeo, muito obrigado!! Uma pergunta: esta divisão em "zonas" e áres de negócio não faz o datalake ser o mesmo que um data mesh? Outra dúvida: nesse processo de tirar da zona "inboud" para a "trusted" é como se eu tivesse no meu datalake três arquivos/conjunto de arquivos referentes ao mesmo dado, certo? Ele fica, de certa forma, triplicado na nuvem, certo?
Muito top!!! 👏🏻
Show! Inscrito!
Olá, quais são os autores de referência sobre o assunto
DATA LAKE ?