Conteúdo riquíssimo meu amigo Alison. Seus vídeos estão chegando em muitos outros lugares. Eu comecei estudar engenharia de Dados, como tem pessoas em migração lá no curso, muitos dos seus vídeos estão sendo referenciados nessas duas comunidades de alunos internos. Te desejo cada vez mais sucesso na criação dos seus conteúdos 🎉. Desde o início do canal a relevância e a referência seria notória nas redes sociais e nas comunidades. Gratidão por ter acompanhar nessa sua trajetória e os ensinamentos até aqui. Tmj meu querido
Alisson!!! Mais uma vez muito obrigado, neste especialmente por ter desenvolvido algo específico para solução do problema. Estou testando e já pude notar que na conversão dos arquivos de csv para parquet já tive um excelente resultado. Parabéns!!!!
Uau que top! Muito obrigado pelo seu feedback. Ele é essencial para o crescimento da nossa comunidade. Continue aplicando e vai nos dando feedback. Seria legal você ir mensurando tudo e depois fazer um "Antes e Depois" no Linkedin. Forte abraço
Parabéns pelo conteúdo irmão. Primeiro vídeo decente que assisto falando de Parquet para Power BI. Já trabalho com ele faz algum tempo, mas no meu caso foi por pura sorte de ficar acessando o GPT e questionando sobre hipóteses de melhores formatos para otimizar meus projetos no PBI. Agora fiquei curioso com a sua escolha de pbip. Vou procurar mais a respeito. Valeu!!!
Opa Adriano, muito obrigado. Sobre o PBIP há dois vídeos que se completam: th-cam.com/video/Yog22N2Lq14/w-d-xo.html th-cam.com/video/wFimCGpndOc/w-d-xo.html
Muito obrigado meu caro, pelo apoio! "ação gratuita ou caridade?" Digamos que estou apenas cumprindo meu propósito. Fico muito feliz que está chegando a você e a nossa comunidade! Go on! 🚀
Alison, muito muito top! Você tinha que lançar um curso ensinando a linguagem M, de todos os criadores de conteúdo de PW que vi até hoje você é um dos 2 únicos que vejo aplicando o M.
Fala Daniel, até onde entendi, o formato Parquet tem uma lógica que explicando de uma forma bem leiga (pois não conheço mesmo a fundo) suprime as repetições encontradas em um campo, permitindo essa redução drástica no tamanho final do arquivo, principalmente em bases com muitas repetições em campos texto. Com auxílio do gpt eu gerei um script que no meu caso prático pega vários arquivos xlsx gerados pelo sistema aqui da empresa e converti em massa para um único Parquet. O XLSX já tem uma compactação, então você não vai perceber muito ganho de armazenamento, mas a performance para carregar os dados é muito superior do que ler arquivo XLSX, principalmente se forem muitos.
Não. Você pode fazer isso direto! Eu só consumo arquivos em .parquet, recomendo que antes de seguir os passos do vídeo pesquise um pouco como funciona esse formar e pq ele é tão performático assim. Você pode fazer isso de maneira bem simples usando Pandas, não é nada complexo...
Não!!! De forma alguma. Existe uma forma de fazer direto, é só alterar o método do pd_read no código. Estou avaliando colocar esta opção no App mas confesso que tenho um certo receio. Por causa de dois pontos: 1. Volume: Dificilmente você terá um arquivo XLSX acima de 5 MB extraído de um sistema. Então são arquivos bem menores do que um CSV pode chegar como na casa dos GB. O Excel já faz uma certa compressão. Mas precisaria ser testado se vale a pena sair transformando todos XLSX em Parquet só por trocar. 2. Layout: Porém se você está falando de arquivos XLSX que são de preenchimento diário, podemos ter alguns problemas. Precisaríamos ter uma arquivo devidamente formatado em forma colunar, devidamente formatado, colunas com tipos certinhos, sem células mescladas, enfim algo que é muito difícil ver por aí. Faz sentido o que eu disse? Eu sabia que esse questionamento iria aparecer mais cedo ou mais tarde!
Conteúdo riquíssimo meu amigo Alison. Seus vídeos estão chegando em muitos outros lugares. Eu comecei estudar engenharia de Dados, como tem pessoas em migração lá no curso, muitos dos seus vídeos estão sendo referenciados nessas duas comunidades de alunos internos. Te desejo cada vez mais sucesso na criação dos seus conteúdos 🎉. Desde o início do canal a relevância e a referência seria notória nas redes sociais e nas comunidades. Gratidão por ter acompanhar nessa sua trajetória e os ensinamentos até aqui. Tmj meu querido
Muito obrigado, fico feliz em saber que meus conteúdos estão ajudando a comunidade! 👏🏻
Muito obrigado pelo conteúdo!
Você já é referência na área pra tantas pessoas que talvez nem imagina! E parece que melhora ainda mais com o tempo! 👏👏
Obrigado! É sempre um prazer ajudar a comunidade.
Simplesmente game change!!!
Muito bom mestre Alison. Ainda não cheguei a este nível porem certamente um dia devo usar
Com certeza!
Sensacional isso. utilizei isso para converter 7.46gb de csv e melhorou demais a performance. Muito obrigado. Deus te abençoe.
@@jrpsa uau, que top, muito obrigado pelo feedback.
Me diz aí qto reduziu?
Alison, mais uma vez, conteúdo de altíssima qualidade e gratuita. Reforço o time dos que estão aguardando o curso de linguagem M. Abraço.
@@1allacerda muito obrigado 🔥
Alisson!!!
Mais uma vez muito obrigado, neste especialmente por ter desenvolvido algo específico para solução do problema. Estou testando e já pude notar que na conversão dos arquivos de csv para parquet já tive um excelente resultado. Parabéns!!!!
Uau que top! Muito obrigado pelo seu feedback. Ele é essencial para o crescimento da nossa comunidade.
Continue aplicando e vai nos dando feedback. Seria legal você ir mensurando tudo e depois fazer um "Antes e Depois" no Linkedin.
Forte abraço
Parabéns pelo conteúdo irmão. Primeiro vídeo decente que assisto falando de Parquet para Power BI. Já trabalho com ele faz algum tempo, mas no meu caso foi por pura sorte de ficar acessando o GPT e questionando sobre hipóteses de melhores formatos para otimizar meus projetos no PBI. Agora fiquei curioso com a sua escolha de pbip. Vou procurar mais a respeito. Valeu!!!
Opa Adriano, muito obrigado.
Sobre o PBIP há dois vídeos que se completam:
th-cam.com/video/Yog22N2Lq14/w-d-xo.html
th-cam.com/video/wFimCGpndOc/w-d-xo.html
Bom de mais ver todas essas possibilidaes! Aumenta nossa visão caso nos deparemos com uma situação que venha precisar destes recuros.
Isso ae meu caro
Muito bom Alison
Muito obrigado
Parabéns!!🎉 Excelente!!
Comentem aií!!
Um vídeo deste é uma ação gratuita ou uma caridade!?
Muito obrigado Alison.
Muito obrigado meu caro, pelo apoio!
"ação gratuita ou caridade?"
Digamos que estou apenas cumprindo meu propósito.
Fico muito feliz que está chegando a você e a nossa comunidade! Go on! 🚀
Alison, muito muito top! Você tinha que lançar um curso ensinando a linguagem M, de todos os criadores de conteúdo de PW que vi até hoje você é um dos 2 únicos que vejo aplicando o M.
Muito obrigado.
Já está sendo gerado 🤫
Excelente!
Valeu!
Mestre Alisson, quais são as configurações do app para converter arquivos em xlsx?
Grato pelo conhecimento compartilhado, gosto muito do seu conteúdo.
Basta selecionar no app já tem a opção pronta.
Agora que vou querer criar uns CLI por aqui hahah. Ensina a gente! Outra dica é : valoriza os brazucas, os gringos que se vire pra traduzir 😂
CLI tem exemplo no vídeo. Simples de tudo.
Hahaha cara é que inglês é universal no Git
É sugerido, então, converter os arquivos tipo xlsx pra csv e, em seguida, para parquet?
Fala Daniel, até onde entendi, o formato Parquet tem uma lógica que explicando de uma forma bem leiga (pois não conheço mesmo a fundo) suprime as repetições encontradas em um campo, permitindo essa redução drástica no tamanho final do arquivo, principalmente em bases com muitas repetições em campos texto. Com auxílio do gpt eu gerei um script que no meu caso prático pega vários arquivos xlsx gerados pelo sistema aqui da empresa e converti em massa para um único Parquet. O XLSX já tem uma compactação, então você não vai perceber muito ganho de armazenamento, mas a performance para carregar os dados é muito superior do que ler arquivo XLSX, principalmente se forem muitos.
Não. Você pode fazer isso direto! Eu só consumo arquivos em .parquet, recomendo que antes de seguir os passos do vídeo pesquise um pouco como funciona esse formar e pq ele é tão performático assim. Você pode fazer isso de maneira bem simples usando Pandas, não é nada complexo...
@@adrianolessa6890 muito obrigado pela sugestão, Adriano! Farei isso. Estava preocupado se funcionaria ou não.
@@diego96212 obrigado, Diego.
Vou entender como aplicar na minha situação e executar diretamente do Pandas.
Abraço.
Não!!! De forma alguma.
Existe uma forma de fazer direto, é só alterar o método do pd_read no código. Estou avaliando colocar esta opção no App mas confesso que tenho um certo receio. Por causa de dois pontos:
1. Volume: Dificilmente você terá um arquivo XLSX acima de 5 MB extraído de um sistema. Então são arquivos bem menores do que um CSV pode chegar como na casa dos GB. O Excel já faz uma certa compressão. Mas precisaria ser testado se vale a pena sair transformando todos XLSX em Parquet só por trocar.
2. Layout: Porém se você está falando de arquivos XLSX que são de preenchimento diário, podemos ter alguns problemas. Precisaríamos ter uma arquivo devidamente formatado em forma colunar, devidamente formatado, colunas com tipos certinhos, sem células mescladas, enfim algo que é muito difícil ver por aí.
Faz sentido o que eu disse?
Eu sabia que esse questionamento iria aparecer mais cedo ou mais tarde!