Laender, VC SALVOU MEU TRABLHO! Cara, nao tenho palavras para AGRADECER A INCRIVEL DICA. Muito, muito, muito obrigado. Era EXATAMENTE isso que estava procurando para solucionar a demora!
Fenomenal essa dica meu amigo!! Mto obrigado mesmo! Preciso criar um arquivo pra calcular o orçamento de Folha, e pra fazer as combinações com 250 funcionários x 30 eventos x 30 meses, estava demorando 5 minutos. Com o buffer, caiu pra apenas 6 segundos!!! Inacreditável! Mto obrigado!!
Excelente dica! Vou conseguir melhorar o desempenho muitos relatórios no escritório. Não conhecia essa função (buffer), e eu achava que esse já era o comportamento padrão do Power Query: quando os dados eram atualizados, cada fonte de dado (arquivos por exemplo) era lido apenas uma vez, ainda não tinha reparado que são lidos várias vezes. Porque não é assim por padrão? Não consigo imaginar uma aplicação ideal (ou otimizada) para o comportamento padrão (sem bufferizar).
Parabéns Laennder, dica valiosa! Uma dúvida que tenho é quanto a atualização de dados de um banco para o arquivo PBIX, quando há muitos registros pelo "select * " demora muito, teria como buferizar esta tabela do arquivo e só adicionar o que não estiver já importado? Desde já agradeço!
Sensacional Laennder. Estava conversando com o Giovani Franco, o qual me indicou esse vídeo. Estou sofrendo com algumas cargas que estão demorando bastante , mas essa técnica resolve todos os meus problemas. Muito show. Obrigado e parabéns pelos vídeos.
Excelente Laennder! Eu acabei ficando com um dúvida. A lista bufferizada é atualizada conforme for acrescentando as tabelas? Alguém poderia me ajudar com essa informação?
Acredito que atualize apenas quando ocorre alteração na tabela principal. Estou testando. No meu caso, eu estou utilizando uma dinâmica para retirar os Em Brancos das visões conforme outro vídeo do Laennder.
@@viniciusdomingos5992 Ele atualiza apenas na primeira vez, pois a lista que foi criada com o disctintcount, sem o buffer ela é criada a cada linha que ela for chamada pela tabela principal, ou seja, para cada registro da tabela principal o Power BI irá buscar todas as 4 tabelas para montar a lista individuiais, com o Buffer, ele cria a primeira vez e armazena, e para cada registro ele usa esse Buffer, ao invés de carregar novamente a tabela principal para criar a lista individual.
Leander, sempre em excelencia.. parabens.. uma pergunta: uso uma lista do sharepoint em um relatório do Power BI, porém surgiu a necessidade de ter os dados em tempo real.. sabe me dizer se há como eu fazer esta conexão list em direct query?
Bom dia, muito interessante essa solução. No meu caso, a consulta vem de SQL e não trata questões como planejado e realizado. É uma tabela única. Tentei implementar as orientações mas não consegui pois não há regra de comparação de colunas. Como proceder? Vejo que quase não existe documentação para tratar essa questão.
Laennder, ótimo video, me ajudou muito em performance de uma consulta. Em diversos momentos tenho dúvidsa em relação a utilização das funções buffer (Table e List). Existe algum conteúdo que explique quando é recomendado utilizar essas funções?
Ótima vídeo aula Laender. Parabéns!!! Tenho uma dúvida e não sei pode me ajudar. Se quisesse trazer estes mesmos números das ordens de serviços da lista para uma outra consulta, seria possível? Ou teria que converter para tabela?
Boa tarde amigo... Quando uso o comando Ctrl + L no excel, ao digitar o que procuro e clicar em pesquisar ou apenas teclar Enter, a busca demora cerca de 1min ou mais para localizar (exemplo, uma placa de veículo numa tabela de relatorios de consumo mensal que criei para o trabalho). Acontece que, anteriormente em planilhas menores, a busca era instantanea, já agora com essa planilha (bem grande) tá sendo demoradíssima... existe algum método em que a busca volte a ser instantânea, pois não posso reduzir o conteúdo da mesma. Desde já, agradeço pela sua preciosa atenção.
Muito bom, Laennder. Excelente conteúdo. Gostaria de tirar uma dúvida. Eu tenho uma pasta no SharePoint sincronizada com uma pasta local do meu computador. A ideia de sincronizar era pra que eu pudesse manter atualizados os arquivos na nuvem sem precisar manualmente fazer upload para o SharePoint. Porém, percebi que as minhas consultas ficaram bem mais lentas. Pode ser por conta disso mesmo?
Laennder, bom dia. Tenho um excel grande que preciso como base de uma query no power bi, todavia, quando entro para criar a nova query o power bi trava na etapa de Navigator e não roda. Em outro power bi ele até passou para a próxima etapa, mas depois que eu escolhi a aba da planilha excel, ele ficou parado na etapa de carregamento de dados. Alguma dica sobre este problema de excels com extensões *.xlsb com grande volume de dados?
Humm...como ficaria esse mesmo conceito porém em tabelas? Eu tenho um consulta que reúne vários arquivos e preciso mesclar ela com outra consulta. Porém cada vez que insiro uma etapa, ela carregar todos os arquivos do primeiro arquivo...
No meu caso ao inves de apenas uma coluna, preciso carregar duas colunas... quando utilizo table.buffer não tenho o resultado esperado, alguma sugestão para que carregue apenas uma vez?
Laender, no seu livro ensina a linguagem M? Quero me aprofundar no assunto. Outra coisa, quando realizado o buffer no arquivo, quando entrar novos dados, eles serão acrescentados a lista?
Tenho um fluxo no Power BI Serviço que é alimentado por uma CDS do SAP. Existem 2 etapas após a conexão, uma para retirar duas colunas e outra para deixar todos os campos como texto, sendo essa, uma etapa dinâmica """#"Transform columns" = Table.TransformColumnTypes(#"Removed columns", List.Transform(Table.ColumnNames(#"Removed columns"), each {_, type text}))""" . A pergunta é, se eu colocar uma etapa logo após o Source, """BancoDados = Table.Buffer(Source)""", deixaria meu fluxo mais rápido? Segue o código alterado: let Source = OData.Feed("consulta CDS SAP", null, [Implementation = "2.0"]),
Existe a possibilidade desse recurso funcionar também para tabelas inteiras? Pois a lista não atenderia já que mais de uma coluna é atualizada por por linha.
Boa noite muito boa essa dica, isso se aplica a uma consulta SQL também? Seria possível efetuar uma consulta SQL trazer os dados, posteriormente trazer apenas as atualização com dados que não existem armazenados no Power BI?
Taner, é possível usar o Table.Buffer para tabelas. Mas isso não é válido para cargas incrementais. O que ocorre é que na mesma sessão de atualização a tabela ou lista não é recarregada. Mas ela é recarregada ao atualizar novamente o projeto.
Laender, estou tentando baixar informações de um site e mesmo tem muito dados, quando importo do link da API ou JSON ele só traz 1000 linhas, tem como alterar este limite ou "bypassar" este limite??
Professor bom dia, como vai? Estou tentando fazer o procedimento, porém para uma Tabela, mas dá erro. Diz que uma tabela não pode ser convertida em Lista para a função List.Buffer(). É possível fazer a buferização para tabelas? Obrigado.
Laender, eu vivo muito essa situação. Se entendi, essa lista não atualiza quando Panejamento é atualizada. Caso a atualização seja necessária ao mesmo tempo, tem alguma forma de não atualizar tantas vezes? Percebi que utilizando o Table.Combine nas etapas (como vc ensinou) o desempenho fica melhor.
Olá Tel. Na realidade a lista continua sendo atualizada quando planejamento é atualizada. O que não ocorre é um múltiplo carregamento da mesma na mesma sessão.
@@laennder perfeito! Mas ainda fiquei com uma dúvida. Na etapa que você inseriu na tabela, o comando começa com List.Buffer... Esse list.buffer não é o que diz que não será atualizado? Então no final do exercício, quando incluiu essa etapa, ele foi atualizado com base na carga da tabela... seria isso?
Na hora de adicionar a coluna me retorna esse erro: DataSource.Error: Microsoft SQL: Internal error: An expression services limit has been reached. Please look for potentially complex expressions in your query, and try to simplify them. Detalhes: DataSourceKind=SQL DataSourcePath=DW Message=Internal error: An expression services limit has been reached. Please look for potentially complex expressions in your query, and try to simplify them. ErrorCode=-2146232060 Number=8632 Class=17
Boa noite Laennder! Cara, não sei se você pode me ajudar. Estou tentando há uma semana conectar o meu PBI usando M, em uma API web que usa Oauth 1.0. Não consigo montar o parâmento Headers da função "web.contents". Usei o seu vídeo de conectar uma API de calendário como base, e vários artigos em inglês de como conectar à API do Twittwer, mas nada dá certo. Você já fez esse tipo de conexão? Poderia me ajudar?
Laender, VC SALVOU MEU TRABLHO! Cara, nao tenho palavras para AGRADECER A INCRIVEL DICA. Muito, muito, muito obrigado. Era EXATAMENTE isso que estava procurando para solucionar a demora!
Professor, sem palavra.. ajudou muito uma consulta aqui..
Fenomenal essa dica meu amigo!! Mto obrigado mesmo! Preciso criar um arquivo pra calcular o orçamento de Folha, e pra fazer as combinações com 250 funcionários x 30 eventos x 30 meses, estava demorando 5 minutos. Com o buffer, caiu pra apenas 6 segundos!!! Inacreditável! Mto obrigado!!
Que dica sensacional Laennder, o M é realmente poderosíssimo...Parabéns...
Valeu Gerson
Genio Leannder! esse problema foi apresentado a mim de forma recorrente no meu trabalho. Amanhã vou buferizar algumas tablas. Saludos
Show Guru !! Salvou meu job aqui ! abraço
\o/
Excelente dica! Vou conseguir melhorar o desempenho muitos relatórios no escritório. Não conhecia essa função (buffer), e eu achava que esse já era o comportamento padrão do Power Query: quando os dados eram atualizados, cada fonte de dado (arquivos por exemplo) era lido apenas uma vez, ainda não tinha reparado que são lidos várias vezes.
Porque não é assim por padrão? Não consigo imaginar uma aplicação ideal (ou otimizada) para o comportamento padrão (sem bufferizar).
Parabéns Laennder, dica valiosa! Uma dúvida que tenho é quanto a atualização de dados de um banco para o arquivo PBIX, quando há muitos registros pelo "select * " demora muito, teria como buferizar esta tabela do arquivo e só adicionar o que não estiver já importado? Desde já agradeço!
Grande dica. Muito obrigado. Nos meus testes a Join (mesclar) também mostrou um tempo muito melhor, como na dica da lista buferizada.
Excelente, dica de muito utilidade pratica no mundo empresarial onde as tabelas vindas do SAP são imensas, valeu parabéns e obrigado
Obrigado Adelson
Sensacional Laennder.
Estava conversando com o Giovani Franco, o qual me indicou esse vídeo.
Estou sofrendo com algumas cargas que estão demorando bastante , mas essa técnica resolve todos os meus problemas.
Muito show. Obrigado e parabéns pelos vídeos.
Salvou o meu dia. Obrigado!
Laennder fantástico, Eu estava com o mesmo problema.
Obrigado Salvatore
Espetacular Laennder. Obrigado pela dica.
Valeu Alcionir
Fantástico....Laennder, obrigado!!
Que show!!! Muito obrigado.
Abraços
Muito obrigado Mario
Muito Boa essa Dica , Show de Bola!
Obrigado Cláudio.
Maravilhoso!!!! Obrigada Laennder por compartilhar o conhecimento.
Ótimas dicas !!!!
Já comprei o livro!!!!
Opa. Muito obrigado pela confiança Jeferson.
Dica incrível, mestre parabéns!
Quanta honra. Obrigado meu amigo.
Excelente dica mestre, irei testar-lá no meu ambiente. Abraços e parabéns pelo trabalho!
Valeu Rafael
Laender,
vocês deveriam escrever dois livros: Dominando o Power Query e Dominando DAX.
Verdade
Apoio
Excelente dica! Obrigado Laennder.
Amei a dica!!!!! Muito boa.
Ótima dica. É muito comum fazermos essas verificações em vários arquivos fonte. Uma mão na roda. Valeu
Valeu Marcos
É possível gerar uma verificação da lista através de uma coluna condicional ou só pelo List.Contains e if ?
Excelente Laennder!
Eu acabei ficando com um dúvida. A lista bufferizada é atualizada conforme for acrescentando as tabelas?
Alguém poderia me ajudar com essa informação?
Acredito que atualize apenas quando ocorre alteração na tabela principal. Estou testando. No meu caso, eu estou utilizando uma dinâmica para retirar os Em Brancos das visões conforme outro vídeo do Laennder.
@@viniciusdomingos5992 Ele atualiza apenas na primeira vez, pois a lista que foi criada com o disctintcount, sem o buffer ela é criada a cada linha que ela for chamada pela tabela principal, ou seja, para cada registro da tabela principal o Power BI irá buscar todas as 4 tabelas para montar a lista individuiais, com o Buffer, ele cria a primeira vez e armazena, e para cada registro ele usa esse Buffer, ao invés de carregar novamente a tabela principal para criar a lista individual.
Parabéns por mais um vídeo excelente, obrigado Mestre
Obrigado pelo carinho, Danilo
Laennder, boa noite, grato pela dica. Gostaria de saber se é possível fazer essa "bufferização" com uma tabela inteira e não apenas uma lista
Ótima explicação! Obrigado!!
Ótima dica Laennder.
A List.Buffer pode ser utilizada na dCalendario?
Cara eu tinha abandonado vários jobs por causa disso!! Retomando já!
Dica Excelente!
Leander, sempre em excelencia.. parabens..
uma pergunta: uso uma lista do sharepoint em um relatório do Power BI, porém surgiu a necessidade de ter os dados em tempo real.. sabe me dizer se há como eu fazer esta conexão list em direct query?
Showwww!
Obrigado Alexandre
Bom dia, muito interessante essa solução. No meu caso, a consulta vem de SQL e não trata questões como planejado e realizado. É uma tabela única. Tentei implementar as orientações mas não consegui pois não há regra de comparação de colunas. Como proceder? Vejo que quase não existe documentação para tratar essa questão.
Laennder, ótimo video, me ajudou muito em performance de uma consulta. Em diversos momentos tenho dúvidsa em relação a utilização das funções buffer (Table e List). Existe algum conteúdo que explique quando é recomendado utilizar essas funções?
Olá Laennder, parabens ótima dica, vc tem algum exemplo de table.buffer?
Gostei muito dessa dica, me ajudou muito, só queria saber, como eu faço para buscar dois campos no list?
Parabéns pela a dica!
É possível eu atualizar um relatório de venda vindo do Access sem fazer toda aquela varredura que leva horas?
Obrigado pela Dica, se eu tenho 3 arquivos onde eu faço a Mescla, eu tenho que criar 3 Lista de Buffer na edição avançada?
Excelente dica! É possível fazer o mesmo com tabelas? Ou dar um exemplo com o Table.Buffer?
Micael, conseguiu descobrir algo sobre isso ?
Laender, muito legal mesmo. Mas tem com criar um buffer em uma tabela...andei vendo a função Table.Buffer ela funciona do mesmo modo?
Ótima vídeo aula Laender. Parabéns!!!
Tenho uma dúvida e não sei pode me ajudar.
Se quisesse trazer estes mesmos números das ordens de serviços da lista para uma outra consulta, seria possível? Ou teria que converter para tabela?
Essa comando funciona buffer funciona em uma consulta de API com mais de 20 mil linhas... ele agiliza o processo depois de aplicar e fechar?
Excelente, existe algo semelhante para tabelas algo do tipo Table.Buffer ?
Existe sim. Exatamente esse nome Table.Buffer
Boa tarde amigo... Quando uso o comando Ctrl + L no excel, ao digitar o que procuro e clicar em pesquisar ou apenas teclar Enter, a busca demora cerca de 1min ou mais para localizar (exemplo, uma placa de veículo numa tabela de relatorios de consumo mensal que criei para o trabalho). Acontece que, anteriormente em planilhas menores, a busca era instantanea, já agora com essa planilha (bem grande) tá sendo demoradíssima... existe algum método em que a busca volte a ser instantânea, pois não posso reduzir o conteúdo da mesma. Desde já, agradeço pela sua preciosa atenção.
Não poderia tambem fazer a nova tabela e a coluna calculada no DAX, não teria o mesmo ganho de performance?
Muito bom, Laennder. Excelente conteúdo.
Gostaria de tirar uma dúvida. Eu tenho uma pasta no SharePoint sincronizada com uma pasta local do meu computador. A ideia de sincronizar era pra que eu pudesse manter atualizados os arquivos na nuvem sem precisar manualmente fazer upload para o SharePoint. Porém, percebi que as minhas consultas ficaram bem mais lentas. Pode ser por conta disso mesmo?
Laennder, bom dia. Tenho um excel grande que preciso como base de uma query no power bi, todavia, quando entro para criar a nova query o power bi trava na etapa de Navigator e não roda. Em outro power bi ele até passou para a próxima etapa, mas depois que eu escolhi a aba da planilha excel, ele ficou parado na etapa de carregamento de dados. Alguma dica sobre este problema de excels com extensões *.xlsb com grande volume de dados?
Mito!!!!
HAHA,obrigado David
Humm...como ficaria esse mesmo conceito porém em tabelas? Eu tenho um consulta que reúne vários arquivos e preciso mesclar ela com outra consulta. Porém cada vez que insiro uma etapa, ela carregar todos os arquivos do primeiro arquivo...
No meu caso ao inves de apenas uma coluna, preciso carregar duas colunas... quando utilizo table.buffer não tenho o resultado esperado, alguma sugestão para que carregue apenas uma vez?
O Daniel trabalha na Eletrobras?
Olá dupliquei a minha consulta ai quando vai carregar do SQL ele fica carregando as duas, como faço esse tratamento para a tabela
Desmarcar a opção habilitar carregamento
Laender, no seu livro ensina a linguagem M? Quero me aprofundar no assunto. Outra coisa, quando realizado o buffer no arquivo, quando entrar novos dados, eles serão acrescentados a lista?
No caso se a base for atualizada como fica
Tenho um fluxo no Power BI Serviço que é alimentado por uma CDS do SAP. Existem 2 etapas após a conexão, uma para retirar duas colunas e outra para deixar todos os campos como texto, sendo essa, uma etapa dinâmica """#"Transform columns" = Table.TransformColumnTypes(#"Removed columns", List.Transform(Table.ColumnNames(#"Removed columns"), each {_, type text}))""" .
A pergunta é, se eu colocar uma etapa logo após o Source, """BancoDados = Table.Buffer(Source)""", deixaria meu fluxo mais rápido?
Segue o código alterado:
let
Source = OData.Feed("consulta CDS SAP", null, [Implementation = "2.0"]),
BaseDados = Table.Buffer(Source),
#"Removed columns" = Table.RemoveColumns(BaseDados, {"ID", "TotaledProperties", "Parameters"}),
#"Transform columns" = Table.TransformColumnTypes(#"Removed columns", List.Transform(Table.ColumnNames(#"Removed columns"), each {_, type text}))
in
#"Transform columns"
Existe a possibilidade desse recurso funcionar também para tabelas inteiras? Pois a lista não atenderia já que mais de uma coluna é atualizada por por linha.
Existe a função equivalente Table.Buffer
to usando power query no excel, não sei se estou cometendo o mesmo erro....
Topzera
E como eu faria para buscar a informação de outra tabela sem mesclar!?
Laender, um abraço.
Qual é essa lista de Whats para poder ingressar??
Boa noite muito boa essa dica, isso se aplica a uma consulta SQL também? Seria possível efetuar uma consulta SQL trazer os dados, posteriormente trazer apenas as atualização com dados que não existem armazenados no Power BI?
Taner, é possível usar o Table.Buffer para tabelas. Mas isso não é válido para cargas incrementais. O que ocorre é que na mesma sessão de atualização a tabela ou lista não é recarregada. Mas ela é recarregada ao atualizar novamente o projeto.
Laennder Alves boa noite obrigado pelo esclarecimento, sucesso para ti.
Showww
Laender, estou tentando baixar informações de um site e mesmo tem muito dados, quando importo do link da API ou JSON ele só traz 1000 linhas, tem como alterar este limite ou "bypassar" este limite??
Laennder, eu consigo fazer essa mesma funcionalidade usando 2 campos da minha tabela referencia ? por exemplo pedido/valor unitario.
Sei que faz tempo. Mas voce sabe como se faz isto que vc perguntou?
Top
Para duas colunas como faz ?
¡Buenísimo!
Professor bom dia, como vai?
Estou tentando fazer o procedimento, porém para uma Tabela, mas dá erro. Diz que uma tabela não pode ser convertida em Lista para a função List.Buffer(). É possível fazer a buferização para tabelas?
Obrigado.
Thyago Rezende use o Table.Buffer
Laennder Alves achei aqui!!! Estava lendo um artigo antigo . Obrigado
Laender, eu vivo muito essa situação.
Se entendi, essa lista não atualiza quando Panejamento é atualizada. Caso a atualização seja necessária ao mesmo tempo, tem alguma forma de não atualizar tantas vezes? Percebi que utilizando o Table.Combine nas etapas (como vc ensinou) o desempenho fica melhor.
Olá Tel. Na realidade a lista continua sendo atualizada quando planejamento é atualizada. O que não ocorre é um múltiplo carregamento da mesma na mesma sessão.
É que vc tinha desabilitado o carregamento da lista... Isso me confundiu 🙄
Ah sim. Mas posteriormente eu até exclui a lista. Ela foi inserida dentro da própria consulta.
Perfeito!! Muito obrigado pelo retorno!
No aguardo do curso de modelagem avançado :p
@@laennder perfeito! Mas ainda fiquei com uma dúvida.
Na etapa que você inseriu na tabela, o comando começa com List.Buffer...
Esse list.buffer não é o que diz que não será atualizado?
Então no final do exercício, quando incluiu essa etapa, ele foi atualizado com base na carga da tabela... seria isso?
Na hora de adicionar a coluna me retorna esse erro:
DataSource.Error: Microsoft SQL: Internal error: An expression services limit has been reached. Please look for potentially complex expressions in your query, and try to simplify them.
Detalhes:
DataSourceKind=SQL
DataSourcePath=DW
Message=Internal error: An expression services limit has been reached. Please look for potentially complex expressions in your query, and try to simplify them.
ErrorCode=-2146232060
Number=8632
Class=17
Boa noite Laennder! Cara, não sei se você pode me ajudar. Estou tentando há uma semana conectar o meu PBI usando M, em uma API web que usa Oauth 1.0. Não consigo montar o parâmento Headers da função "web.contents". Usei o seu vídeo de conectar uma API de calendário como base, e vários artigos em inglês de como conectar à API do Twittwer, mas nada dá certo. Você já fez esse tipo de conexão? Poderia me ajudar?
Olá Daniel, você poderia postar um exemplo no fórum?
Laennder Alves sim. Eu posto sim. Amanhã de manha. Obrigado.
Bom dia, segue o link do post: gurudoexcel.com/forum/viewtopic.php?f=30&t=7240
Só uma dúvida... Tem como curtir esse vídeo 1000 vezes?
Grande dica. Só não percebo como é que existem dois “No Like”..????
Sãos os haters, meu amigo.
👍👍👏
Cara vc precisa melhorar o áudio dos vídeos, não consigo ouvir no ônibus mesmo de fone....
Que dica incrível mestre !
Parabéns e muito obrigado...
Obrigado Giovani