Спасибо за видео. Рекомендую переименование столбцов делать не ближе к концу, а ближе к началу. Если вы тянете данные ,например из интернета или чужих файлов, где название столбцов может поменяться, то после изменения в источнике ,вам придется переименовывать столбец на всех шагах, где используется его имя. Что бы не было такого, достаточно переименование столбцов на свои имена делать максимально близко в начале - до работы с этими столбцами. Это позволит в дальнейшем при изменение начальной структуры быстро поправить весь запрос, изменив название столбца на первых шагах, а остальные шаги используют уже наши имена столбцов в своих расчетах и преобразованиях.
Все гениальное просто)) каждый шаг это таблица в памяти *посыпаю голову пеплом* По моим скромным наблюдениям есть очень ресурсоемкие функции, например, операции с сгруппированными таблицами нагружают запрос. Кроме того, есть table.buffer но как и когда им корректно пользоваться в целях ускорения запросов понять сложно. Если найдёте время рассказать об этом было бы супер. Спасибо за полезный информативный канал.
Добрый день! Тимур, а как во время формирования запроса удалить или не использовать правила условного форматирования для ячеек? После обработки запроса в тех таблицах где применяются правила выводиться ошибка. Заранее благодарен!
Не знаю где спросить, подскажите пожалуйста как можно в power pivot сделать таблицу справочник из существующей модели данных, нагуглил DISTINCT но я как понимаю это про power bi. Как сделать кучу справочников не в ручную ? На ум приходит только в power query кучу запросов делать
@@comrade_excel, да Вот, например, такая конструкция обрезает все лишние пробелы (простая версия без неразрывных) во всех столбцах таблицы: Table.TransformColumns(Источник, each {_,(t)=> Text.Trim(t)}) В общем, что-то подобное ) и с использованием других формул с функциями: List.Contains, List.Transform и пр. И как раз данные функции в тему Вашего полслнднего урока - сокращение шагов в запросе.
@@comrade_excel конкретно эта формула, конечно, обрезает все пробелы по краям строки. Суть не в формуле, а в том, чтобы однотипное действие по всем столбцам передавать через аргументы функции.
В очередной раз спасибо. Тимур как ты работаешь с данными, получаемыми с sql сервера? Вопрос касается большого объема получаемых данных из таблиц или представлений на сервере. Например, при необходимости анализа в Power Pivot или Power Query информации о продажах за 5, 7 лет объём данных может составлять десятки мегабайт. Во-первых это сказывается на скорости получения данных экселем - ждать обновления данных и мер приходится три, четыре минуты. Как я понимаю, Excel тянет с сервера весь объём данных. Во-вторых, ростет объем самого файла. Объем служебных данных excel может достигать нескольких гигабайт. Снижается производительность ПК, да и сам Excel зачастую начинает тормозить и закрываться аварийно. Как оптимизировать данную ситуацию? Есть какие-нибудь наработки, которыми можешь поделиться? Спасибо.
Общая рекомендация - это брать только то, что нужно и ничего лишнего. С сервера можно сразу получать данные в агрегированном виде. Также можно заранее создать на сервере готовую витрину, а не джойнить таблицы в Power Pivot. Одна таблица будет работать быстрее, чем сложная модель данных. Все вспомогательные поля тоже можно создать прямо на сервере, а не в Power Query/Power Pivot. В общем, на Excel должно быть минимум нагрузки. Большинство фильтров, джойнов и вычислений должны произойти на сервере.
Большое спасибо, Тимур! Я мастер по созданию мусора 😅. Просто пока я учусь работать в PQ, поэтому получается много лишнего и неуклюже что-ли + я тугодум. Надо вдумчиво пересмотреть это видео- мне оно точно очень пригодится. Можешь, пожалуйста, подсказать книгу/статью, которая помогает в целом умению работы с данными/информацией.Я имею в виду не технические инструменты, а скорее логические/стратегические. Иногда очень нужно навести порядок в голове.По себе и по работе других знаю, что лучше все разложить по полочкам, распланировать, чем сделать на авось, а потом в процессе кучу раз переделывать. Буду весьма признательна!
Файлы для спонсоров Boosty: boosty.to/comrade-xl/posts/384b344d-c973-49c9-a716-4a8d983de689?share=post_link
Файлы для спонсоров ВК: vk.com/comrade.excel?w=wall-185123800_257
Файлы для спонсоров TH-cam: th-cam.com/users/postUgxEsV7lXUwGODWj_Sp4AaABCQ
Индивидуальное обучение: comrade-xl.ru/pq-training/
Страница: comrade-xl.ru/2021/04/14/pq-tricks-speedup/
Спасибо за видео. Рекомендую переименование столбцов делать не ближе к концу, а ближе к началу. Если вы тянете данные ,например из интернета или чужих файлов, где название столбцов может поменяться, то после изменения в источнике ,вам придется переименовывать столбец на всех шагах, где используется его имя. Что бы не было такого, достаточно переименование столбцов на свои имена делать максимально близко в начале - до работы с этими столбцами. Это позволит в дальнейшем при изменение начальной структуры быстро поправить весь запрос, изменив название столбца на первых шагах, а остальные шаги используют уже наши имена столбцов в своих расчетах и преобразованиях.
Супер. Очень полезное видео
Мне было больно смотреть на этот запрос, спасибо, что исправили его)
Знал про это на подсознательном уровне исходя из логики. Спасибо за то что все это упорядочили
Просто волшебство! Спасибо!
Все гениальное просто)) каждый шаг это таблица в памяти *посыпаю голову пеплом*
По моим скромным наблюдениям есть очень ресурсоемкие функции, например, операции с сгруппированными таблицами нагружают запрос.
Кроме того, есть table.buffer но как и когда им корректно пользоваться в целях ускорения запросов понять сложно. Если найдёте время рассказать об этом было бы супер.
Спасибо за полезный информативный канал.
Совершенно верно. Некоторые функции очень ресурсоемкие. Про Table.Buffer я расскажу в будущем.
Круть!👍
Добрый день, подскажите как сделать. есть список сайтов. нужно сделать запрос по каждому адресу с поиском e-mail на главной странице сайта
А можно ли в 1ом шаге создать 10 колонок (например копий любого существыющего столбца)?
Я думаю можно. Здесь подойдет, например, функция List.Generate.
Ваш вопрос показался мне интересным, поэтому я создал по нему урок th-cam.com/video/DgkclHmD6zU/w-d-xo.html
Добрый день!
Тимур, а как во время формирования запроса удалить или не использовать правила условного форматирования для ячеек? После обработки запроса в тех таблицах где применяются правила выводиться ошибка.
Заранее благодарен!
На каком уровне спонсорства будут видны приложенные файлы?
th-cam.com/users/postUgyBLhUzjCE54oAkfNJ4AaABCQ
Не знаю где спросить, подскажите пожалуйста как можно в power pivot сделать таблицу справочник из существующей модели данных, нагуглил DISTINCT но я как понимаю это про power bi. Как сделать кучу справочников не в ручную ? На ум приходит только в power query кучу запросов делать
Если вам нужно создать таблицу, то это делается в Power Query.
ссылка для скачивания файла для практики отсутствует
Спасибо! Исправил.
Тимур, сделайте, пожалуйста, подробный урок на живом примере с функциями (x,y) =>
Пользовательские функции?
@@comrade_excel, да
Вот, например, такая конструкция обрезает все лишние пробелы (простая версия без неразрывных) во всех столбцах таблицы:
Table.TransformColumns(Источник, each {_,(t)=> Text.Trim(t)})
В общем, что-то подобное ) и с использованием других формул с функциями: List.Contains, List.Transform и пр.
И как раз данные функции в тему Вашего полслнднего урока - сокращение шагов в запросе.
Эта формула удаляет все лишние пробелы или только лишние пробелы по краям строки?
@@comrade_excel конкретно эта формула, конечно, обрезает все пробелы по краям строки.
Суть не в формуле, а в том, чтобы однотипное действие по всем столбцам передавать через аргументы функции.
@@nbuhblhfrjy это я понял.
В очередной раз спасибо. Тимур как ты работаешь с данными, получаемыми с sql сервера? Вопрос касается большого объема получаемых данных из таблиц или представлений на сервере. Например, при необходимости анализа в Power Pivot или Power Query информации о продажах за 5, 7 лет объём данных может составлять десятки мегабайт. Во-первых это сказывается на скорости получения данных экселем - ждать обновления данных и мер приходится три, четыре минуты. Как я понимаю, Excel тянет с сервера весь объём данных. Во-вторых, ростет объем самого файла. Объем служебных данных excel может достигать нескольких гигабайт. Снижается производительность ПК, да и сам Excel зачастую начинает тормозить и закрываться аварийно. Как оптимизировать данную ситуацию? Есть какие-нибудь наработки, которыми можешь поделиться? Спасибо.
Общая рекомендация - это брать только то, что нужно и ничего лишнего. С сервера можно сразу получать данные в агрегированном виде. Также можно заранее создать на сервере готовую витрину, а не джойнить таблицы в Power Pivot. Одна таблица будет работать быстрее, чем сложная модель данных. Все вспомогательные поля тоже можно создать прямо на сервере, а не в Power Query/Power Pivot. В общем, на Excel должно быть минимум нагрузки. Большинство фильтров, джойнов и вычислений должны произойти на сервере.
Большое спасибо, Тимур! Я мастер по созданию мусора 😅. Просто пока я учусь работать в PQ, поэтому получается много лишнего и неуклюже что-ли + я тугодум. Надо вдумчиво пересмотреть это видео- мне оно точно очень пригодится. Можешь, пожалуйста, подсказать книгу/статью, которая помогает в целом умению работы с данными/информацией.Я имею в виду не технические инструменты, а скорее логические/стратегические. Иногда очень нужно навести порядок в голове.По себе и по работе других знаю, что лучше все разложить по полочкам, распланировать, чем сделать на авось, а потом в процессе кучу раз переделывать. Буду весьма признательна!
Спасибо за отзыв! К сожалению, статей не знаю.
На 1:47 у вас большое заблуждение... 😢
Да, согласен. К сожалению, я это заблуждение еще где-то повторяю.
Какой знакомый датасет ))