Здравствуйте Тимур, все классно подача информации и темы актуальные в частности для меня, проголосовал за Python. У меня вопрос, а как быть, если нужно объединить xslx файлы с 1 млн. строк?
Тимур, добрый день. Видео и разъяснения как всегда супер. Спасибо большое. Подскажите, пожалуйста 3 вопроса. 1) возможно ли в jypiter поставить отслеживание запуска по времени. Пришлось подставлять TAG, чтобы сделать пометку о запуске. 2) возможно ли видеть процесс обработки файлов и их количества, либо время загрузки, либо данные, которые помогут для оценки времени завершения процесса. Если в jypiter не возможно, то можно ли запускать какую либо допбиблиотеку, чтобы этот процесс отслеживать. 3) установил на объединение 106 файлов (суммой около 500 мб), по процессам вижу, что python и sql пашут, но результат не выходит. 30 минут - процесс не завершается. (каждый файл около 6 мб. около 30 rows в каждом, соединяю полностью). Спасибо,большое.
Да, чтобы рассчитать время на общую работу или загрузку большого массива на основе какой-либо единичной его части. Так как при загрузке больших файлов не очень понятно какие параметры нужно добавлять в другие параметры импорта, чтобы ускорить процесс. ну и чтобы отойти покурить :)
Тимур, спасибо большое, очень полезное видео. у меня глупый вопрос. Если у меня стоит регулярная задача собирать данные в csv можно ли как то запускать не в браузере, а в экселе и не прописывать весь код, а как то одной функцией?
Чтобы сделать все одной функцией можно создать свой модуль и пользовательскую функцию. Из Excel вроде бы можно запустить Python код, но я лично пока этим не пользовался.
Вполне возможно. На моей текущей работе используется Tableau, поэтому для меня сейчас это более актуально. Ролики про Power Query - это структурирование моего прошлого опыта.
Тимур, забавно что про PQ я узнал впервые в контексте подготовки данных для Tableau. 4-5 лет назад своего ETL инструмента у Tableau не было, да и сейчас Tableau Prep во многом уступает PQ. Я бы сказал что видеоуроки по Prep мне были бы наиболее интересны, но боюсь, целевая аудитория у таких роликов будет совсем узкая... Сейчас, наиболее широкой и интересной темой была бы информация про новые функции Excel O365 и динамические массивы.
Тимур, не планируются ли ролики по Power Pivot как про Power Query (от простого к сложному)? Или можете посоветовать ресурс, где можно найти подобный контент? Спасибо!
Проголосуйте на странице th-cam.com/channels/wAru3vDmH-IdYtwK7JWN4w.htmlcommunity Я пока не решил на какую тему будет следующий курс. Или Python для Excel-специалистов или Power Pivot.
Здравствуйте Тимур, после объединения в csv файл текстовые данные сохранились в иероглифах (Суюменко,Рван,Данилович,), а если в xslx все нормально, пытался форматом поиграться, но безуспешно, как допилить код?
Здравствуйте! Посмотрите первый выпуск рубрики Comrade Excel TV. Там я в скобках указываю параметр encoding и значение 'cp1251'. Для кириллицы нужно указывать. Посмотрите th-cam.com/video/fK2qdCD5ZE8/w-d-xo.html
Задача тривиальнейшая. Имеется: уникальный шаблон документа и скрипт который заполняет его, и сохраняет с уникальным именем файла с одним листом. Этих шаблонов нужны сотни. Скрипт заполняет их прекрасно, но сохраняет каждый в отдельный файл. Чтобы не печатать сотни файлов каждый вручную, и не перемещать сотни файлов в один вручную, надо собрать все эти однотипные файлы в одну книгу, где каждый файл это отдельный лист. Два дня ищу решение проблемы. Все существующие решения либо ломают шаблон до неприемлемого вида либо не работают. Скрипт работает на openpyxl. И работает отлично. Но создаёт сотни файлов с одним листом. А нужен один файл формата xlsx. У кого-нибудь есть какие идеи?
Файлы для спонсоров Boosty: boosty.to/comrade-xl/posts/9dd998ec-f9bd-4f91-9a95-e80e1d8042ea?share=post_link
Файлы для спонсоров ВК: vk.com/comrade.excel?w=wall-185123800_482
Файлы для спонсоров TH-cam: th-cam.com/users/postUgwIb7ZROAxZMja2Frl4AaABCQ
Индивидуальное обучение: comrade-xl.ru/pq-training/
Страница урока на сайте: comrade-xl.ru/2020/04/24/python-combine-xlsx-files-into-csv/
Мне нужны все столбцы. Если быстрый способ сохранить все названия столбцов, чтобы не пришлось их перечислять?
Здравствуйте! Спасибо за супер полезный урок! ❤ а можно ли как-то сделать, чтобы и вложенные папки отрабатывались?
На 3:17 после ввода import glob что нужно нажать, чтобы перейти к следующему ... In[ ]?
Уже нашёл - Ctrl+Enter, потом +
Спасибо за видео! Вопрос, как сделать так чтобы в таблице остались название файла с которого взяты данные?
Здраствуйте, такой вопрос! У меня заполненные ячейки заменяются на пустые из другого файла, как можно это исправить?
Здравствуйте Тимур, все классно подача информации и темы актуальные в частности для меня, проголосовал за Python. У меня вопрос, а как быть, если нужно объединить xslx файлы с 1 млн. строк?
Здравствуйте!
В CSV файлах нет ограничения по количеству строк. Это текстовые файлы.
Тимур, добрый день. Видео и разъяснения как всегда супер. Спасибо большое.
Подскажите, пожалуйста 3 вопроса.
1) возможно ли в jypiter поставить отслеживание запуска по времени. Пришлось подставлять TAG, чтобы сделать пометку о запуске.
2) возможно ли видеть процесс обработки файлов и их количества, либо время загрузки, либо данные, которые помогут для оценки времени завершения процесса. Если в jypiter не возможно, то можно ли запускать какую либо допбиблиотеку, чтобы этот процесс отслеживать.
3) установил на объединение 106 файлов (суммой около 500 мб), по процессам вижу, что python и sql пашут, но результат не выходит. 30 минут - процесс не завершается.
(каждый файл около 6 мб. около 30 rows в каждом, соединяю полностью).
Спасибо,большое.
Добрый день! Это все возможно, но скажу честно, что в данный момент я не обладаю этими знаниями.
В первом вопросе имеется в виду просто вывести на экран время, когда началась работа над файлом?
Да, чтобы рассчитать время на общую работу или загрузку большого массива на основе какой-либо единичной его части. Так как при загрузке больших файлов не очень понятно какие параметры нужно добавлять в другие параметры импорта, чтобы ускорить процесс. ну и чтобы отойти покурить :)
Тимур, спасибо большое, очень полезное видео. у меня глупый вопрос.
Если у меня стоит регулярная задача собирать данные в csv можно ли как то запускать не в браузере, а в экселе и не прописывать весь код, а как то одной функцией?
Чтобы сделать все одной функцией можно создать свой модуль и пользовательскую функцию.
Из Excel вроде бы можно запустить Python код, но я лично пока этим не пользовался.
@@comrade_excel спасибо
Тимур, подсмотрел у Вас в закладках ссылку на ресурс по Tableau. Можно скоро ожидать видео по этой теме тоже? ;)
Вполне возможно. На моей текущей работе используется Tableau, поэтому для меня сейчас это более актуально. Ролики про Power Query - это структурирование моего прошлого опыта.
Тимур, забавно что про PQ я узнал впервые в контексте подготовки данных для Tableau. 4-5 лет назад своего ETL инструмента у Tableau не было, да и сейчас Tableau Prep во многом уступает PQ. Я бы сказал что видеоуроки по Prep мне были бы наиболее интересны, но боюсь, целевая аудитория у таких роликов будет совсем узкая...
Сейчас, наиболее широкой и интересной темой была бы информация про новые функции Excel O365 и динамические массивы.
Тимур, не планируются ли ролики по Power Pivot как про Power Query (от простого к сложному)?
Или можете посоветовать ресурс, где можно найти подобный контент?
Спасибо!
Проголосуйте на странице th-cam.com/channels/wAru3vDmH-IdYtwK7JWN4w.htmlcommunity
Я пока не решил на какую тему будет следующий курс. Или Python для Excel-специалистов или Power Pivot.
Здравствуйте Тимур, после объединения в csv файл текстовые данные сохранились в иероглифах (Суюменко,Рван,Данилович,), а если в xslx все нормально, пытался форматом поиграться, но безуспешно, как допилить код?
Здравствуйте! Посмотрите первый выпуск рубрики Comrade Excel TV. Там я в скобках указываю параметр encoding и значение 'cp1251'. Для кириллицы нужно указывать. Посмотрите th-cam.com/video/fK2qdCD5ZE8/w-d-xo.html
Задача тривиальнейшая.
Имеется: уникальный шаблон документа и скрипт который заполняет его, и сохраняет с уникальным именем файла с одним листом. Этих шаблонов нужны сотни. Скрипт заполняет их прекрасно, но сохраняет каждый в отдельный файл.
Чтобы не печатать сотни файлов каждый вручную, и не перемещать сотни файлов в один вручную, надо собрать все эти однотипные файлы в одну книгу, где каждый файл это отдельный лист.
Два дня ищу решение проблемы. Все существующие решения либо ломают шаблон до неприемлемого вида либо не работают.
Скрипт работает на openpyxl. И работает отлично. Но создаёт сотни файлов с одним листом. А нужен один файл формата xlsx.
У кого-нибудь есть какие идеи?
Comrade Excel TV
У меня 6 xslx файлов по 1 млн.строк