Спасибо автору! Описан нормальный путь создания скрипта от постановки задачи до практической реализации в конкретной области. Использование простых конструкций позволяет понять происходящее для начального уровня, кому и предназначены эти видео. Замечания в комментариях по улучшению предложенного кода расширяют кругозор. Их авторам также спасибо!
@@Akkaunt__Yerjan помню вначале нулевых изучал фак по фриинету, будучи студентом безденежным, да ещё и музыкантом, вот у меня к пела голова😂 Научился инет добывать, да ещё и не обворовывая людей при этом :)) Данные для авторизации тырил конечно, проникая в компы через гостевой доступ для авторизации. И оказалось, что у прова мультилогины были у всех😅 РОЛ вроде это был😂
Было бы замечательно и профессионально, после выхода комментариев, создать следующее видео, автор решит ту же задачу, но учтёт полезные комментарии, и немного усложнить задачу. К примеру что-то запишет в один файл с таким именем, а что-то в другой файл с другим расширением в другом виде. Методов много, хочется примеры на все методы. Т.е. к примеру, четыре видео, и в них раскрыты все методы работы со строками на простой реальной программе! Это лучший канал для самообучения! В остальных видео много просто примеров, а здесь реальные программы! Спасибо за видео! Успехов каналу и ведущему! Жду новые видео по всем разделам Python, что бы можно было освоить их и вырасти от джуна до мидла!
Можно усовершенствовать программу, если добавить файл базы данных MySQL и в него писать необходимые значения и сохранять, переносить таким образом вместо файла ini. Ну и потом написать графический интерфейс, можно на Kivy для мультиплатформенности.
Дело в том что мне такой вариант совершенно не нужен. Ни графический интерфейс ни БД. У меня этот скрипт встроится в мое большое веб-приложение. И я там использую ini файлы чтобы не хардкодить, не записывать в код то, что может меняться в зависимости от разных ситуаций. Чтобы с приходом нового сезона например не переписывать основной код приложения. Просто обновил ini файл, изменил если надо руками, добавил что надо - и готово. Приложение работает с новым сезоном . Без залезания в код.
Нет необходимость так сортировать словарь (преобразования сортированного списка кортежей обратно в словарь) достаточно написать for key, value in sorted(subcategories_dict.items()): т.к. по сути словари это неупорядоченные последовательности. То что в последних версиях python перебор элементов словаря идёт по порядку их занесения в словарь, не гарантирует аналогичное поведение в более ранних версиях python
Меня сортировка словаря тоже слегка насторожила. Погуглил - оказывается начиная с версии Питон 3.6 словарь сохраняет порядок элементов в порядке их добавления. В более ранних версиях такого нет.
Как вы из Excel сводной таблицы будете выводить например не сайт? А через Python это реально. Пример, мини магазин, крохотный сайт с каталогом товаров. Продавцы забивают в Excel и данные автоматом появляются на сайте.
привет. Здорово, что показываешь реальные задачи с реальными алгоритмами) Продолжай в том же духе). По коду хотелось бы добавить, что можно избавиться от конструкции if-else стандартным методом dict.setdefault(key, list()).append(value) - т.е. если значение ключа есть, то он будет добавлен в список, а если такого ключа нету, тогда будет создан такой ключ в словаре и в него уже добавлен value. Надеюсь понятно написал))
Можно просто subcategories_dict = defaultdict(list) Таким образом можно указать, что в словаре в качестве значений будут листы. И можно смело делать subcategories_dict['любой ключ'].append(sku)
Я также ловлю кайф от работы с python. Был тоже опыт работы с Excel: однажды получилась очень удачный и стройный скрипт - на штатный разработчик Excel/VB начал у меня выяснять где же основной модуль реализации и не поверил, что этот скрипт и был всей рабочей программой
Огромное спасибо! На работе часто используют Excel, и Python может очень помочь. Было бы ещё круче в конце видео записать данные в новый xlsx файл через цикл.
Спасибо большое, мне как новичку и самоучке, тяжело найти наглядный пример. А тут прям то что нужно! Понимаю что возможно не оптимальное решение, но сам процесс поиска ответов, очень помог мне. Ещё раз спасибо, для меня очень полезная информация! Судя по коментариям и я дед)
У меня ест многолетний опыт анализа данных в Excel. И эту задачу в Excel можно выполнить примерно за полторы минуты. Может 3 минуты. Загружаем всю таблицу в модель данных (Power Pivot). Создаём одну меру на DAX CONCATENATE. После чего выводу ее в сводную таблицу. Все. Выглядит гораздо быстрее чем способ на видео. А касаемо программирования... Я только в прошлом месяце начал учить Python для анализа данных. Знаю совсем немного. Но я бы в данном случае использовал бы Pandas. Подключился к таблице с переводом ее в DataFrame. Оставил бы только две нужные колонки. После чего загуглил (или чатгпт) как в Пандасе делать конкатинацию, так как такого ещё не учил. Мне кажется это будет проще и быстрее чем выщитывать номера колонок. А вдруг в следующей выгрузке добавиться колонка с новой информацией? Тогда номер колонки измениться и весь алгоритм пойдет лесом. А если привязаться к названию, то куда бы колонка не переехала, то ничего не поломается. Хотя может вмешаться человеческий фактор и измениться название колонки в таблице, но предусмотреть все невозможно.
Привет! Спасибо за видео! По поводу наполнения словаря подкину еще один вариант. Можно воспользоваться методом get(), что бы избежать конструкции if-else: subcategories_dict[subcategory] = subcategories_dict.get(subcategory, [ ]) + [sku] т.е. перед тем как записать значение ключа мы проверяем что у нас там уже есть по этому ключу через get(), если ничего нет то применяется второй аргумент у get() что положить туда, если ничего не нашлось. В случае, если найдется, то мы к списку просто прибавим еще одно значение.
Спасибо за ответ. Когда я писал код попримеру в else выдавало ошибку, sku было стрингом, что не позволяло добавлять в него через аппенд. Твоё решение все исправило!
Берешь задачу - сортировка и подготовка данных из таблицы в 10000 строк, чтобы провести расчет и вывести результаты в word. Сначала пробуете на VBA, понимаете, что это полный изврат и переписываете на linq C#.... Profit.
Словарь по итогу отсортирован по ключу, как строке (1.10, 1.11 идут впереди 1.2), а нужно как по числу. В программе не хватает вот этого последнего штришка. :)
Просто мне не нужно было это. Это задача не учебная а реальная. Такой сортировки более чем достаточно, времени тратить на ненужную «досортировку» - смысла нет. И видео усложнять - тем более.
1. if else обычно стараются сократить. Я бы сделал "в случае если в словаре нет ключа" - создад запись с ключем где значение будет пустой массив. А потом аппендить туда значения без елсе. Мне так комфортнее) Не знаю кому как. Ну и еще одно замечание. А самое главное замечание кеоторое мне бросилось в глаза - сортировка не верная. Потому что саб категория должна сортироваться 1.1, 1.2, 1.3, ...., 1.10 а не 1.1, 1.10, 1.2. Для этого когда складываем в словарь можно сразу сделать category_dic и subcategory_dic и во втором писать только второе число подкатегории. И сортировать его как число а не как строку. В целом такая структура будет удобнее для дальнейшего использования.
в 8:42 - чтобы посчитать кол-во столбцов - достаточно их выделить и посмотреть на "подсказку" которая будет появляться правее курсора. Подсказка вида: 1048576R x 12C
Можно вместо списка для артикулов использовать множество, тогда в строке артикулов не будет повторений dict.setdefault(key, set()).add(value) А при выводе использовать f-строку вместо строки с "+" и вставить sorted() в join, потому что множество выдает свои элементы в случайном порядке string_values = ', '.join(sorted(value)) string_to_write = f'{key} = {string_values} '
Огромное спасибо за видео! Я только начал изучать Python и мне было очень интересно увидеть практическую пользу всего, что я изучаю 😂 Еще раз благодарю 👍🏻
Очень полезное видео !!!Как раз подобную программу реализую как начинающий программист, свой проект)Спасибо вам за труды. Подписка однозначно и рекомендации друзьям и знакомым!
Я бы словарь сортировал иначе, через генератор, как кто-то предложил If/else при записи можно заменить конструкцией dict[key] = dict.get(key, []) + [value] Если нет значения по ключу, он в него записывает пустой список и конкатенирует со списком значения Либо dict.setdefault(key, []).append(value) И при создании результирующей строки использовал f-string Получилось бы что-то типа String_write = f”{key} = {‘, ‘.join(value)} ” - здесь сразу список значений распаковывается в строку с разделителями) вообще познав однажды f-строки невозможно их разлюбить
Бесконечно можно смотреть на три вещи: как огонь горит, вода течёт и профессионал работает. Так что посмотрю ка ещё раз. Это было красиво, я кайфонул. А вот использование огрызка удивило :)
Ой я не профессионал точно, я не работаю программистом. Я любитель 😀 Мак - потрясающий комп, я ему не нарадуюсь уже много лет. И для программирования очень хорошо подходит.
Для повседневной жизни линукс менее удобен чем мак. Линукс хорош для сервера, куда свои приложения выкладывать будете. И макОС она тоже unix подобная система, считайте тот же линукс.
Познавательно и круто! Спасибо за видео и разъяснения. Однако, я хотел бы уточнить пару моментов. 1-й - кроме макросов в Excel есть прекрасный ETL в виде PowerQuery, где тоже самое можно сделать при помощи интерфейса и нескольких кликов мышки. 2-ой - на 17:50 видно, что сортировка не идеальна, т.к. после. п.3.1. (20 строчка в IDE) идёт п.3.10. (21 строчка в IDE), а ещё ниже п.3.2. (26 стока в IDE). Подскажите, пожалуйста, как это скорректировать? Спасибо!
Да, можете почитать в комментариях, об этом уже рассуждали. Чуть более сложную сортировку пришлось бы делать. Например отделять номер от названия подкатегории, переводить его в тип float , сортировать его и т.д. Мне это было не нужно, такой первичной сортировки было достаточно.
Я бы так решил. Прикинул пару путей. в т.ч. и через возможности самого эксель. Посмотрел бы пару гайдов. Захотел эту задачку сделать сам. Прикинул сколько времени уйдет. Почесал репу. Написал бы тезисно ТЗ. Закинул 2-3м программистам на аутсорсе. Или даже одному кто онлайн. Взял бы оценку времени. Согласовал стоимость. Запустил бы в работу. опустим моменты некоторые.. тестанул бы сам и отдал пользователю. Получив ответ что все работает как надо, закрыл бы тиккет. ВОт, такой вот я программист))))
Спасибо, очень интересно. Возможно ли сделать подобный видео-разбор с данными, которые бы писались в БД (желательно постгрес). Если бы еще на арендованном серваке было бы вдвойне полезно.
Жаль нельзя поставить сразу два, а лучше три лайка ) пробовал с ноги сесть за написание скриптов для экселя 3 месяца назад на работке, потратил прилично времени и ничего не понял, все не работало и я забросил... сейчас после бесплатных курсов на степике (парни там реально наваливают знаний, если нужна ссыль маякните) все предельно понятно в этом видео, надо потихонечку разбираться со сторонними библиотечками.
Всё хорошо, но маленький недочёт.. Сортировка отработала не совсем должным образом.. 1.1, 1.10.., 1.2.. Мне кажется должно было.. 1.1, 1.2, 1.10... и тд. :) Видео очень понравилось, особенно рубрика реальных задач. Большое спасибо за видео!
И вам спасибо! Дело в том что это реальная программа и я делал ее так, как нужно мне. Мне такой «неидеальной» сортировки достаточно. Если бы мне по какой то причине нужна была строгая сортировка - конечно я бы ее сделал.
Понял. А я не люблю лишние модули импортировать. Если чтото можно сделать на ядре Питона, без потери в быстродействии и времени разработки - делаю на ядре.
@@oldcoders это не доблесть! ядро питона специально очень ограниченное по сравнению с другими языками, именно для мотивации исполшьзовать сторонние быблиотэки )
В случае когда в самой таблице тебе не нужно работать с её оформлением или картинками в таблице, openpyxl лучше не использовать. Проще загрузить таблицу через pandas в DF и работать с DF, и дальше создать уникальный список подзаголовков, и собрать словарь артикулов, где ключ подзаголовок, значение список с артикулами.
Кстати о исходниках и "если хочется, то можно здесь всё сломать". Надо бы рассказать людям про virtual environment'ы. Меньше "но на моём компе работает" будем слышать)
Привет! Спасибо за видео! Классная идея с обучением на реальной задаче. Немного душных комментов по самому видосу - слишком много внимания берут на себя перебивки с музыкой, я бы музыку или подрезал или вообще убрал. Если добавить в начале что-то типа оглавления - так будет смотреть еще интереснее. Можно еще рассказать сколько времени заняла работа и сколько за это могут заплатить) спасибо за видос! Афтор пеши исчо
Есть же оглавление - разделы под видео. За такую программу никто платить не будет, это минимальный базовый уровень владения языком. Времени заняло минут 30. За советы спасибо!
Это конечно круто и мне было интересно посмотреть, но такую вещь очень легко сделать в сводной таблице excela)))) я думаю у меня было ушло на это максимум 15 минут)) Пс. Спасибо за информацию, было очень интересно
Спасибо интересно. Один вопрос если у нас в исходном файле будет за двоенная строка (Артикул + Подгруппа товара), то и в финале два одинаковых артикула в подгруппе товара выйдет? Если да, то как дописать проверку, и может добавить вывод дублей в отдельный файл для правки исходника. А то ошибка в одной цифре артикула и песчаная толстовка идет как черная.
Здравствуйте! Сортировка не совсем корректная: 1.1 потом идут 1.10, 1.11, 1.12, а после 1.2, далее где еще есть два знака после точки в номере категории все таким же образом отсортировано Как сделать правильно не знаю) пусть знатоки подскажут😊
@@ringilendimion нет, нужно просто словарь словарей. И ключами делать целое число, что бы сортировать не как строки а как числа. Собственно по этому тут и проблема с сортировкой что он сортирует строки по сути. Даже если флоат то тоже не подходит. Нужно сделать двухуровневый словарь. Точнее он может быть тут любой глубины. Суть в том что бы категорию первую берем до первой точки, вторую между первой и второй точкой и так далее. И если категория оставшаяся больше не имеет дробной части то кладем сюда уже артикли
@@no101vmvможно воспользоваться параметром key функции sorted, и туда запихать свою функций, которая будет бить ключ словаря по пробелу, брать первый элемент и приводить его к float
@@oldcoders если в одной категории товары могут быть как с одинарной вложенностью так и с двойной и более - то возможно стоит ввести понятие обьекта категория у которой есть 2 поля. Подкатегория(по сути категория), возможно название текущей категории и итемы текущей категории. Подкатегория это такой же объект категории. Но это уже выглядит как отдельный урок
всё отлично, объяснение и пример, но: 1) это скрипт, а не программа, т.к. используется императивный подход, впрочем, это уже вопрос семантики. 2) задача не выполнена, т.к. условие "и формирование нового .xlsx файла" в рамках видео не выполнено PyCharm (Win) - ctrl+b (и тоже для выхода обратно) для pop-up подсказки - достаточно ctrl+q (второе нажатие открывает сбоку вкладку Документации) - прыгать в исходник бывает излишне; а данная комбинация также подсказывает ваши функции и классы (и даже вашу документацию, если она присутствует и создана по правилам)
В Excel подобные задачи решаются значительно быстрее, можно обычными сводными таблицами реализовать, без программирования. Можно на VBA написать аналогичный код. Можно через PQ сделать. Но возможность выполнить данную задачу на python тоже очень полезная вещь, хотелось бы в Excel иметь встроенный python
Да уж. В Excel на VBA эта задачка решается написанием одного цикла. И не нужно огород с Питоном городить, еще и библиотеку для Excelя качать.. А то ведь можно и на СИ и на Фортране это написать. Да на всем, где есть операторы цикла и условного перехода. Хорошо, что автор не на ассемблере кодит :)))
@@oldcoders ,дело в том, что для написания в Экселе на VBA в отличие от Питона, не нужен учебник. Там тебе и встроенная среда разработки, и запись макросов для образцов как кодить, и встроенная справка с примерами. А написание цикла для перебора массива, это основа программирования, одинаковая в любом языке.
Тоже про Pandas подумал. Но в исходном excel файле (в названии столбцов таблицы) заметил объединённые ячейки. У меня Pandas такое читать отказывается. Есть вообще способ открыть excel файл с объединёнными ячейками через Pandas?
Ой.. сделайте сами, там делов то. Или с работы любой файл возьмите. Или уж в крайнем случае погуглите, эксель файл скачать. Какой нибудь прайс лист найдется уж.
Здравствуйте! Спасибо за материал! Просмотрел много комментариев к выпуску и не увидел, чтобы у кого-то возникала подобная ошибка: myfile.write(string_to_write) UnicodeEncodeError: 'ascii' codec can't encode characters in position 4-11: ordinal not in range(128) Система macOS Подскажите, пожалуйста, как решить
А sku это и не лист никакой. Лист это значение словаря, в котором элементами являются sku. subcategories_dict[subcategory]=[sku] Вот здесь список и объявляется.
Не с 7 строки, а со строки содержащую "Артикул" + 1. С такой остановкой не важно будет как создан файл exl. Да и со столбцом тоже надо описывать поиск. Это не сложно и позволит избежать ошибки в файле с номерами строк и столбцов.
Да, можно было. Просто у меня это была одноразовая задача, в приоритете - быстрота написания кода. В последующем я ее включу в большой свой проект - там да, именно так и буду делать - парсить заголовок по названию столбца.
@@oldcoders Я программирую, но не на Phyton, однако, заметил, что стоит сразу писать очевидные вещи, что-бы потом не забыть или не попасться на мелочи. И моя пометка больше к начинающим программировать. За урок, конечно, спасибо.
Да, кажется что нереально. Сам в такое состояние впадал много раз. Массив информации просто чудовищно огромный. Но не надо его учить. Надо в нем РАЗБИРАТЬСЯ и писать МНОГО программ, используя эти знания. Тогда в голове останется память о том что ты это делал, и когда надо будет - ты это вспомнишь. Я вообще ничего не помню, спроси меня «как написать то-то и то-то». Я отвечу «точно не помню, но это делается примерно так, щас я быстренько загуглю - да, вот, это делается так». И это нормально. Программисты не помнят весь синтаксис всех языков и фреймворков. Но они помнят что это они уже делали /читали когда то и знают где в документации искать про это.
Единственное - если пойдете на собеседование - там надо кое что наизусть знать. Но к собеседованию и надо готовиться отдельно. Учить и даже зубрить кое что.
В очередной раз убеждаюсь, что реальные задачи намного интереснее и эффективнее. Нужно как-нибудь попробовать. Спасибо большое за видео!
Спасибо автору! Описан нормальный путь создания скрипта от постановки задачи до практической реализации в конкретной области. Использование простых конструкций позволяет понять происходящее для начального уровня, кому и предназначены эти видео.
Замечания в комментариях по улучшению предложенного кода расширяют кругозор. Их авторам также спасибо!
Это вообще законно, объяснять так понятно и наглядно? )) Спасибо!
😆😆😆
Вы бы skillbox посмотрели как там наглядно про основы взлома показывали)).
@@Akkaunt__Yerjan есть на ютубе?) Подскажите, если да
@@Akkaunt__Yerjan помню вначале нулевых изучал фак по фриинету, будучи студентом безденежным, да ещё и музыкантом, вот у меня к пела голова😂 Научился инет добывать, да ещё и не обворовывая людей при этом :)) Данные для авторизации тырил конечно, проникая в компы через гостевой доступ для авторизации. И оказалось, что у прова мультилогины были у всех😅 РОЛ вроде это был😂
Законно-ли это?! - Незаконно это нихрена!)
Было бы замечательно и профессионально, после выхода комментариев, создать следующее видео, автор решит ту же задачу, но учтёт полезные комментарии, и немного усложнить задачу. К примеру что-то запишет в один файл с таким именем, а что-то в другой файл с другим расширением в другом виде. Методов много, хочется примеры на все методы. Т.е. к примеру, четыре видео, и в них раскрыты все методы работы со строками на простой реальной программе! Это лучший канал для самообучения! В остальных видео много просто примеров, а здесь реальные программы! Спасибо за видео! Успехов каналу и ведущему! Жду новые видео по всем разделам Python, что бы можно было освоить их и вырасти от джуна до мидла!
Спасибо! Я тоже думаю о том, чтобы изменить программы с учётом советов, данных в комментариях, и записать видео об этом .
@@oldcoders 🤝🤝🤝
Можно усовершенствовать программу, если добавить файл базы данных MySQL и в него писать необходимые значения и сохранять, переносить таким образом вместо файла ini. Ну и потом написать графический интерфейс, можно на Kivy для мультиплатформенности.
Дело в том что мне такой вариант совершенно не нужен. Ни графический интерфейс ни БД. У меня этот скрипт встроится в мое большое веб-приложение. И я там использую ini файлы чтобы не хардкодить, не записывать в код то, что может меняться в зависимости от разных ситуаций. Чтобы с приходом нового сезона например не переписывать основной код приложения. Просто обновил ini файл, изменил если надо руками, добавил что надо - и готово. Приложение работает с новым сезоном . Без залезания в код.
@@oldcoders а почему ini файлы, а не тот же json?
Нет необходимость так сортировать словарь (преобразования сортированного списка кортежей обратно в словарь) достаточно написать for key, value in sorted(subcategories_dict.items()): т.к. по сути словари это неупорядоченные последовательности. То что в последних версиях python перебор элементов словаря идёт по порядку их занесения в словарь, не гарантирует аналогичное поведение в более ранних версиях python
О, круто, спасибо!!
Меня сортировка словаря тоже слегка насторожила. Погуглил - оказывается начиная с версии Питон 3.6 словарь сохраняет порядок элементов в порядке их добавления. В более ранних версиях такого нет.
@@eugenedukatta9355 с версии 3.9
У Excel для решения подобной задачи без программирования есть собственный мощный инструмент - сводная таблица. Но пример полезный, спасибо.
👌 но у нас цель - программирование
Как вы из Excel сводной таблицы будете выводить например не сайт? А через Python это реально.
Пример, мини магазин, крохотный сайт с каталогом товаров. Продавцы забивают в Excel и данные автоматом появляются на сайте.
привет. Здорово, что показываешь реальные задачи с реальными алгоритмами) Продолжай в том же духе). По коду хотелось бы добавить, что можно избавиться от конструкции if-else стандартным методом dict.setdefault(key, list()).append(value) - т.е. если значение ключа есть, то он будет добавлен в список, а если такого ключа нету, тогда будет создан такой ключ в словаре и в него уже добавлен value. Надеюсь понятно написал))
О, круто! Спасибо большое!!
@@oldcoders ещё удобно использовать defaultdict() стандартного модуля collections. Особенно если нужно получить вложенность в словаре наподобие json.
Можно просто subcategories_dict = defaultdict(list)
Таким образом можно указать, что в словаре в качестве значений будут листы. И можно смело делать subcategories_dict['любой ключ'].append(sku)
Класс!
Объяснение, подача, реальные задачи, вы просто популяризатор программирования!
Дед, ты лучший!
Создаешь топовый контент!
Спасибо!
Я также ловлю кайф от работы с python. Был тоже опыт работы с Excel: однажды получилась очень удачный и стройный скрипт - на штатный разработчик Excel/VB начал у меня выяснять где же основной модуль реализации и не поверил, что этот скрипт и был всей рабочей программой
Огромное спасибо!
На работе часто используют Excel, и Python может очень помочь.
Было бы ещё круче в конце видео записать данные в новый xlsx файл через цикл.
Супер! Если еще будут примеры работы питона с экселем, по возможности, пжт, выкладывайте. Очень интересно) Спасибо!
👌 Есть еще одно видео на канале у меня, посмотрите, pandas + excel
Материал изложен в доступной для понимания форме. Спасибо.
Спасибо за клевую практику и прикладное применение всех этих циклов, словарей и джоинов!!!!
Видео еще не смотрела, думаю, там все как всегда очень хорошо, но елочка на батарее очень милая, спасибо за настроение ☺️🧡
☺️🎄
Спасибо большое, мне как новичку и самоучке, тяжело найти наглядный пример. А тут прям то что нужно! Понимаю что возможно не оптимальное решение, но сам процесс поиска ответов, очень помог мне. Ещё раз спасибо, для меня очень полезная информация! Судя по коментариям и я дед)
Спасибо! Хороший пример. Решал недавно задачу с курса по работе с файлами, тут практически то же самое)
У меня ест многолетний опыт анализа данных в Excel. И эту задачу в Excel можно выполнить примерно за полторы минуты. Может 3 минуты. Загружаем всю таблицу в модель данных (Power Pivot). Создаём одну меру на DAX CONCATENATE. После чего выводу ее в сводную таблицу. Все. Выглядит гораздо быстрее чем способ на видео.
А касаемо программирования... Я только в прошлом месяце начал учить Python для анализа данных. Знаю совсем немного. Но я бы в данном случае использовал бы Pandas. Подключился к таблице с переводом ее в DataFrame. Оставил бы только две нужные колонки. После чего загуглил (или чатгпт) как в Пандасе делать конкатинацию, так как такого ещё не учил. Мне кажется это будет проще и быстрее чем выщитывать номера колонок. А вдруг в следующей выгрузке добавиться колонка с новой информацией? Тогда номер колонки измениться и весь алгоритм пойдет лесом. А если привязаться к названию, то куда бы колонка не переехала, то ничего не поломается. Хотя может вмешаться человеческий фактор и измениться название колонки в таблице, но предусмотреть все невозможно.
А какая библиотека для вывода в эксель из питона?
Привет! Спасибо за видео! По поводу наполнения словаря подкину еще один вариант. Можно воспользоваться методом get(), что бы избежать конструкции if-else:
subcategories_dict[subcategory] = subcategories_dict.get(subcategory, [ ]) + [sku]
т.е. перед тем как записать значение ключа мы проверяем что у нас там уже есть по этому ключу через get(), если ничего нет то применяется второй аргумент у get() что положить туда, если ничего не нашлось. В случае, если найдется, то мы к списку просто прибавим еще одно значение.
Спасибо!! Возьму на заметку!
Для этого есть defaultdict чтобы такие кастыли не писать
Спасибо за ответ. Когда я писал код попримеру в else выдавало ошибку, sku было стрингом, что не позволяло добавлять в него через аппенд. Твоё решение все исправило!
Я люблю программирование. Но дальше теории никак не двинусь и по этому получаю удовольствие от просмотра таких роликов
Поставьте себе задачу, очень простую. И решите ее.
Если совсем нет задач - решайте их на codewars.
Какой смысл знать теорию и не использовать ее?
Берешь задачу - сортировка и подготовка данных из таблицы в 10000 строк, чтобы провести расчет и вывести результаты в word. Сначала пробуете на VBA, понимаете, что это полный изврат и переписываете на linq C#.... Profit.
Попробуй заняться микроконтроллерами. Esp32 + micropython. Дёшево и сердито, вдруг в тебе спит гений
Теория нужна что бы практика лучше давалась. Но основное все же практика а не теория на старте карьеры особенно
Спасибо большое за ролик. Интересно слушать взрослых программистов.
Словарь по итогу отсортирован по ключу, как строке (1.10, 1.11 идут впереди 1.2), а нужно как по числу. В программе не хватает вот этого последнего штришка. :)
Просто мне не нужно было это. Это задача не учебная а реальная. Такой сортировки более чем достаточно, времени тратить на ненужную «досортировку» - смысла нет. И видео усложнять - тем более.
Спасибо! Не пробовал работать с pprint и было интересно про чтение данных из ексель, применю в работе и автоматизирую процессы
Удачи в Новом году!
Буду с нетерпением ждать новые видосы🤗
1. if else обычно стараются сократить. Я бы сделал "в случае если в словаре нет ключа" - создад запись с ключем где значение будет пустой массив. А потом аппендить туда значения без елсе. Мне так комфортнее) Не знаю кому как. Ну и еще одно замечание.
А самое главное замечание кеоторое мне бросилось в глаза - сортировка не верная. Потому что саб категория должна сортироваться 1.1, 1.2, 1.3, ...., 1.10 а не 1.1, 1.10, 1.2.
Для этого когда складываем в словарь можно сразу сделать category_dic и subcategory_dic и во втором писать только второе число подкатегории. И сортировать его как число а не как строку. В целом такая структура будет удобнее для дальнейшего использования.
Хорошее видео с ходом рассуждения и реальный код👍
Тоже делал подобную штуку для работы. Я это назвал прокинутым ВПР. Моя первая полезная программа))😊
Офигенно, я сам финансист и начал изучать программирование. Не думал что python можно использовать в excel
в 8:42 - чтобы посчитать кол-во столбцов - достаточно их выделить и посмотреть на "подсказку" которая будет появляться правее курсора. Подсказка вида: 1048576R x 12C
Можно вместо списка для артикулов использовать множество, тогда в строке артикулов не будет повторений
dict.setdefault(key, set()).add(value)
А при выводе использовать f-строку вместо строки с "+" и вставить sorted() в join, потому что множество выдает свои элементы в случайном порядке
string_values = ', '.join(sorted(value))
string_to_write = f'{key} = {string_values}
'
👍👍 спасибо
А если через метод get?
@@S_putnik Через метод get мне нравится больше
к тому же множества работают быстрее списков)
@@IvanIvanov-rp6ogкак помню, если ключа нет то выводит ошибку
вы такой молодец.поддерживаете своими роликами.Спасибо!
Очень полезно и в отличном темпе для начинающе-продолжающих! Спасибо! Подписка однозначно
Огромное спасибо за видео! Я только начал изучать Python и мне было очень интересно увидеть практическую пользу всего, что я изучаю 😂 Еще раз благодарю 👍🏻
Очень полезное видео !!!Как раз подобную программу реализую как начинающий программист, свой проект)Спасибо вам за труды. Подписка однозначно и рекомендации друзьям и знакомым!
Спасибо! Отличный информативный контент. Удачи в Новом году и новых идей в развитии канала🎉
Давно шукав схоже відео для роботи з хl, шикарне пояснення )))
Я бы словарь сортировал иначе, через генератор, как кто-то предложил
If/else при записи можно заменить конструкцией dict[key] = dict.get(key, []) + [value]
Если нет значения по ключу, он в него записывает пустой список и конкатенирует со списком значения
Либо dict.setdefault(key, []).append(value)
И при создании результирующей строки использовал f-string
Получилось бы что-то типа
String_write = f”{key} = {‘, ‘.join(value)}
” - здесь сразу список значений распаковывается в строку с разделителями) вообще познав однажды f-строки невозможно их разлюбить
Бесконечно можно смотреть на три вещи: как огонь горит, вода течёт и профессионал работает. Так что посмотрю ка ещё раз. Это было красиво, я кайфонул. А вот использование огрызка удивило :)
Ой я не профессионал точно, я не работаю программистом. Я любитель 😀
Мак - потрясающий комп, я ему не нарадуюсь уже много лет. И для программирования очень хорошо подходит.
Всё программисты которых знаю я работают в основном а Linux. Сам хотел обзавестись Qubes OS, ну или Tails на ноуте использовать:)
Для повседневной жизни линукс менее удобен чем мак. Линукс хорош для сервера, куда свои приложения выкладывать будете. И макОС она тоже unix подобная система, считайте тот же линукс.
Используйте f-строки, а не конкатенацию в чистом виде,f-строки прекрасны! Спасибо за ролик!
Маркировать пункты списка бокалами пива - это отличная идея.
Шалю немного :)
Отлично сказано!!! Раз освоил свой язык программирования, так и используй его!
Ждем 3 часть про Python Django
Очень круто и полезно!
з.ы.: Все еще жду 3ю часть по Джанго 🙃 С Новым Годом!
Будет, будет.. собираюсь с силами .. 😀
@@oldcoders Дай Вам всевышний сил немеренно для благого дела! А мы очень ждем!!!
Дед, спасибо. Всё как по учебнику - если код нельзя прочитать как предложение, этот код нужно переосмыслить.
Очень хорошее и информативное видео. Спасибо - шикарная работа !!!!!
Познавательно и круто! Спасибо за видео и разъяснения. Однако, я хотел бы уточнить пару моментов. 1-й - кроме макросов в Excel есть прекрасный ETL в виде PowerQuery, где тоже самое можно сделать при помощи интерфейса и нескольких кликов мышки. 2-ой - на 17:50 видно, что сортировка не идеальна, т.к. после. п.3.1. (20 строчка в IDE) идёт п.3.10. (21 строчка в IDE), а ещё ниже п.3.2. (26 стока в IDE). Подскажите, пожалуйста, как это скорректировать? Спасибо!
Да, можете почитать в комментариях, об этом уже рассуждали. Чуть более сложную сортировку пришлось бы делать. Например отделять номер от названия подкатегории, переводить его в тип float , сортировать его и т.д.
Мне это было не нужно, такой первичной сортировки было достаточно.
Я бы так решил. Прикинул пару путей. в т.ч. и через возможности самого эксель. Посмотрел бы пару гайдов. Захотел эту задачку сделать сам. Прикинул сколько времени уйдет. Почесал репу. Написал бы тезисно ТЗ. Закинул 2-3м программистам на аутсорсе. Или даже одному кто онлайн. Взял бы оценку времени. Согласовал стоимость. Запустил бы в работу. опустим моменты некоторые.. тестанул бы сам и отдал пользователю. Получив ответ что все работает как надо, закрыл бы тиккет. ВОт, такой вот я программист))))
Ну здорово. И Питон и Эксель изучаю на Степик. Сейчас посмотрю Хекслет.
Спасибо, очень интересно. Возможно ли сделать подобный видео-разбор с данными, которые бы писались в БД (желательно постгрес). Если бы еще на арендованном серваке было бы вдвойне полезно.
Я с БД только в Джанго работал, больше никак. В ролике про «Джанго часть 2» про это рассказывал. Но там не SQL, там ORM.
Спасибо, с удовольствием посмотрел, аж ручки зачесались что-либо попрограммировать..
хороший формат, все понятно, спасибо & так держать!
Жаль нельзя поставить сразу два, а лучше три лайка ) пробовал с ноги сесть за написание скриптов для экселя 3 месяца назад на работке, потратил прилично времени и ничего не понял, все не работало и я забросил... сейчас после бесплатных курсов на степике (парни там реально наваливают знаний, если нужна ссыль маякните) все предельно понятно в этом видео, надо потихонечку разбираться со сторонними библиотечками.
Вот бы видео на этом канале появлялись чаще!
На этой неделе выйдет новое. Из этой же серии «пишу реальную программу»
Спасибо. Очень понятные и наглядные комментарии.
Всё хорошо, но маленький недочёт.. Сортировка отработала не совсем должным образом.. 1.1, 1.10.., 1.2.. Мне кажется должно было.. 1.1, 1.2, 1.10... и тд. :) Видео очень понравилось, особенно рубрика реальных задач. Большое спасибо за видео!
И вам спасибо! Дело в том что это реальная программа и я делал ее так, как нужно мне. Мне такой «неидеальной» сортировки достаточно.
Если бы мне по какой то причине нужна была строгая сортировка - конечно я бы ее сделал.
@@oldcoders понял, в целом я конечно так и подумал) Я в таких ситуациях использую сортировку natsort :)
Понял. А я не люблю лишние модули импортировать. Если чтото можно сделать на ядре Питона, без потери в быстродействии и времени разработки - делаю на ядре.
@@oldcoders это не доблесть! ядро питона специально очень ограниченное по сравнению с другими языками, именно для мотивации исполшьзовать сторонние быблиотэки )
В случае когда в самой таблице тебе не нужно работать с её оформлением или картинками в таблице, openpyxl лучше не использовать. Проще загрузить таблицу через pandas в DF и работать с DF, и дальше создать уникальный список подзаголовков, и собрать словарь артикулов, где ключ подзаголовок, значение список с артикулами.
Мне вообще видео в тему!
Как раз думал исполнить что то подобное с данными ЕХ таблицы.
Спасибо!
Очень познавательно! Не программирую, но с удовольствием посмотрел и вник в код.
Кстати о исходниках и "если хочется, то можно здесь всё сломать". Надо бы рассказать людям про virtual environment'ы. Меньше "но на моём компе работает" будем слышать)
Спасибо! Продолжайте дальше)
Привет! Спасибо за видео! Классная идея с обучением на реальной задаче. Немного душных комментов по самому видосу - слишком много внимания берут на себя перебивки с музыкой, я бы музыку или подрезал или вообще убрал. Если добавить в начале что-то типа оглавления - так будет смотреть еще интереснее. Можно еще рассказать сколько времени заняла работа и сколько за это могут заплатить) спасибо за видос! Афтор пеши исчо
Есть же оглавление - разделы под видео. За такую программу никто платить не будет, это минимальный базовый уровень владения языком. Времени заняло минут 30. За советы спасибо!
питон это кнчн хорошо, но главное имхо - делать быстро и результативно. И эта таска элементарно решается за 3-5 минут сугубо экселем :)
Еще вариант - поручить кому то сделать эту задачу. Еще эффективнее.
Сижу и думаю, человек вы или нет? Вы выучили в 44 и сидите на светлой теме, уважение😮😅
😁 никогда не любил темные темы
Это конечно круто и мне было интересно посмотреть, но такую вещь очень легко сделать в сводной таблице excela)))) я думаю у меня было ушло на это максимум 15 минут))
Пс. Спасибо за информацию, было очень интересно
Спасибо интересно.
Один вопрос если у нас в исходном файле будет за двоенная строка (Артикул + Подгруппа товара), то и в финале два одинаковых артикула в подгруппе товара выйдет?
Если да, то как дописать проверку, и может добавить вывод дублей в отдельный файл для правки исходника. А то ошибка в одной цифре артикула и песчаная толстовка идет как черная.
Здравствуйте! Сортировка не совсем корректная:
1.1 потом идут 1.10, 1.11, 1.12, а после 1.2, далее где еще есть два знака после точки в номере категории все таким же образом отсортировано
Как сделать правильно не знаю) пусть знатоки подскажут😊
Как вариант - сделать номера категорий с добавлением ведущего нуля: 1.01 вместо 1.1 и т.д.
@@ringilendimion нет, нужно просто словарь словарей. И ключами делать целое число, что бы сортировать не как строки а как числа. Собственно по этому тут и проблема с сортировкой что он сортирует строки по сути. Даже если флоат то тоже не подходит.
Нужно сделать двухуровневый словарь. Точнее он может быть тут любой глубины. Суть в том что бы категорию первую берем до первой точки, вторую между первой и второй точкой и так далее. И если категория оставшаяся больше не имеет дробной части то кладем сюда уже артикли
@@no101vmvможно воспользоваться параметром key функции sorted, и туда запихать свою функций, которая будет бить ключ словаря по пробелу, брать первый элемент и приводить его к float
Там еще засада - есть категории где две точки . Типа 3.2.6 брюки . Сложновато получится .
@@oldcoders если в одной категории товары могут быть как с одинарной вложенностью так и с двойной и более - то возможно стоит ввести понятие обьекта категория у которой есть 2 поля. Подкатегория(по сути категория), возможно название текущей категории и итемы текущей категории. Подкатегория это такой же объект категории. Но это уже выглядит как отдельный урок
с удовольствием посмотрел видео и почитал комментарии
Ну очень круто)
Доходчиво и увлекательно)
всё отлично, объяснение и пример, но:
1) это скрипт, а не программа, т.к. используется императивный подход, впрочем, это уже вопрос семантики.
2) задача не выполнена, т.к. условие "и формирование нового .xlsx файла" в рамках видео не выполнено
PyCharm (Win) - ctrl+b (и тоже для выхода обратно)
для pop-up подсказки - достаточно ctrl+q (второе нажатие открывает сбоку вкладку Документации) - прыгать в исходник бывает излишне; а данная комбинация также подсказывает ваши функции и классы (и даже вашу документацию, если она присутствует и создана по правилам)
В Excel подобные задачи решаются значительно быстрее, можно обычными сводными таблицами реализовать, без программирования. Можно на VBA написать аналогичный код. Можно через PQ сделать. Но возможность выполнить данную задачу на python тоже очень полезная вещь, хотелось бы в Excel иметь встроенный python
Да уж. В Excel на VBA эта задачка решается написанием одного цикла. И не нужно огород с Питоном городить, еще и библиотеку для Excelя качать.. А то ведь можно и на СИ и на Фортране это написать. Да на всем, где есть операторы цикла и условного перехода. Хорошо, что автор не на ассемблере кодит :)))
Если я программист на Python и мне надо решить задачу с Экселем. Вы предлагаете мне взять учебник по VBA и изучить как ее решить на VBA? 😁
@@oldcoders ,дело в том, что для написания в Экселе на VBA в отличие от Питона, не нужен учебник. Там тебе и встроенная среда разработки, и запись макросов для образцов как кодить, и встроенная справка с примерами. А написание цикла для перебора массива, это основа программирования, одинаковая в любом языке.
Я знаю, ничего против VBA не имею. Я же не призываю всем на свете решать Эксель задачи Питоном и только им.
Но Python-программистам сам бог велел.
Поглядите в сторону pandas, сразу есть функционал группировок. Крутое видео, так держать!
Да, я пандас использую, но про него будет отдельное видео
@@oldcoders можно показать, как другой библиотекой модно решить туже задачу
Что-то типа того, да
Библиотека Pandas имеет хороший функционал по таблицам, выборкам, группировкам, вводу/выводу файлов и т.д. Спасибо за видео!
Да, я ее использую. В этом видео нет.
Тоже про Pandas подумал. Но в исходном excel файле (в названии столбцов таблицы) заметил объединённые ячейки. У меня Pandas такое читать отказывается.
Есть вообще способ открыть excel файл с объединёнными ячейками через Pandas?
Круто! Спасибо! С большим удовольствием посмотрел!
У вас преподавательский талант
Приветствую. А где можно скачать такой ексель файлик для примера?
Ой.. сделайте сами, там делов то. Или с работы любой файл возьмите. Или уж в крайнем случае погуглите, эксель файл скачать. Какой нибудь прайс лист найдется уж.
спасибо дед за интересные ролики
И снова отличное видео! Спасибо
Я бы воспользовался defaultdict из модуля collections тем самым объявив бы values словаря с типом list
Всё чётко ясно обьяснили спс огромное
МНе так нравится фраза - Так все понятно - а я сижу и понимаю что тут сказать то и нечего если нечего не понятно )))
Чтобы понять это видео надо знать основы Python. Если с нуля то конечно ничего не понять.
ура, новый видос вышел!
Офигенный проект и автор, только я чуть не ослеп когда ты открыл ide с белой темой. Предупреждать надо)
😆 белая тема это олдскул, как раз дедовская
Привет. Ты сейчас работаешь уже в полную программистом или просто пока что то для знакомых делаешь ?
Я программирую для себя, никуда устраиваться не хочу.
@@oldcoders почему бы не придать дополнительный мотив
Здравствуйте! Будут ли ещё выпуски с задачами Codewars?
Будут! Идей много, но я редко выпускаю видео, поэтому все затягивается
Спасибо, твои видео мотивируют
Добрый день. Подскажите пожалуйста, а почему не pandas был выбран?
Не помню уже чем я руководствовался, но вообще у меня есть видео и с pandas
Спасибо за информацию!
Здравствуйте! Спасибо за материал! Просмотрел много комментариев к выпуску и не увидел, чтобы у кого-то возникала подобная ошибка:
myfile.write(string_to_write)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 4-11: ordinal not in range(128)
Система macOS
Подскажите, пожалуйста, как решить
Какая то ошибка с кодировкой, на какой то символ ругается. Вбейте в гугл эту ошибку, ответ найдется
Спасибо за видео, очень нравится этот формат!
Не совсем понял момент с sku: вы ж не объявляли эту переменную как list, как это работает?
А sku это и не лист никакой. Лист это значение словаря, в котором элементами являются sku.
subcategories_dict[subcategory]=[sku]
Вот здесь список и объявляется.
@@oldcoders Понял, спасибо большое за ответ!
Большое спасибо за ролик, подскажите пожалуйста что за ide используется?
PyCharm Community
А когда вы будете продолжения по Django делать ?
Буду, буду. Собираюсь с силами
@@oldcoders Спасибо вам большое за ваши труды, дай Бог вам силы продолжать снимать видео про Python и Django
Спасибо большое. Очень интересно
Спасибо за труд!
Не с 7 строки, а со строки содержащую "Артикул" + 1. С такой остановкой не важно будет как создан файл exl. Да и со столбцом тоже надо описывать поиск. Это не сложно и позволит избежать ошибки в файле с номерами строк и столбцов.
Да, можно было. Просто у меня это была одноразовая задача, в приоритете - быстрота написания кода. В последующем я ее включу в большой свой проект - там да, именно так и буду делать - парсить заголовок по названию столбца.
@@oldcoders Я программирую, но не на Phyton, однако, заметил, что стоит сразу писать очевидные вещи, что-бы потом не забыть или не попасться на мелочи. И моя пометка больше к начинающим программировать. За урок, конечно, спасибо.
Спасибо! отличное видео.
Уже дохрена пересмотрел всяких видосов!!! Ну мля нереально ето виучить! Пока учишь одно забиваешь второе. ЖЕСТЬ
Да, кажется что нереально. Сам в такое состояние впадал много раз. Массив информации просто чудовищно огромный. Но не надо его учить. Надо в нем РАЗБИРАТЬСЯ и писать МНОГО программ, используя эти знания.
Тогда в голове останется память о том что ты это делал, и когда надо будет - ты это вспомнишь.
Я вообще ничего не помню, спроси меня «как написать то-то и то-то». Я отвечу «точно не помню, но это делается примерно так, щас я быстренько загуглю - да, вот, это делается так».
И это нормально. Программисты не помнят весь синтаксис всех языков и фреймворков. Но они помнят что это они уже делали /читали когда то и знают где в документации искать про это.
Единственное - если пойдете на собеседование - там надо кое что наизусть знать. Но к собеседованию и надо готовиться отдельно. Учить и даже зубрить кое что.
Переменную string_towrite я бы записал через форматирование: f"{key}={string_values}
"
Очень подробно , спасибо
Класс 🙌 просто и лаконично!
Спасибо за видео! Очень интересно