Парсинг сайта в эксель
ฝัง
- เผยแพร่เมื่อ 5 ก.ย. 2024
- Третий способ парсинга сайтов в эксель.
Ранее мы рассматривали два различных способа парсинга:
Первый способ парсинга - выгрузить и разобрать простынь текста в HTML при помощи VBA. Мы выкачиваем километраж между городами в таблицу Excel. Ссылка на этот парсер здесь: • Парсинг сайтов в Excel...
Второй способ - это загрузка таблиц из интернета при помощи надстройки PowerQuery. С помощью этой надстройки мы выкачивали в таблицу данные по продажам новых автомобилей в России по годам. Вот ссылка на это видео: • Данные с сайта в эксел...
И третий способ, показанный в этом видео - это использование древнего способа загрузки данных при помощи Excel, который с нами еще года эдак с 2003, а может и раньше.
В этот раз выкачиваем контактные данные управляющих компаний Москвы.
Хочется еще?
Вот мой телеграмм канал: t.me/TrueExcel
Контакт для связи: t.me/Pavel_Tar...
realxls
dzen.ru/real_e...
vc.ru/u/228892...
Да и просто подписывайтесь - люблю, когда растут цифры ;-)
реальный человек , реальный эксель , добыл парсинг. На самом деле , спасибо , все очень здорово , приятная подача информации.
Спасибо!
Лайк чисто за фразу "как правильно? хрен его знает, посмотрим как можно" )))
Ну, реально восторг! Все парсят на питонах-шматонах, на крайняк через ПХП и прочие высокоуровневные ЯПы с ООП, а тут обычный Ёксель с Вижуалбэйсиком! Благодарю от души! 100500 лайков и мотивация почитать про VB побольше, ибо знания простого функционального программирования в Паскале, Фортране и Фоксбейсе позволят спокойно повторить ваш парсер. 😃🤘👍💪🙏
Это только для мелких задачек и когда другого ничего под рукой нет.
Для серьезного промышленного парсинга это не подойдет конечно))
@@Pavel_Taranukha Понятное дело. Но, во-первых, Ёксель жив и Бейсик тоже! :)) И во-вторых, понятен алгоритм, который можно сработать как вручную, так и на кодить. А это - самое главное! ;)
Очень прикольно. Но все таки это как молотком забивать саморезы, предварительно вытаскивая их из ленты, и смазывая оливковым маслом...
Огромное спасибо за это видео. До вашего урока никогда парсингом не занималась. Была первая попытка. Благодаря вам сделала. Правда не с первого раза, но справилась)
Павел - вы просто бог Екселя: Индекс; Поискоз, фильтра и немного VBA = парсер любого проекта! Вы сделали мой месяц!
Ахах)))
Ну не любого.
Когда данных много - лучше питончика изучить)
В начале ролика после слов "хрен его знает как, но давай опробуем", я подписался!!!!
Вы тоже считаете, что это показывает экспертность? А маркетологи со мной спорят))
@@Pavel_Taranukha нет, как раз это и есть высший пилотаж. Эксель знать на все 100% физически не возможно, кто так говорит - значил брехун. Профессионал всегда скажет понятия не имею как, но сделаем... у меня 1С -ник такой, какие задачи ему не ставь, понятия не имеет как делать, но через сутки готово )))))
@@MAX-pw3vn где он - 1С ? я ему поставлю задачу.
Чем отличается опытный погромист от обычного?
На вопрос, можно ли решить эту задачу, обычный отвечает, что ему надо подумать.
А опытный говорит, что конечно, возможно, просто он пока не знает, как именно )))
@@SV-13 полностью согласен
Даже не подозревал, что Excel так умеет. Спасибо за ролик. Однако парсить питончиком получается быстрее.
Согласен. Экселька для простеньких выгрузок.
все отлично рассказал,показал.хотелось бы развернуто и по нескольким примерам,но тогда своя голова вообще перестает думать.
И вопрос есть: как исправили ошибку на 15:57, у меня не получилось,отправил другому человеку-то же самое,не работает и исправить не получилось.В интернетах пишут-это начинается после использования CTRL+Pause Break в больших файлах и повторное прожатие поможет,не помогло
Так там просто заменена прямая ссылка на лист обращением к selection.
Спасибо, Вам! всегда в видео понятно и доступно показано, и можна применть в жизни, а не только в теориии.
Спасибо
Подпись и лайк! Очень нужно парсить свойства товара из карточек для создания таблицы загрузки на сайт через битрикс. Сайты производителей, выгрузки с сайта не дают, лень им заниматься этим... 🤦♂️
Какие странные производители. Многие сейчас напротив 99% работы за продавца делают. Вон хоть поставщиков озона и вайлдберриз взять...
На кворке за 500р купи парсер
777 лайков))) так не охото портить цифру)
Добрый день! Как было Вами сказано: "Видосы не зря...". Спасибо, все доступно, "живые" кейсы. Сошлюсь на Вашу реплику про интерес к комментариям - вопросам. Я не "думаю" на уровне формул Excel, макросов VBA, запросов Power Query, но очень хочу работать с данными как и Вы, хотя-бы на 17%. Так вот, поставил перед собой задачу, примерно знаю куда копать, но нет практики... В общем сейчас задача такая, есть сайт, разработчики внедрили EDI, опубликовали API. Казалось бы, собирай данные, кто мешает... Но, как говорил, опыта маловато. Не могли бы Вы "запилить" видос о том, как забирать данные с сайта, работая в Excel используя API?
Ну что делать... про вайлдбериз апи расскажу, раз вы своих апишек не даете)
Спасибо , очень круто 👍
Super 🙏🏽
Это коментарый от сердца
Супер 👍🏻
Спасибо! Молодец.
Подписался. Всё доступно и по делу.
Было бы весьма желательно, чтобы кто-нибудь из "гуру" описал алгоритм распределения строк внутри ячейки по столбцам. В стандартной функции Excel нет возможности ввести в поле "своего разделителя" возврат каретки
Ну раз так уж желательно - держите...
th-cam.com/video/oF5m_xAabW4/w-d-xo.html
альт + ентер
Обалдеть!
Классная подача! А можна на примере Инстаграмма сделать? Чтобы по логинам аккаунтов узнавать информацию о профиле (Количество подписок, подписчиков и публикаций)?
Так вроде телеграмм боты это все умеют
@@Pavel_Taranukha не нашел такого) если есть такой дайте знать как его найти)
...попробуйте загрузить Тарифы ЖКХ в Москве на текущий год.
😮
Крутые видео
Спасибо. Делюсь наработками чтобы и самому не забыть))
Пожалуйста сделайте видео как работать с спортивной статистикой (Футбол) в Excel.
Совершенно не разбираюсь в командных видах спорта.
Как из парсинга сделать отправку сообщений в телеграмбота
круто)
Здравствуйте! При парсинге страницы в навигаторе power query выходит список таблиц? далее нужно выбрать нужную таблицу и нажать Преобразовать данные. Вопрос, можно ли сделать так: На странице excel в первой ячейке указать ссылку на нужную страницу в интернете чтобы запрос брал данные из нее (ЭТО РЕАЛИЗОВАНО), далее ниже во второй ячейке указать имя таблицы, например Москва, нужно чтобы навигатор фильтровал список таблиц по этой ячейке, а дальше все как обычно забирал отфильтрованную таблицу в преобразование данных, возможно ли такое?
Попробуйте чрз Power query, это быстрее и проще. ИМхо
МУЖИК, ты реальный мужик! А есть ли способ экселем (другого не осилю) получать данные с динамическим контентом??, где дивы примерно такого плана: и при просмотре чистого кода страницы он не отображается. т.е. они могут генерироваться во время просмотра страницы.
Нужно пробовать. Здесь на канале лежит уже три способа парсинга. Может какой и подойдет.
Все это не прокатит с сайтом wildberries. Он не выводит все теги и ссылок в коде страницы тоже нет.
😷👍
Пожалуйста сделайте видео о том КАК ПАРСИТЬ НОМЕРА ТЕЛЕФОНОВ ПО ОПРЕДЕЛЕНЫЕ КАТЕГОРИИ В АВИТО
Parsing через python
Да. Если не помогает эксель, может помочь нечто другое)
@@Pavel_Taranukha я реально пользуюсь вашими идеями на работе спасибо вам за всё
Пожалуйста. Но в случае парсинга больших данных лучше действительно посмотреть на питон. Такие библиотеки, как requests например.
Тот-же повер квери иной раз такие неожиданные сюрпризы подкидывает, что аж кишки шевелятся)
Парсер стоит 1000-2000 рублей ) включите в расходы ) Эксель нехрена не быстро
Добрый день! Как можно обойти Cloudflare Email Protection ? Вместо email выгружает [email protected] :(
UPD. Сохранил и закрыл файл, открыл заново, запустил скрипт и почты подтянулись, обошлась блокировка!
Спасибо вам огромное, сэкономили мне кучу времени!
))) " я особо не силен в этом"..... нуну)))
Easy)
Здравствуйте!
Подскажите как спарсировать комменты с ответами под роликом ютуба.
Спасибо
Напрямую с авито в эксель кто нибудь пробовал парсить?
А если на сайте нужна авторизация? Можно реализовать?
Я только начинаю изучать эту тему и ваш пример помог создать парсер. Но пока делала, на сайте обновилась информация и при запуске парсера выскакивает сообщение, что не может найти объект в колонке номер. Как в этом случае поступать, перед запуском обновить саму базу номеров или как-то в макросе это можно прописать? В макросах не сильна.
Из всех вариантов всегда выбирайте тот, который работает)
У меня обычно работает вариант сделать блок, который перестал работать заново.
Это помогает или вспомнить старое или найти новые подходы.
В любом случае - кроме пользы никакого вреда.
@@Pavel_Taranukha Я нашла решение, просто в макросе изменяю номер строки с какой надо начать парсинг, работает)))
Здравствуйте! Спасибо за уроки. Подскажите пожалуйста возможно ли импортировать данные с локальных сайтов.
Пример : Есть небольшая внутренняя сеть и несколько сетевых принтеров с локальными веб сайтами (пример https:\\10.10.10.125) . Где есть информация о состоянии расходных материалов % расхода тонера.
Можно ли вытащить данные в общую exel страницу где будет общая информация о тонере каждого принтера . Через Power Query не видит таблицы.
Здравствуйте. Не открывается ваш айпишник(
@@Pavel_Taranukha ип внутри сети, через интернет не доступен :( написал я его как пример (что не совсем обычная веб страница)
Ищите итшников, которые публикуют эту страницу и забирайте данные либо с вебсервиса, либо из СУБД учетной системы, которая является поставщиком данных для внутреннего вебсервиса.
Парсинг он больше от безысходности, когда вы не можете получить данные другим способом. В вашем случае - есть повод найти контакт с интересными итэшниками, которые смогут быть полезны и в других начинаниях )
Тьфу ты... какие еще вебсервисы, что я несу. Принтеры же у вас!) Попробуйте подход к парсингу где про поиск расстояний между городами. Должно вам подойти. Суть в том чтобы считать хтмл в память и из текста вытащить нужную инфу. На канале посмотрите.
Добрый день! подскажите, а как найти данные-из интернета. нет такой иконки в Данные
У вас возможно старая версия excel
Нифига се
Сам в шоке. Случайно получилось)
Здравствуйте, как с вами можно связаться ?
Здравствуйте!
89160637718
эксель для этого не предназначен, куча же редакторов для кодинга, работать с json в экселе это глупость.
Интересно для кучи чего предназначена глупость...
@@Pavel_Taranukha Вы решаете проблему, но решаете ее с использованием костылей и инструментов которые для этого не предназначены. Микроскопом действительно можно забивать гвозди, но вроде как в свободном доступе бесплатно куча молотков на любой вкус, но это видимо не ваш путь...
Опять эти гвозди, микроскопы, молотки. Иногда просто некогда искать молоток и разбираться с какой стороны у него ручка)
Эксперты по специальным молоткам обычно живут в своем молоточном мире и их молотки могут забивать гвозди только в специально построенном для их молотка цеху)
@@Pavel_Taranukha Лучше день потерять, потом за 5 минут долететь)
Да иной раз овчинка настолько выделки не стоит, что и 30 минут жалко)
Понятно, что если парсить какой-то вайлдберриз или авито - эксель не подойдет.
Но когда нужно табличку с сайта впитать с ценами - так и зачем все эти питоны с их прекрасными библиотеками курить)
Всегда же упираемся в целесообразность и соотношение приобретенного результата к затраченным усилиям.
А это не всегда глупость.
...
как вытащить номера телефонов компаний у меня все в одну кучу сделалось совсем в одну ужас
парсинг через жопу называется.
спасибо все по делу