Грамотный парсинг на Python - выгружаем товары с Wildberries с помощью API
ฝัง
- เผยแพร่เมื่อ 14 ต.ค. 2024
- В этом видео мы разработаем скрипт парсера на Python, который собирает из конкретной категории маркетплейса Wildberries базовую информацию о товарах (бренд, название, цены и процент скидки).
💎 Мой Boosty с усовершенствованным кодом парсера (добавлена асинхронность (скорость x10+), автосканер всех категорий Вайлдберриз, проверка товаров на уникальность):
boosty.to/isartem
📟 Telegram-бот
t.me/isartem_bot
📚 Telegram-канал:
t.me/isartem
📝 Telegram-бот с ChatGPT + 12 ролей
t.me/ai_pro_bot
🧿 Telegram-бот с Midjourney и Stable Diffusion:
t.me/midjourne...
ASocks.com прокси:
asocks.com/c/nlpX
Промокод: ISARTEM
Код парсера из видео:
t.me/isartem/173
#программирование #программист #айти #python #pythonprogramming #pythoncoding #wb #wildberries #парсинг #parsing #asocks #прокси #proxy
Спасибо! Пишу на JS, а не на Python, но все понял с первого раза.
Такой уникальной информации, как за 15 минут сделать свой парсер и как они вообще работают, ни у кого не найдешь.
Спасибо огромное! Все работает!
Для тех кто возможно решил закрыть видео после рекламы proxy, так как подумал что без этого код работать не будет. Официально сообщаю что код работает и без proxy, просто ваш response выглядит вот так:
response = requests.get(url=url, headers=headers)
Однако, всегда есть риск был заблоченным без использования proxy....
А, тю - настолько не сложно это))) спасибо я думал там головняка куча. Сейчас буду пытаться допилить этот скрипт и сделать что-то интересно) огромное спасибо и лайк
@isartem подскажите пожалуйста, какой редактор кода используется в видео?
Спасибо большое за ролик! Очень сильно помогло! Подскажите, пожалуйста, что значит показатели time 1 и time 2?
Спасибо за видео. Как называется программа-блокнот для кода и какая тема в ней выбрана со шрифтом?
привет! классный контент! работаешь где прогером? какой стек у тебя?
Совсем не понял, где здесь API? И вообще чтобы записать в csv файл нужна целая библиотека pandas.
Спасибо большое!
Можно подкину идею, парсер Авито!
(Все подобные видео старые и не работают методы с авито уже )
пишу сейчас себе, selenium и bs4 решат все вопросы
Спасибо за урок!
curl удобно форматировать в Курлконвертер, чтобы не копаться в нем вручную.
Можешь написать название сервиса-агрегатора, который упомянут в конце? интересно посмотреть, а на слух трудно разобрать первые буквы.
Рад, что урок был для Вас полезен!
Сервис аналитики - MPStats
Авито так получится парсить. Можете снять про это видео ?
Полезное видео и очень понятно все показано и рассказано. Круто , не останавливайся. Видео в интернете много, а хорошего видео как всегда мало ((
сколько стоит парсер для стима нужен ? пока новичок по пайтону хочу сделать парсер сколько времени займет ?
А если нужно именно парсить карточку, то как там получить число basket для запроса? Оно всегда разное
Вроде как считается грамотным записывать параметры URL'а в отдельную переменную. Интересно было что значат такие параметры в URL как regions dest spp и откуда они берутся и как определяются при формировании запроса.
Я сегодня день по сидел и разобрался как из запросов вытягивать джисон с 300 строками, конвертирую его в эксель и все это за 5 минут, в то время когда вы ради 100 строк будете писать код 40 минут.
Здравствуйте, не подскажите на пару слов как можно парусить с Вб всё что возможно чтоб не заблокировал наше запросы ?
Прокси наше всё )
Здравствуйте, не подскажите как можно парсит заказы , продажи и возвраты ?
Be Pythonic - метод get по дефолту возвращает None, сравнение с None аналогично считается плохим тоном. Весь код можно сократить минимум на треть
Всё именно так, благодарю за дельное замечание 🙌
вот только на странице там больше 100 товаров, и оставшиеся в другом запросе
Ничего не мешает получить товары и с других страниц, если есть такая потребность
@@isartem как реализовать парс с нескольких страниц?
@@lupc через пагинацию
@@godforger очень информативно, ладно можно не утруждаться, я уже сам разобрался как реализовать парс многостраничников.
@@lupcпомоги пожалуйста, та же проблема, неделю уже репу чешу🙏
А есть ли возможность автоматизировать получения url для json данных с сайта, что бы ручками не копировать?
Есть. Как раз для подписчиков Бусти выложил скрипт, который автоматом сканирует все категории товаров 🙌
Здравствуйте Артём. Я прописал ваш код, но есть проблема. Питон ругается на эту строку --- "priceU": float(product.get('PriceU', None)) / 100 if product.get("priceU", None) != None else None. Пишет TypeError: float() argument must be a string or a real number, not 'NoneType'. Может вы знаете, что я не так сделал.
Решили свою проблему?
А реально ли сделать парсер и обойти всю защиту на Мегамаркете?
голос автора уж больно напоминает голос Ильи Галкина.... автора канала по микроконтроллерам)
Не знаю такого)
там json готовый есть, со всей инфой. Что у вас здесь происходит?))
Вопрос от чайника - на основании данного материала, можно ли как-то спарсить данные своего личного кабинета (как продавца) + картинки товаров, чтобы потом сделать, например, визуализацию в Power BI? Идея: карточка товара в Power BI с переключением с товара на товар и с подгрузкой фотографии товара.
по всем своим данным можно просто воспользоваться API Wildberries, зачем что-то парсить
@@_dks_ не работает так
Озон, Леруа мерлен, авито так не получится парсить. Скорее исключение.
У меня не работает Modulenotforund error, хотя все модули импортированы
может быть ошибка в слове, проверьте заглавные буквы
Процент скидки не имеет смысла, т.к. она рисованная. Даже график цен не показывает все колебания, а зачеркнутая цена взята с потолка.
интересно
Зачем покупать у тебя на бусти когда этого добра на гитхаб полно, бесплатно
Можешь, пожалуйста, скинуть ссылки? Или хотя бы подсказать, где и, что главное, что искать?
Спасибо заранее!
@@MarkTheCat ссылки в комментах банятся
одно не пойму вы отправляете запрос и даже не видя ответит ли он вам что то сразу пишите код ((( без теста без всего - ведь ответ в браузере это одно а через другое приложение может и не ответить
Всё ведь работает, что не так?)
@@isartemздравствуйте, а как сделать так чтобы много разных каталогов и самый главный вопрос , снимите пожалуйста как это выгружать в телеграмм с фото 😢
Где хоть слово про API то?
Извините, но этот код ужасен
сплошная реклама,то купи это купи.Разочарован
ничего не пон
Эм, а о чем вообще ролик и зачем его смотреть то? 😂
Спасибо Артем за классное видео, но я сомневаюсь что каждый сможет такое повторить учитывая что не все обладают даже базовыми знаниями пользования питоном. Я лично обратился к Serm Expert с этим вопросом. Сделали всё быстро и качественно. И не надо сидеть и париться сутками с этим питоном. Советую
Выключил после привет друзья
Что не так?)
@@isartem, ты первый, кто назвал его другом. Хоть это и не серьёзно.