Всех Благ и Быть Добру! Здравия! Было-бы хорошо увидеть, как подобную информация заливать на свой сайт и мониторить новинки удаляя старые (проданные) авто со своего сайта меняя контент. Благодарю!
Супер, спасибо большое, зачетный контент, и первый видос тоже отличный, хотелось бы еще глянуть работу с PhantomJS, в чем его преимущества, недостатки, когда нужно использовать, когда не стоит
Бомба! Спасибо за то, что поделился знаниями! Можешь сделать урок, в котором бы показал как отслеживать динамически, к примеру, по дате публикации новые объявления. Спасибо что прочитал комментарий)
Отличное видео. Сделай плиз про обработку огромных фаилов json, который весит например 300мб, в stream режиме. Например отсортировать такой фаил или вытащить определенные данные
добрый день, релизуемо ли будет сделать следующее: делаю тг-бота (Сейчас все готово лишь с моей созданной бд для пробы, где лежат фильмы с их данными, кинотеатры с локациями и тд, могу выводить фильмы, в каких они кинотеатрах, какое расстояние и переход на сами сайты), который по локации будет показывать кинотеатры моего города с их сеансами и тд? И если да, правильно ли понимаю, что нужно тоже писать скрапер для вытаскивания "динамики"?
Как обойти 429 респонс "too many requests"? Кто успешно смог? Я немного не так парсинг делаю, то есть без доп. библиотек. Хотя, думаю, у этой либы под капотом такой же Promise.all работает. Я это к чему. Я в 3 потока фигачу. Через 18 запросов меня отрубают. Как можно проксировать? Или прокси листы какие-то платные может кто знает?
В данном случае он нужен, чтобы собрать данные со страницы spa приложения, которое грузится уже на клиенте, если вы собираете данные с сайта, который при http запросе возвращает полный html код страницы, то пользуйтесь им, будет действительно быстрее
Это можно сделать месте, где мы сохраняем файл. CSV - обычный текстовый файл, каждая строка - значения, разделенные запятыми, так что тут проблем никаких нет. А для записи в БД, должна быть сама БД и подключение к ней, вместо сохранения в файл просто делаем запрос с данными к Mysql. Для этого должен быть установлен сам модуль mysql. Подробнее про работу с Mysql в Node.JS можно почитать здесь например (просто загуглил) stepansuvorov.com/blog/2012/09/node-js-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0-%D1%81-mysql/
![NODE.JS SCRAPER 🚀 [ Парсинг данных с сайта на nodejs, puppeteer и cheerio ]](http://i.ytimg.com/vi/-SY5PP50aw0/mqdefault.jpg)
Очень круто! Спасибо! Не бросай канал, пожалуйста!
ЧУВАААААААААААААК ПРОДОЛЖАЙ ВЫПУСКАТЬ ВИДЕО
Офигеные видосы у тебя , продолжай в том же духе!!!
Привет! Хорошие видео, без воды. Хотелось бы увидеть, как работать с прокси и авторизацией
Постараюсь выложить видос про прокси в ближайшее время
@@duckduckjs ну и где видос про прокся?
Всех Благ и Быть Добру! Здравия! Было-бы хорошо увидеть, как подобную информация заливать на свой сайт и мониторить новинки удаляя старые (проданные) авто со своего сайта меняя контент. Благодарю!
Супер, спасибо большое, зачетный контент, и первый видос тоже отличный, хотелось бы еще глянуть работу с PhantomJS, в чем его преимущества, недостатки, когда нужно использовать, когда не стоит
Действительно круто, тем более на русском ютубе, про папетер вообще видео почти нет - однозначно лайк😁
Концовка топ 😁 счастливый индус с апворка взял заказ))
Бомба! Спасибо за то, что поделился знаниями!
Можешь сделать урок, в котором бы показал как отслеживать динамически, к примеру, по дате публикации новые объявления. Спасибо что прочитал комментарий)
Супер. Если создать еще и серию уроков по скрейпингу, то от покупателей отбоя не будет.
музыка на фоне огонь!!!
Спасибо, круто
Отличное видео. Сделай плиз про обработку огромных фаилов json, который весит например 300мб, в stream режиме. Например отсортировать такой фаил или вытащить определенные данные
Крутое видео, спасибо! Сделай видос как парсить разные сайты одновременно
Чувак, ты очень крутой!!!
Просто спасибо!
круто, пили еще)
добрый день, релизуемо ли будет сделать следующее: делаю тг-бота (Сейчас все готово лишь с моей созданной бд для пробы, где лежат фильмы с их данными, кинотеатры с локациями и тд, могу выводить фильмы, в каких они кинотеатрах, какое расстояние и переход на сами сайты), который по локации будет показывать кинотеатры моего города с их сеансами и тд? И если да, правильно ли понимаю, что нужно тоже писать скрапер для вытаскивания "динамики"?
DUCK DUCK JS: Почему-то ошибка TypeError: done is not a function
Как обойти 429 респонс "too many requests"? Кто успешно смог? Я немного не так парсинг делаю, то есть без доп. библиотек. Хотя, думаю, у этой либы под капотом такой же Promise.all работает. Я это к чему. Я в 3 потока фигачу. Через 18 запросов меня отрубают. Как можно проксировать? Или прокси листы какие-то платные может кто знает?
Так проксю тоже отрубит, проксей ненапасешся. Делай по 5 запросов, с таймаутом по пол секунды, как пример. Каждый запрос меняй user-agent
А зачем там папитиир? Разве обычный http запрос не намного быстрее?
В данном случае он нужен, чтобы собрать данные со страницы spa приложения, которое грузится уже на клиенте, если вы собираете данные с сайта, который при http запросе возвращает полный html код страницы, то пользуйтесь им, будет действительно быстрее
Как полученные данные записать в базу MySQL или в CSV файл?
Это можно сделать месте, где мы сохраняем файл. CSV - обычный текстовый файл, каждая строка - значения, разделенные запятыми, так что тут проблем никаких нет. А для записи в БД, должна быть сама БД и подключение к ней, вместо сохранения в файл просто делаем запрос с данными к Mysql. Для этого должен быть установлен сам модуль mysql. Подробнее про работу с Mysql в Node.JS можно почитать здесь например (просто загуглил)
stepansuvorov.com/blog/2012/09/node-js-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0-%D1%81-mysql/
Жаль жаль, что ты новые видики не пилишь
Работаете ли по заказам - ?
А разве парс запрещен в целом ?
Давно в ноде import работает?
@@alfageek5704 решил проблему?
Es-модули поддерживаются ещё начиная с версии 12, но в данном случае использован babel
На bas все же лучше это все делать