Я довольно долго пропадал, 1.4 недели меня не было. Зависал с изучением pandas и scrapy. Сейчас делаю парсинг для большого сайта. Решил записать туториал, т.к. внятной и быстрой инфы при обучении не нашел в должном объёме.
кирилицу не воспринимают браузере. по этому он конвертирует это в хрен пойми какой транслит под кодировку и работает как зеркальное обозначение букв кирилицы
Добрый день! Спасибо, отличное видео! Все очень подробно и доступно. Если есть у Вас такой опыт, подскажите как подвязать Splash (что прописать?) для данного метода если сайт с javascript. P.S. Scrapy-Splash уже подключен
С момента опубликования видео прошло 11 месяцев. Естественно повторить, проверить на практике парсинг не удалось (сайт изменился или ошибки). Есть ли рабочие примеры?
@@garrig1925 не знаю когда у меня будет время… вы не посмотрели видео внимательно, все работает в том числе на примере… если сложно, стоит посмотреть видео с более простым парсингом
По скрапи, никакой, в целом мое видео на 80% вопросов отвечает, чтобы начать. По английскому сам ищу достойный курс. Но вроде как есть канал english with james - огонь
@@SergeiBondarev7-seo спасибо, я по скрапи тоже искал и ничего толкового не нашел, на русском книг вообще нет... но на сколько я понял скрапи на много эффективней супа если профессионально уходить в парсинг..
Ругается на строчку from newparce_project.items import Product. Все изменила везде, но пишет Unresolved reference 'newpace_project' и Unresolved reference 'Product'
Добрый день. Выдает ошибку: ModuleNotFoundError: No module named 'parsing.settings' И не могу понять, что не так с items и Product в импорте, их подчеркивает как ошибку..( Может кто-то подскажет в чем проблем?!
Установите библиотеку scrapy items Проверьте путь в парсере при импорте корневая папка должна быть указана Или забейте и просто все переменные скрапи задайте в файле парсера Приложите код items и парсера
![Python Scrapy скачать изображения с сайта [download image Scrapy] добавление в CSV путь к картинкам](http://i.ytimg.com/vi/fJVl86oN0Jw/mqdefault.jpg)
![Python Scrapy скачать изображения с сайта [download image Scrapy] добавление в CSV путь к картинкам](/img/tr.png)
![ตีสิบเดย์ [FULL] | เปิดใจ "อาจารย์ เบียร์ ฅนตื่นธรรม" นักสนทนาธรรมสายดุดัน!](http://i.ytimg.com/vi/vqaBI_mnoDk/mqdefault.jpg)
Я довольно долго пропадал, 1.4 недели меня не было. Зависал с изучением pandas и scrapy. Сейчас делаю парсинг для большого сайта. Решил записать туториал, т.к. внятной и быстрой инфы при обучении не нашел в должном объёме.
однозначно надо ссылку на git
спасибо что ты есть)
Шикарный английский !!
Оценил, со временем я стану лучше
я думаю тут даже у индусов кровь из ушей идет )
Мое уважение, Сергей, очень помогли!
"цд команда для перехода" сразу виден уровень)
Главное, чтобы доступно было. А все что не понятно всегда можно почитать. Подсмотреть или спросить.
У Вас тоже как и у меня сложности с придумыванием названии😁. Отличное видео, спасибо!
конечно! я еще когда ник персонажу придумываю пол часа сижу... про внешность вообще молчу))
Отличное видео, спасибо!
return не старая команда, она просто по другому применяется. yield просто возвращает генератор.
Одни говорят, что она старая. Другие, что не старая. Вот и кому верить? В целом наверное главное чтобы работало...
Не понял почему домен пишется в таком виде xn-----mlcmbbnctfc9anx4ak5ald.xn--plai. Разве нельзя в обычном виде написать? Как найти этот сайт?
кирилицу не воспринимают браузере. по этому он конвертирует это в хрен пойми какой транслит под кодировку и работает как зеркальное обозначение букв кирилицы
Добрый день! Спасибо, отличное видео! Все очень подробно и доступно. Если есть у Вас такой опыт, подскажите как подвязать Splash (что прописать?) для данного метода если сайт с javascript. P.S. Scrapy-Splash уже подключен
Лучшим выбором будет использовать скаппи как сборщик урлов, затем передать все в хром через селениум и парсить контент. Запишу как время будет
@@SergeiBondarev7-seo Спасибо большое! Будем ждать. Отличный видос будет, редкий в русскоязычном сегменте.
Делаешь from scrapy_splash import SplashRequest
пишешь скрипт и передаешь его в функцию. И не нужен никакой Selenium
С момента опубликования видео прошло 11 месяцев. Естественно повторить, проверить на практике парсинг не удалось (сайт изменился или ошибки). Есть ли рабочие примеры?
Наверное стоит взять за основу и сделать свое под нужный сайт?! Пока нет особого желания записывать новые видео.
@@SergeiBondarev7-seo Что бы взять за основу нужно разобраться,поэтому и прошу выложить оригинальный текст программы
@@garrig1925 не знаю когда у меня будет время… вы не посмотрели видео внимательно, все работает в том числе на примере… если сложно, стоит посмотреть видео с более простым парсингом
@@garrig1925 все до ссылок повторяется везде, далее уже теги сами выдираете, через любой удобный метод
Не понятно про RULES. /profnastil, 'index.php и прочее - это что? куски URL на которые паук не будет заходить? Или тэги в документе?
да, это куски урл нужных страниц
привет , какой курс может посоветовать по scrapy? и курсы английского?)
По скрапи, никакой, в целом мое видео на 80% вопросов отвечает, чтобы начать. По английскому сам ищу достойный курс. Но вроде как есть канал english with james - огонь
@@SergeiBondarev7-seo спасибо, я по скрапи тоже искал и ничего толкового не нашел, на русском книг вообще нет... но на сколько я понял скрапи на много эффективней супа если профессионально уходить в парсинг..
@@vladimir7759 где-то проще ковырять супом, где-то скрапи, с опытом сам решишь.
Похоже на стёб..)
Есть мы alloy пустым оставим, он везде будет ходить или нигде ?
везде
Сергей, может выложить полный код парсинга ?
Смысл, если на видео все есть, и все равно придется его переписывать, т.к другая область будет
Ругается на строчку from newparce_project.items import Product. Все изменила везде, но пишет Unresolved reference 'newpace_project' и Unresolved reference 'Product'
Scrapy не основан на Django. Вообще даже и близко. Scrapy работает на базе twisted.
Разные источники по разному пишут. Добавите что-то еще?
Добрый день. Выдает ошибку: ModuleNotFoundError: No module named 'parsing.settings'
И не могу понять, что не так с items и Product в импорте, их подчеркивает как ошибку..( Может кто-то подскажет в чем проблем?!
Установите библиотеку scrapy items
Проверьте путь в парсере при импорте корневая папка должна быть указана
Или забейте и просто все переменные скрапи задайте в файле парсера
Приложите код items и парсера
@@SergeiBondarev7-seo код items:
import scrapy
class Krepezh(scrapy.Item):
krepezh_url = scrapy.Field()
@@SergeiBondarev7-seo библиотека scrapy items - установлена.
корневая папка в парсере при импорте у меня "parsing"
Как сохранить полученные данные в базу данных? Как разместить Scrapy на хостинге? Как интегрировать Scrapy + Django?
😁 поочереди в гугл вбить вопросы и получить ответы? вроде так работает...
gen spidr я с этого момента чуть не умер
ты б хоть сайт показывал где что берешь и как
Покажешь, как надо?
У меня кровь с ушей капает когда я слышу что то вроде итаймс или рулес))