Как парсить любой сайт в make.com
ฝัง
- เผยแพร่เมื่อ 29 ก.ย. 2024
- В этом видео покажу, как парсить любой веб-сайт с помощью платформы make.com за считанные минуты. Это простой в освоении инструмент, который поможет вам создавать рабочие процессы для автоматизации парсинга.
Покажу 2 сценария парсинга: простой и адаптивный, [почти] ничего не программируя и кодируя. В первом варианте парсим веб-сайты, заданные в таблице Google Sheets, используя ScrapeNinja, и который возвращает результаты в тот же Google Sheet. Во втором варианте использую приложения самой платформы make.com, http-запросы и парсеры, для сбора информации (площадь квартир и стоимость) на avito.ru. Кроме гибкости этих инструментов, важно также, что они (сценарии) работают по расписанию - вы устанавливаете один время сбора, и получаете данные автоматически без траты на парсинг и обработку своего времени.
Это одно из самых удобных вещей, которые вы можете сделать в мake: парсинге веб-страниц. Вам не нужно писать ни одной строки скрипта Python. Просто следуйте этому видео, и вы будете на правильном пути!
Регистрация на платформу Make: www.make.com/e...
Привет, я Ильяс! Сегодня много людей говорят об автоматизации, но я заметил, что очень немногие добиваются практического, реального успеха в зарабатывании денег с ее помощью. На этом канале я показываю вам, как выглядят настоящие системы, приносящие реальный доход!
Надеюсь, я смогу помочь вам улучшить ваш бизнес и, тем самым, всю оставшуюся жизнь :-)
Поставьте лайк, подпишитесь и оставьте комментарий, если у вас есть конкретный запрос! Спасибо.
Агентство ИИ - консалтинговая компания по автоматизации. Если вы хотите запросить индивидуальную автоматизацию для вашего бизнеса, посетите нас по адресу ai-ii.ru.
#нейросеть #созданиеконтента #ai #chatgpt #бизнес #ии #инновации #какзаработать #контент #копирайтинг #парсинг #парсингсайтов
Столько всего интересного и полезного.Хорошо ,что Я подписалась .Спасибо .
Привет, как парсить не только текст, но и картинки с сайта?
Не могу настроить Google таблицы. Сам блок работает а доступа к информации пишет " Информация зашифрована у вас нет доступа к информации". В самой программе таблицы я доступ открыл, таблицу составил, блок её находит и считывает но она зашифрована и я не могу её посмотреть. Вам спасибо! Много нужной и полезной информации. Может подскажете где моя ошибка?
А Вы не проболи созадть новую таблицу и её привязать? А так я не могу по описанию сказать, в чём там проблема, извините.
И во благо!
Здравствуйте! А авито можно?
@@СергейПетров-ы9р2б Что на авито нужно?
"После вашей передачи, пришло еще больше писем с вопросами, с одной стороны всё понятно, с другой - не совсем " ))))
тоже не получается подключиться к rapidAPI:( зарегился там, вроде как нашел, где брать API, но при добавлении ключа make пишет ошибка 403
и да, присоединяюсь к вопросу ранее, если с помощью этого scrape ninja можно спарсить только заголовок и метаданные, а не всю страницу целиком, то в моем случае это будет бесполезно:(
заранее спасибо за ответ
@@alexandermalinin7411 В другом сценарии собираю только текст (статью) со страницы.
Что собирать зависит от скрипта, который Вы задаёте в теле модуля
Ильяс, добрый день! ПРедлагаю записать урок, где входящие новости с РСС канала проверяются через наличие новостей в конкретном ТГ канале. Если текст уникален на 75% - публиковать статью, в противном случае ничего не публиковать
@@shap3lessplay654 Благодарю за идею!
между прочим, об этом просят и реальные заказчики, похоже, актуально.
круто. а парсить после авторизации сможете, то есть зайти в с аккаунт и там систематически парсить ?
@@sergstrue362 Не, всякие капчи-логин-пароли не могём
Парсинг сайтов на данный момент это прямой путь к тому, что ваш сайт выкинут из поиска.
@@HB_SongsWithName Немного не понял - как сайт, который парсим и другой сайт соединены? И как может сбор информации с сайта влиять на другой сайт?
Можете пояснить? Может, я чего-то не знаю, что обязан знать в этих случаях?
@@ai-iiru дело было так. У меня был неплохой по посещаемости сайт про домашних животных. Статьи были уникальные, сайт хорошо ранжировался. И вот я решил подразбавить его спаренными с другого сайта статьями. Мало того, я не просто парсил, я ещё и прогонял текст через чат gpt. Через пару месяцев сайт полностью вылетел из поиска Яндекса за не уникальный контент. Я спешно удалил все спарсенные статьи, но увы, сайт так и не попал в поиск.
Боже мой! Гениально, именно это я для своего проекта и искала. Подскажите это платно, если да сколько стоит. Все парсеры морально устарели, а это то что доктор прописал! Искала две недели подобный механизм и когда опустила руки на вас наткнулась, это знак, что нужно продолжать проект.😊
Вы сделали мой день! Это же не сарказм, не?
Можете на емайл ваши требования прислать, а дальше что смогу - сделаю. Стоимость опять-таки от сложности зависит
много информации не показано. куда, что пишем.
Любой сайт так парсить не получится, не вводите людей в заблуждение. Большинство крупных сайтов имеют защиту от такого парсинга.
И лягушкой не получится?
классный инструмент - даже не знал о таком
Подскажите, пожалуйста, как вы подключили scrapeNinja у меня нет всех этих полей, только возможность подключить через RapidAPI Key
scrapeNinja выбрала бесплатный план, но где найти key вообще не понятно.
У меня тоже бесплатный план, это на подключение не влияет. Регистрируйтесь в rapidapi, при подключении scrapeninja вводите в поля 'x-rapidapi-host' и 'x-rapidapi-key'; в make после connection вводите URL сайта и т.д. На каком этапе застряли?
@@ai-iiru спасибо, но все равно ошибка. В rapidapi зарегистрировалась. В make добавляю ScrapeNinja- предлагает только создать подключение, а там только 2 поля: имя соединения и RapidAPI key
Куда вам скинуть скрины? Тест мне на емайл отправьте, пожалуйста
Для вас загрузил видео про соединение ScrapeNinja, гляньте
1:10
2:53
3:06
7:10
мне надо на одном сайте сделать поиск, но поиск с рекапчей гугл, как в make заполнить поле для поиска и пройти рекапчу?
через make не получится, тут нужен скрипт, и то не факт, что пройдет
Можно ли так работать с озон? Пробую он постоянно возвращает ошибку. Может с ним есть какие-то отдельные хитрости настройки?)
У меня нет опыта парсинга с озон, не могу сказать, к сожалению
Записать на таблицу.
Второй способ отличный, все понятно. С первым вопросы про запросы этого скреперниндзи, не понятно как они делаются.
скреперниндзи? или вы про ScrapingBee?
Как мне повезло с вашим каналом!!! Здоровья и всяческих успехов вам!
@@cryptodatex Во благо!
@@ai-iiru Приветсвую. а как спарсить статью целиком с картинками? Тут я так понял в ниндзяскрапере можно парсить только заголовки и описание мета. Если будет время добавьте подобный контент в видео. Спасибо
Все вот эти Ваши пропуски объяснений, типа у меня тут зарегистрировано, сами разберётесь приводят к тому что разобраться с Ниньдзей не получается и дальше всё застопорилось на втором модуле.
Благодарю, учту в следующих видео, не намеренно.
Для вас загрузил видео про соединение ScrapeNinja, гляньте
Ого, вот это мощно! Спасибо за понятные объяснения. Правда начало видео "болтается"
да, есть такое, сам увидел на монтаже, не стал переснимать, сорян
Яндекс маркет можно спарсить?
зависит от данных, как много и часто нужны - чтоб стоимость была адекватной результатам.
А как парсить текст?
С сайта? Или откуда?
@@ai-iiru ну конечно с сайта.
Поработайте с дикцией, слушать очень сложно