آموزش پروژه محور وب اسکرپینگ با پایتون و اسکرپی(مقدماتی) | Web Scraping using Python and Scrapy

[@MoritaDataLand]

اگه علاقمند هستین که ویدیوهای اسکرپی ادامه دار باشه میتونین زیر همین کامنت برام ریپلای کنین

[@Rahmannasi]

عالی بود ، ولی سئوالی بود که از طریق اینستاگرام پیغام دادم ، ممنون میشم پاسخ بدید

[@mobinaghafouri3192]

با عرض سلام ، خیلی ممنون بابت دوره خوبتون خیلی خوب توضیح میدید و واقعا به نظرم اگر این دوره را کامل کنید جزو یکی از بهترین ها خواهد شد، پس بی صبرانه منتظر ادامه این دوره هستم

[@MoritaDataLand]

@@SF-qk2yj حمایت شما باعث دلگرمی من هست. حتما ادامه مبدم

[@MoritaDataLand]

@@mobinaghafouri3192 خیلی ممنونم ازتون. حتما ادامه میدم، هر پیشنهادی هم در مورد مطالب داشتین حتما باهام درمیون بذارین

[@mehdismaeili3743]

سلام /بله /تمایل دریم.

[@firoozeh_habibi]

ممنونم خانم مهندس ، عالی و کامل بود

[@EmirHosensmaeili]

عالی، مفید و خلاصه بود

[@alirezaalizadeh5489]

من قبل از توضیحاتتون میرم کتابخونه میخونم و بیش از نصف قضیه برام روشنه...شما هم دقیقا همونارو میگین ولی با این حال هم قضیه برام روشن تر میشه هم امکان نداره که چیز جدیدی از توش یاد نگیرم
ممنون که انقدر خوبی

[@MoritaDataLand]

چقدر خوب! ممنون

[@mehdismaeili3743]

سلام ممنونم از ویدیوهای خوبتون.

[@mohammadsaeedamini5587]

Perfeeect

[@golnazghannadan]

خیلی خوب توضیح دادین، ممنونم.

[@MoritaDataLand]

ممنون از همراهیتون

[@megheditarverdian7329]

عالی بود مثل همیشه🤌👍

[@MoritaDataLand]

ممنونم

[@mehdiradman3620]

خیلی ممنون

[@MoritaDataLand]

خوشحالم که براتون مفید بوده

[@raminshams9876]

thank so mach but i hope you continu the advance of this touturila

[@MoritaDataLand]

Thanks I will continue

[@alishahsavani8373]

It was great as always

[@MoritaDataLand]

thank you :)

[@hamidhamid-st1fn]

سلام میشود در باره flask ویدئو بسازید!

[@muhammadjavadfarahani7809]

سلام وقت بخیر آیا با سلنیوم میشه یک وبسایت رو مثلا برای یک ساعت ضبط کرد و به صورت فیلم سیوش کرد؟

[@MoritaDataLand]

سلام راستش خودم انجام ندادم و اطلاع ندارم شاید امکان پذیر باشه
ولی اگه تعداد وب سایت ها زیاد نیست، میتونین با سلنیوم وب سایت رو باز کنین و با روش های اسکرین رکوردینگ دیگه تو پایتون از صفحه فیلم بگیرین

[@alisadeghi7829]

سلام، عالی بود، ممنون. من قبلاً برای اسکرپ کردن دیتای متنهای به شکل تول تیپ از منحنی های با فرمت "های چارتس" که بصورت لحظه ای و با حرکت ماوس روی منحنی ایجاد می شن از سلنیوم و به شیوه نسبتاً سختی استفاده کردم. و نهایتاً هم چون حجم دیتا بسیار بسیاز زیاد شد برای اجرای هر بار برنامه حدود 50 ساعت زمان سپری می شد! بخاطر همین از مولتی تردینگ استفاده کردم و زمان اجرای برنامه رو تا حدود 20 برابر سریعتر کردم اما با مشکلات جدیدی مواجه شدم از جمله از دست رفتن کانکشکن اینترنت و عدم دریافت پاسخ از سرور سایت و یا برخورد با stale element و ... و حالا بیشتر به دلیل سرعت به اسکرپی رو آوردم. آیا شما هم توصیه می کنید که از اسکرپی استفاده کنم و آیا راهنمایید خاصی می تونید بهم بکیند؟ ممنون

[@MoritaDataLand]

سلام. ممنونم
راستش قبلا با این نوع دیتا کار نکردم و تجربه کافی ندارم. معمولا برای دیتایی که به صورت لحظه ای گردآوری میشه از سلنیوم استفاده میکنن.
بهتون پیشنهاد میکنم درباره ترکیب سلنیوم با اسکرپی هم تحقیق کنید چون شاید با ترکیب سرعت اسکرپی و قابلیت های سلنیوم بتونید نتیجه دلخواه رو بگیرید

[@alisadeghi7829]

@@MoritaDataLand سپاس فراوان

[@saeedking8157]

من با سلنیوم کار میکنم واسه اینکه جاوااسکریپت ساپورت میکنه اسکرپی میتونه ? خیلی وقتا نیاز کلیک بشه جایی تا دیتا لود بشه

[@mohammadreza8370]

ممنون. مدل هست چیه ؟

[@MoritaDataLand]

منظورتونو متوجه نشدم

[@mohammadreza8370]

@@MoritaDataLand اشتباه تایپی بود. مدل هدستی که باهاش رکورد می‌کنید رو اگه ممکنه می‌خواستم بدونم

[@MoritaDataLand]

@@mohammadreza8370 Accutone
هست. مدلش خاطرم نیست متاسفانه

[@arato3292]

ممنون از ویدیو پرکاربرد و توضیحات عالیتون.یک سوال داشتم اگر فایل robots.txt وجود داشت اونوقت باید چیکار کنیم؟

[@MoritaDataLand]

ممنون
اونجا بهتون میگه کدوم اجازه دارین کدوم urlهارو خزش کنین یا کلا اجازه ندارین