Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
8 หลายเดือนก่อน +1
nay em mới tình cờ xem được video của anh, nhưng hình như selenium cập nhật lại toàn bộ function rồi hay sao ấy ạ? Ví dụ như find_element_by_id
8 หลายเดือนก่อน
Đúng rồi em. Giờ nó dùng chung 1 hàm find và change value type bên trong. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi thêm nếu cần nhé!
Anh ơi! Em muốn crawl comment xong thì đánh giá giá xem comment đấy thuộc dạng tích cực, tiêu cực hay trung tính thì anh có thể nói sơ qua cho em về cách làm không ạ?
3 ปีที่แล้ว
Đây em miai.vn/2020/05/04/nlp-series-1-thu-lam-he-thong-danh-gia-san-pham-lazada/
@ em có viết lại code nhưng vẫn dính lỗi no such element, em thử khá nhiều dòng quanh quanh chỗ click bình luận nhưng vẫn không được ạ :( anh có gợi ý nào về dòng HTML có thể find_element không ạ?
2 ปีที่แล้ว
@@kaitoukuroba301 em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé
Bữa giờ em vẫn đang tìm hiểu làm sao để có thể lấy danh sách bài viết trong 1 group liên tục, khi có 1 bài viết mới được cập nhật. nếu dùng selenium thì phải gọi lại sau mỗi 1 phút. và không thể chạy trên 1 server free như render... Cho em hỏi có hướng nào giải quyết không ạ?
admin ơi e thực hiện câu lênh browser = webdriver. .. trong windows không hiện các thuộc tính như Chrom, firefox hay một số web khác thì sửa lỗi ntn admin. mong admin chỉ e với ạ
3 ปีที่แล้ว
Bạn post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh lỗi cho tiện nha!
anh ơi với thư viện selenium hiện tại của em thì chỉ có find_element và find_elements chứ không có find_element_by_xpath thì làm sao ạ. em cảm ơn anh ạ
2 ปีที่แล้ว
Phiên bản mới nó vạy em. Em thay find_element_by_xpath = find_element(by="xpath) nhé. Cần thêm gì em post lên facebook.com/groups/miaigroup nhé!
em chạy browser.find_elements_by_xpath("//div[@aria-label='Bình luận']") nhưng mà kết quả là 1 list rỗng thì phải sửa làm sao đây ạ, các bước trước thì em chắc chắn đúng hết rồi
4 ปีที่แล้ว
Facebook đổi giao diện rồi thì phải em. Em inspect lại đi!
Anh ơi, em đang làm bài toán về phân tích câu comment là tốt hay xấu anh cho em xin hướng dẫn được không ạ. Em cảm ơn ạ
3 ปีที่แล้ว +1
Đây em www.miai.vn/2020/05/04/nlp-series-1-thu-lam-he-thong-danh-gia-san-pham-lazada/ Cần hỗ trợ gì em lên Group: facebook.com/groups/miaigroup hỏi thêm nha!
Sử dụng selenium chỉ mở được hồ sơ khách thôi à anh, có cách nào mở được chrome hồ sơ 2 không anh options.add_argument("user-data-dir=C:\\Users\\Users_Name\\AppData\\Local\\Google\\Chrome\\User Data\\Profile 2") - Cái này trên mạng thấy có hướng dẫn nhưng làm thì chạy không ra
4 ปีที่แล้ว
Cái này em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup để trao đổi cho tiện nha!
Mình cũng cần mở hồ sơ sign in sẵn 1 số account google sau đó vào 1 trang web thực hiện 1 số thao tác giống nhau, bạn đã tìm được giải pháp chưa @Phú Cường Lê
cho em hỏi mình muốn save full trang html về luôn làm sao vậy anh
4 ปีที่แล้ว
Thế thì sau khi get xong em in luôn cái element.get_attribute('innerHTML') là okie. Hoặc em chơi luôn thư viện khác cho nhanh cũng được import urllib2 page = urllib2.urlopen('stackoverflow.com') page_content = page.read() with open('page_content.html', 'w') as fid: fid.write(page_content)
anh ơi, lúc run em bị lỗi ImportError: No module named selenium. Em tải python3, pip22, selenium rồi, dùng pip3 show selenium cũng ra version luôn mà sao nó lại không có module. Mong anh chỉ giáo ạ, em cảm ơn.
2 ปีที่แล้ว +1
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh cho tiện trao đổi nhé!
Thưa a hình như bây h facebook họ đổi giao diện mới mình không thể lấy được element như cách này được thì phải ạ, anh có thể hỗ trợ e cách lấy mới được k ạ?
4 ปีที่แล้ว +2
Đúng rồi em. Sau khi anh làm clip thì Facebook thay đổi. Em click chuột phải rồi chọn Inspect để lấy XPath của element nhé.
Dạ anh ơi cho em hỏi chỗ lệnh comment.find_element_by_class_name("") . Nếu em dùng phiên bản facebook cũ thì vẫn được bình thường còn khi facebook phiên bản mới em tìm không ra name class với id của comment để bỏ vào á anh @@
4 ปีที่แล้ว
Em phải inspect xem trên phiên bản mới thì class_name là gì rồi thay vào chỗ lệnh find là okie.
Mì AI dạ e thử rồi anh.. mà e thay class name vào nó chỉ lấy dc comment đầu tiên thôi á a.. e cũng thử dùng find by class name hay xpath thẻ div nó cũng chỉ show comment đầu tiên thôi á a 🧐🧐
Hi Anh ơi, cho em hỏi thăm ạ, em cũng mới bắt đầu học rawl dữ liệu thôi, 1 web nội bộ chứa thông tin dữ liệu trực tuyến html dạng table. Nội từng cell là từng Khách hàng với khoảng 10 cột chứa thông tin. Tập load khoảng 104 nghìn cell khách hàng. Em chưa làm, nhưng nếu làm bằng phương pháp selenium này liệu có load đc 1 lượng dữ liệu lớn như vậy ko ạ. em cảm ơn Anh.
3 ปีที่แล้ว +1
Nếu web hiển thị được 104K cell và Chrome ko treo thì Sele lấy tốt em nhé!
@@nguyentanloc9023 bạn định vị bằng XPATH hay CSS selector? Khi crawl dữ liệu thứ tự ưu tiên khi định vị element như sau: 1. id 2. class name 3. css selector và cuối cùng khi hết lựa chọn: XPATH do cần phải chỉnh cho driver đến tọa độ của element. Nếu crawl bằng CSS selector thì miễn là dữ liệu hiển thị toàn bộ dưới dạng HTML trên 1 trang thì load một phát là được tất ngay
a ơi tại sao e lấy tất cả element theo xpath là tất cả thẻ div có class là ''bp9cbjyn ue3kfks5 pw54ja7n uo3d90p7 l82x9zwi n1f8r23x rq0escxv j83agx80 bi6gxh9e discj3wi hv4rvrfc ihqw7lf3 dati1w0a gfomwglr'' khi chạy thì lúc nó lấy được list lúc thì k ạ, e có check là mấy lần không lấy được list thì class nó cũng tên vậy luôn chứ k đổi
4 ปีที่แล้ว +1
Facebook nó có hệ thống class khá động đậy. Mình phỉa dùng tip tý em ah. Em post thử vấn đề lên facebook.com/groups/miaigroup xem! Có ảnh chụp cho tiện!
Anh ơi, e đang sử dụng Windown 64bit, nhưng trên web download chỉ có bản chrome 32 bit thôi ạ. Khi dung py gọi chrome ra thì nó báo lỗi "TypeError: 'module' object is not callable "
4 ปีที่แล้ว
Không sao đâu em. Em post thửu ảnh lỗi lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
e nói thật video a dễ hiểu thật ý. Mong a ra nhiều video code về fb hơn để mọi người cùng học hỏi
Cảm ơn em. Anh sẽ cố gắng ra nhiều nhé!
đang từ took khác chuyển sang học selenium chưa biết từ đâu tự nhiên thấy video này..dễ hiểu :v..like a
Hihi thanks bạn nhiều nhiều nhé!
quá tuyệt vời
cảm ơn bạn đã chia sẽ
Cảm ơn bạn đã ủng hộ nha. Cần thêm thì bạn post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup nhé!
video rất bổ ịch, cảm ơn anh.
Cảm ơn bạn.
Cần thêm gì post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện nha!
Hay quá anh ơi! Không biết mình có thể áp dụng cách này để nuôi nick clone facebook không a?
Hihi hoàn toàn được em :D
cảm ơn anh, rất chi tiết và dễ hiểu
Thanks bạn ủng hộ nha :D
Cảm ơn anh đã chia sẻ, anh hướng dẫn thêm phần craw data từ phần quảng cáo fb về đi ạ :))
Haha anh không làm ads nên ko rõ nó có khác gì với phần khác ko?
@ Dữ liệu quảng cáo có cả về hành vi và nhân khẩu học a ạ. Mình có thể lấy qua API , vấn đề là chưa biết lấy về thế nào
:))
Hay quá bác ơi
Thanks bạn ủng hộ nha!
Tuyệt vời thầy ơi
Cảm ơn em nhiều!
đoạn 36:00 a lấy class của một bạn Vi Huỳnh mà sao lúc in lại in dc tất cả vậy ạ, mỗi user 1 class chứ nhỉ
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh chụp xem nhé!
Bác Mì AI ơi thời điểm hiện tại selenium đã lỗi thời không dùng được nữa bác làm thêm bài khác hướng dẫn với
Úi mình vẫn hàng ngày dùng Selenium để lấy dữ liệu chứng khoán mà. Nó lỗi thời như nào thế? Bạn chia sẻ rõ hơn được không?
anh có thể hướng dẫn crawl tin nhắn chat trong group zalo được không ạ?
Mình lại chưa làm món này. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
Ví dụ lấy trường thông tinh tên, địa chỉ, like page từ 1 list các link fb vào cùng 1 sheet excel thì lm thế nào
Thì đầu tiên em mở từng link, lấy info rồi dùng lệnh write excel.
Welcome em. Share và đăng ký kênh ủng hộ a nha!
hay quá chú ơi cảm ơn chú chú cho cháu hỏi là win 7 không có terminal thì làm sao ạ
Thì cháu dùng Command Line!
@ dạ chú
cháu cảm ơn chú rất nhiều ạ
Yeah rất vui vì giúp được cháu nhé!
dễ hiểu, đã +1 sub cho a, cảm ơn a.
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
nay em mới tình cờ xem được video của anh, nhưng hình như selenium cập nhật lại toàn bộ function rồi hay sao ấy ạ? Ví dụ như find_element_by_id
Đúng rồi em. Giờ nó dùng chung 1 hàm find và change value type bên trong. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi thêm nếu cần nhé!
Anh ơi! Em muốn crawl comment xong thì đánh giá giá xem comment đấy thuộc dạng tích cực, tiêu cực hay trung tính thì anh có thể nói sơ qua cho em về cách làm không ạ?
Đây em
miai.vn/2020/05/04/nlp-series-1-thu-lam-he-thong-danh-gia-san-pham-lazada/
Dung implicit wait unti thay vi hard sleep 5 giay nhe ban
Chuẩn bạn. Thông thường trong các dự án thực tế mình cũng hay dùng wait. Chứ đôi khi 5 giây là ko đủ để nó load ra :D
a ơi, e sử dụng facebook lite rồi, 11:57 mà nó ko điền thông tin ak
Em chụp màn hình up lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup
xem nhé!
Anh ơi hình như FB đổi cách viết HTML rồi, em copy nguyên code của a chạy thử mà không crawl được nữa, anh có thể làm một video crawl mới được không ạ
Facebook đã đổi giao diện. Nên có thể ko chạy đc đâu. Em phỉa viết lại code nhé
alo bh bạn chạy được chưa ạ
@ em có viết lại code nhưng vẫn dính lỗi no such element, em thử khá nhiều dòng quanh quanh chỗ click bình luận nhưng vẫn không được ạ :( anh có gợi ý nào về dòng HTML có thể find_element không ạ?
@@kaitoukuroba301 em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé
anh ơi, các variables như reaction (likes, heart,...) và sharing của comment có hiển thị ko a
Có hiện em ơi. Em giả lập 1 lệnh click vào nó sẽ hiện lên 1 cửa sổ mới. Trong đó có số lượng đó.
hay quá anh ơi, cảm ơn anh
Yeah cảm ơn em ủng hộ nha!
Bữa giờ em vẫn đang tìm hiểu làm sao để có thể lấy danh sách bài viết trong 1 group liên tục, khi có 1 bài viết mới được cập nhật.
nếu dùng selenium thì phải gọi lại sau mỗi 1 phút. và không thể chạy trên 1 server free như render...
Cho em hỏi có hướng nào giải quyết không ạ?
Em post lên nhóm Mì AI xem nhé!
hay quá a ạ
Cảm ơn em rất nhiều!
anh ơi anh nói rõ cách lấy cái "xem các bình luận trước" được k ạ em lấy mãi mà k được.
Anh post lỗi lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh chụp trao đổi cho tiện nha!
E làm với trang web có bắt điền thêm captcha thì làm sao tự động điền captcha được a nhỉ ?
Khoai đó em. Em post lên Group: facebook.com/groups/miaigroup trao đổi thêm nhé!
Chào anh, cho em hỏi anh đang code trên phần mềm gì vậy ?
Anh sử dụng Pycharm nhé.
anh cho em hỏi phần mềm anh dùng từ 5:23 là phần mềm nào ạ anh
mà tải cho window ntn ạ
em cảm ơn anh ạ
Anh dùng Pycharm em. Cái này free em có thể google tải về vô tư.
Em cảm ơn ạ =))
admin ơi e thực hiện câu lênh browser = webdriver. .. trong windows không hiện các thuộc tính như Chrom, firefox hay một số web khác thì sửa lỗi ntn admin. mong admin chỉ e với ạ
Bạn post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh lỗi cho tiện nha!
anh ơi em muốn hỏi có một số bình luận rất dài và phải bấm vào xem thêm thì mình nên chỉnh vòng lặp như nào để lấy được hết nội dung bình luận ạ?
Em cứ kiểm tra các bình luận, nếu có thêm nút xem thêm thì ta bấm vào
@ dạ vâng em tìm đc cách giải quyết r ạ hề hề
anh ơi với thư viện selenium hiện tại của em thì chỉ có find_element và find_elements chứ không có find_element_by_xpath thì làm sao ạ. em cảm ơn anh ạ
Phiên bản mới nó vạy em. Em thay find_element_by_xpath = find_element(by="xpath) nhé. Cần thêm gì em post lên facebook.com/groups/miaigroup nhé!
em chạy browser.find_elements_by_xpath("//div[@aria-label='Bình luận']") nhưng mà kết quả là 1 list rỗng thì phải sửa làm sao đây ạ, các bước trước thì em chắc chắn đúng hết rồi
Facebook đổi giao diện rồi thì phải em. Em inspect lại đi!
@ em chạy trên local thì được, chạy trên colab thì không được ạ
@@phanthanhduyen Cái này chạy local đi em:D. Train model thì hãy colab ":D
@ thanks a
@@phanthanhduyen alo bạn chạy dc chưa ạ
Trong trường hợp đăng nhập sử dụng prompt() thì làm như thế nào a?
Sử dụng prompt là ntn em?
Bác ơi con không tải được chrome drive 64 bit cho máy win, con cần làm gì hả Bác?
Con tải thì bị lỗi như nào? Con chụp màn hình post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup
nhé!
cảm ơn anh nhiều!
Không có gì em. Cảm ơn em nhé.
#MìAI
Fanpage: facebook.com/miaiblog
Group trao đổi, chia sẻ: facebook.com/groups/miaigroup
Blog: miai.vn
TH-cam: bit.ly/miai_youtube
anh ơi, cho em hỏi là thẻ
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi cho tiện nhé!
Anh ơi, em đang làm bài toán về phân tích câu comment là tốt hay xấu anh cho em xin hướng dẫn được không ạ. Em cảm ơn ạ
Đây em
www.miai.vn/2020/05/04/nlp-series-1-thu-lam-he-thong-danh-gia-san-pham-lazada/
Cần hỗ trợ gì em lên Group: facebook.com/groups/miaigroup hỏi thêm nha!
@ Anh cho em xin hướng dẫn chạy project được không ạ. Em cảm ơn ạ
@@nguyenphan9494 Ủa cả 1 bài hướng dẫn rồi mà em.
anh ơi, làm sao để ghi text vào chỗ tin nhắn ở trong messenger vậy ạ, không có id ở trong html nên e không biết chèn text vào kiểu gì :((
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup thảo luận cho tiện nha!
anh ơi có cài hàm nào mà khi crawl dữ liệu mà ẩn chrome anh, e cảm ơn
Có em. Em search headless seleinum python! Hoặc post lên Group: facebook.com/groups/miaigroup trao đổi thêm cho rõ nhé!
anh ơi, anh làm hướng dẫn cách ghi vào file excel luôn được không ạ
Sắp tới anh làm khóa về Python nhé!
Mình cũng đang cần cái này, mong anh Mì AI hướng dẫn làm sớm
@@ai6503 Thanks bạn. Trong khóa học Python (hiện đã có bài đầu tiên trên Kênh TH-cam) mình sẽ trình bày ở Chương 5 nhé!
anh ơi em đá cài chromedriver.exe và code theo trong video sao no vẫn hiện là ko tìm đc file mong anh giải đáp, em cảm ơn
Em post cụ thể lên facebook.com/groups/miaigroup cho tiện trao đổi nhé!
Anh ơi, nếu em muốn crawl danh sách thành viên của group facebook thì em nên sử dụng công cụ nào ạ ?
Vẫn selenium và python thôi em.
cho em hỏi là làm sao để không dùng delay mà dòng code sau vẫn đợi dòng code trước load xong ạ.
Bạn dùng lệnh WaitFor của Selenium nhé!
Quá hay
Thanks bạn ủng hộ nha.
Gia nhập cộng đồng Mì AI nha!
Fanpage: facebook.com/miaiblog
Group: facebook.com/groups/miaigroup
Website: miai.vn
TH-cam: bit.ly/miaiyoutube
Anh ơi có cách nào để crawl được data về comment trên tiki không ạ
Có em. Em cứ inspect từng thành phần xem nó có id là gì, class ra sao là lấy được hết.
Sử dụng selenium chỉ mở được hồ sơ khách thôi à anh, có cách nào mở được chrome hồ sơ 2 không anh
options.add_argument("user-data-dir=C:\\Users\\Users_Name\\AppData\\Local\\Google\\Chrome\\User Data\\Profile 2") - Cái này trên mạng thấy có hướng dẫn nhưng làm thì chạy không ra
Cái này em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup để trao đổi cho tiện nha!
Mình cũng cần mở hồ sơ sign in sẵn 1 số account google sau đó vào 1 trang web thực hiện 1 số thao tác giống nhau, bạn đã tìm được giải pháp chưa @Phú Cường Lê
cho em hỏi mình muốn save full trang html về luôn làm sao vậy anh
Thế thì sau khi get xong em in luôn cái element.get_attribute('innerHTML') là okie. Hoặc em chơi luôn thư viện khác cho nhanh cũng được
import urllib2
page = urllib2.urlopen('stackoverflow.com')
page_content = page.read()
with open('page_content.html', 'w') as fid:
fid.write(page_content)
anh ơi, lúc run em bị lỗi ImportError: No module named selenium. Em tải python3, pip22, selenium rồi, dùng pip3 show selenium cũng ra version luôn mà sao nó lại không có module. Mong anh chỉ giáo ạ, em cảm ơn.
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh cho tiện trao đổi nhé!
video rất hay. cảm ơn anh nhé
Welcome em nha!
#MìAI
Fanpage: facebook.com/miaiblog
Group trao đổi, chia sẻ: facebook.com/groups/miaigroup
Blog: miai.vn
TH-cam: th-cam.com/users/MiAIblog
Thầy ơi cho nó kéo chuột xem hết trang như nào ạ
Bạn post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé. Trao đổi cho tiện!
cho em hỏi, vậy nếu cmt đó có nhãn dán và hình ảnh thì phải làm sao ạ?
Ý em là sao nhỉ?
nếu quá trình làm bị lỗi như thế này ( TypeError: 'module' object is not callable ) thì phải xử lý thế nào ạ, mong anh rep
Bạn post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh chụp cho tiện trao đổi nhé!
Thưa a hình như bây h facebook họ đổi giao diện mới mình không thể lấy được element như cách này được thì phải ạ, anh có thể hỗ trợ e cách lấy mới được k ạ?
Đúng rồi em. Sau khi anh làm clip thì Facebook thay đổi. Em click chuột phải rồi chọn Inspect để lấy XPath của element nhé.
@ Okie A Ạ. Chúc a sức khỏe, giữ nhiệt huyết để chia sẻ kiến thức a nhá
@@duyhoangta7988 Welcome em!
Dạ anh ơi cho em hỏi chỗ lệnh comment.find_element_by_class_name("") . Nếu em dùng phiên bản facebook cũ thì vẫn được bình thường còn khi facebook phiên bản mới em tìm không ra name class với id của comment để bỏ vào á anh @@
Em phải inspect xem trên phiên bản mới thì class_name là gì rồi thay vào chỗ lệnh find là okie.
Mì AI dạ e thử rồi anh.. mà e thay class name vào nó chỉ lấy dc comment đầu tiên thôi á a.. e cũng thử dùng find by class name hay xpath thẻ div nó cũng chỉ show comment đầu tiên thôi á a 🧐🧐
anh ơi cho em hỏi nếu mình muốn crawl ảnh về thì dùng hàm gì ạ. Em cảm ơn anh!
Em lấy URL của ảnh rồi save về thôi. Cần thêm gì em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Anh ơi cho em hỏi là có cách nào điểu khiển chrome mà không cần thông qua selenium không ạ? E tìm hiểu mà không thấy
Ủa thế sao em ko dùng Selenium?
@ Selenium mỗi khi chạy lại mở 1 chromedriver mới. Mà e muốn điều khiển dữ liệu trên chính chrome đang chạy luôn ạ
@@vanson9114 Cách nhanh nhất là em xem chrome hiện tại đang mở tab gì em mở lại bên Sele cho nhanh
@ À. Để e search thử ạ. E cảm ơn ad nhiều nhé. 😂😂😂
Hi Anh ơi, cho em hỏi thăm ạ, em cũng mới bắt đầu học rawl dữ liệu thôi, 1 web nội bộ chứa thông tin dữ liệu trực tuyến html dạng table. Nội từng cell là từng Khách hàng với khoảng 10 cột chứa thông tin. Tập load khoảng 104 nghìn cell khách hàng. Em chưa làm, nhưng nếu làm bằng phương pháp selenium này liệu có load đc 1 lượng dữ liệu lớn như vậy ko ạ. em cảm ơn Anh.
Nếu web hiển thị được 104K cell và Chrome ko treo thì Sele lấy tốt em nhé!
@ dạ Anh, em dùng chrome web cty em chỉ load đc 1 lần có 200 thôi Anh :(
@@nguyentanloc9023 bạn định vị bằng XPATH hay CSS selector? Khi crawl dữ liệu thứ tự ưu tiên khi định vị element như sau:
1. id
2. class name
3. css selector
và cuối cùng khi hết lựa chọn: XPATH do cần phải chỉnh cho driver đến tọa độ của element.
Nếu crawl bằng CSS selector thì miễn là dữ liệu hiển thị toàn bộ dưới dạng HTML trên 1 trang thì load một phát là được tất ngay
cho mình hỏi khi mình muốn click next page của một trang thì phải cuộn tới chỗ hiện thị nextpage thì nó mới chạy nhỉ.
@@rawmetal3052 cho mình hỏi khi mình muốn click next page của một trang thì phải cuộn tới chỗ hiện thị nextpage thì nó mới chạy nhỉ.
Lưu đăng nhập kiểu gì ạ
Em có thể save lại user/pass. Còn muốn lưu đăng nhập thì có thể save cả cookies.
Nếu như e xài Cốc cốc thì s ak 6:56
Thì em cài thêm Chrome để crawl nhé!
Anh ơi anh có cách nào bypass captcha không anh
món này phải train model OCR hoặc dùng dịch vụ thuê ngoài qua API em ah.
Anh lấy . Các bài đăng từ nhóm xuống được ko anh. Vì gruop em bị chiếm quyền adimin
A ko hiểu ý em . Em post lên Group: facebook.com/groups/miaigroup trao đổi thêm nhé!
a ơi tại sao e lấy tất cả element theo xpath là tất cả thẻ div có class là ''bp9cbjyn ue3kfks5 pw54ja7n uo3d90p7 l82x9zwi n1f8r23x rq0escxv j83agx80 bi6gxh9e discj3wi hv4rvrfc ihqw7lf3 dati1w0a gfomwglr'' khi chạy thì lúc nó lấy được list lúc thì k ạ, e có check là mấy lần không lấy được list thì class nó cũng tên vậy luôn chứ k đổi
Facebook nó có hệ thống class khá động đậy. Mình phỉa dùng tip tý em ah. Em post thử vấn đề lên facebook.com/groups/miaigroup xem! Có ảnh chụp cho tiện!
@ e ms xử lý được vấn đề đó r ạ, do lúc chạy e k set tgian sleep để fb nó load page nên ms bị v ạ
@@quanbluee Great em!
@ dùng tip gì anh nhỉ, a có thể nói rõ hơn không anh nhỉ. Em cảm ơn.
Mấy cái file và tài liệu tiếng anh thầy tham khảo ở đâu vậy ạ có thể cho em xin link tiếng anh không ạ
Ủa cụ thể là file và tài liệu nào nhỉ?
Tiếng Anh thì đọc ebook Web Scraping with Python. Có cả Selenium, BeautySoup...
Tuy nhiên là nghiên cứu riêng từng cái trước.
anh oi. cái dòng cmt_list = browser.find_element_by_xpath("//div[@aria-label='Bình luận']"). cái xpath đó mình lấy ở đâu vậy anh
Ah cái đó em làm như trong clip đó, click chuột phải chọn Copy XPath đó.
cảm ơn anh
Thanks bạn đã ủng hộ hihi.
Cần thêm gì bạn post lên facebook.com/groups/miaigroup nhé!
anh ơi nếu em crawl 1 website mà content nó sử dụng lazyload thì sao ạ
Em dùng selenium kết hợp với waitFor là okie.
Cần gì em lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup thảo luận thêm nha!
login va crawl du lieu tu facebook python
Cảm ơn bạn.
#MìAI
Fanpage: facebook.com/miaiblog
Group trao đổi, chia sẻ: facebook.com/groups/miaigroup
Blog: miai.vn
TH-cam: th-cam.com/users/MiAIblog
anh cho e hỏi e build source anh bị lỗi như này, e làm như nào ạ lỗi chỗ find_element_by_xpath
Như nào em? Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh chụp cho tiện trao đổi nhé.
Dùng selenium này có sợ bị ban nick ko bác
Có đó bác. Phải kết hợp với Proxy cho lành! Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
anh ơi sao em chạy sleep nó ko hoạt động mà nó đóng trình duyệt luôn
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé! Trao đổi cho tiện!
sau khi đăng nhập thành công facebook sẽ ra một bản thông báo ...làm sao tắt được vậy anh?
Thông báo gì thế em? Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup thảo luận cho tiện nhé!
ah ơi h selenium 4.22 gọi lệnh sao ạ
Lâu quá a cũng ko làm. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
cách này có crawl được phim không ạ
Gì cũng được em. Miễn tìm ra elements và có cách vượt chặn (nếu site chặn) thì okie hết.
@ em cảm ơn ạ
Anh ơi nếu mình viết trên điện thoại thì chomer lấy đâu ra vậy anh
Điện thoại thì anh sợ phải làm cách khác. Em làm bài toán gì thế. Chia sẻ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Điện thoại thì dùng cái khác như Safari driver...
em cảm ơn anh
Yeah ko có gì em. Cảm ơn em luôn ủng hộ.
#MìAI
Fanpage: facebook.com/miaiblog
Group trao đổi, chia sẻ: facebook.com/groups/miaigroup
Blog: miai.vn
TH-cam: bit.ly/miai_youtube
cách này có crawl được dữ liệu người đăng kí một kênh yt bất kì k a
Nếu cứ cái gì hiện lên trên web là mình crawl được bạn ạ :D
anh ơi trong trường hợp chỉ dc login bằng gmail thì lm sao anh, cho em keyword với :3
Login gmail thì cũng như facebook thôi. Chỉ cần điền đủ là okie? Hay ý em là gmail chặn :D
anh ơi em cho chạy nhiều lần khiến facebook chặn phải đăng nhập thì phải xử lý thế nào vậy anh
Em đổi IP khác thôi. Và máy khác càng tốt. Facebook nó chống crawl mà!
@ em cảm ơn anh
em mò đổi IP rồi AI của thằng facebook bữa này mạnh quá
@ em đổi ip rồi nhưng thằng facebook nó cũng biết nên em đăng nhập luôn
from selenium import webdriver
nó toàn báo lỗi thế này: ModuleNotFoundError: No module named 'selenium'
cao nhân nào chỉ giáo e với
Bạn post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé cho tiện trao đổi!
cam on anh
Cảm ơn em luôn ủng hộ nha!
Cái này có bị toang fb k a ơi
Bạn làm với request rate vừa vừa thì ko sao. Còn nếu làm nhiều (ko phải để học mà làm dự án) thì phải áp nhiều chiêu khác như proxy chẳng hạn.
@Tuần Trần Văn Bạn post lên Group: facebook.com/groups/miaigroup trao đổi cho tiện nhé!
Anh ơi, e đang sử dụng Windown 64bit, nhưng trên web download chỉ có bản chrome 32 bit thôi ạ. Khi dung py gọi chrome ra thì nó báo lỗi "TypeError: 'module' object is not callable
"
Không sao đâu em. Em post thửu ảnh lỗi lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
em bị lỗi ở chỗ dùng random.randint :< google hoài không ra hihu
Em post lỗi lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé
anh ơi,anh có thể hướng dẫn cách lấy link fb của người cmt rồi lấy thông tin tuổi tác,giới tính được không ạ
Ah cái đó thì anh lại ko rõ vì chưa mần. Em hỏi thử trên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem!
Thít mì dạng này
Thanks bạn đã ủng hộ.
#MìAI
Fanpage: facebook.com/miaiblog
Group trao đổi, chia sẻ: facebook.com/groups/miaigroup
Blog: miai.vn
TH-cam: bit.ly/miai_youtube
sao em làm như anh bị lỗi anh nhỉ
Em post lỗi lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
SO usefui