brdta.com/kimfl 위 링크로 가입하시면 복잡한 절차를 거치지 않아도 $10 무료 크레딧이 즉시 제공됩니다. 영상에서 사용된 쿠팡 크롤링 파이썬 코드 kimflstudio.tistory.com/79 차단되지 않고 상세 페이지, 리뷰까지 스크래핑하는 쿠팡 크롤링 프로그램 만들기 th-cam.com/video/QtrBHY4_uLw/w-d-xo.html
만약 페이지 소스 보기에서는 확인할 수 없고 클릭했을 때만 나타나는 옵션이라면 셀레니움으로 실제 클릭을 하고 그때 나오는 정보를 가져와야겠지만, 방금 확인해 보니 클릭했을 때 보이는 옵션의 정보가 페이지 소스 보기에서 스크립트 부분에 들어있습니다. 그러니까 스크립트 부분의 정보를 가져와서 분석한다면 셀레니움 없이도 가능합니다. 다만, 실제 해봐야겠지만 상당히 복잡하게 되어있다 보니 간단하지는 않을 듯합니다.
브라이트데이터 웹 언로커 설명에 보면 Say goodbye to Cloudflare Turnstile CAPTCHAs Machine-learning algorithms immediately solve Cloudflare Captcha 이런 설명들이 있습니다. 제가 클라우드 플레어 캡챠가 있는 사이트에 테스트해 보지는 않아서 직접 한번 해보시는 게 가장 확실할듯합니다. brdta.com/kimfl 위 링크로 가입하시면 복잡한 절차를 거치지 않아도 바로 사용해 보실 수 있도록 $10 무료 크레딧이 즉시 제공됩니다.
brdta.com/kimfl
위 링크로 가입하시면 복잡한 절차를 거치지 않아도 $10 무료 크레딧이 즉시 제공됩니다.
영상에서 사용된 쿠팡 크롤링 파이썬 코드 kimflstudio.tistory.com/79
차단되지 않고 상세 페이지, 리뷰까지 스크래핑하는 쿠팡 크롤링 프로그램 만들기 th-cam.com/video/QtrBHY4_uLw/w-d-xo.html
너무좋은 강의였습니다. 브라이트 데이터 어떻게 쓰는지 궁금했는데 혹시 셀레니움에서 캡차해결하는 영상도 하나 보여주셨으면 좋겠습니다 ^^
셀레니움에서 실행되는 코드도 프록시 설정도 공유 부탁드립니다.
인스타 크롤링에 사용하고자 했는데, 코드를 넣어도 접속이 차단이 되네요 ㅠㅜ
유저에이전트와 헤더값을 바꿔도 마찬가지구요 애초에 실행하자마자 차단된 화면이 나오고있습니다.
쿠팡 상품의 모든 옵션을 가져오려면 셀레니움으로 해야하나요?
만약 페이지 소스 보기에서는 확인할 수 없고 클릭했을 때만 나타나는 옵션이라면 셀레니움으로 실제 클릭을 하고 그때 나오는 정보를 가져와야겠지만,
방금 확인해 보니 클릭했을 때 보이는 옵션의 정보가 페이지 소스 보기에서 스크립트 부분에 들어있습니다. 그러니까 스크립트 부분의 정보를 가져와서 분석한다면 셀레니움 없이도 가능합니다.
다만, 실제 해봐야겠지만 상당히 복잡하게 되어있다 보니 간단하지는 않을 듯합니다.
cloudflare 등으로 막혀있는 사이트도 크롤링 가능한가요?
브라이트데이터 웹 언로커 설명에 보면
Say goodbye to Cloudflare Turnstile CAPTCHAs
Machine-learning algorithms immediately solve Cloudflare Captcha
이런 설명들이 있습니다. 제가 클라우드 플레어 캡챠가 있는 사이트에 테스트해 보지는 않아서 직접 한번 해보시는 게 가장 확실할듯합니다.
brdta.com/kimfl
위 링크로 가입하시면 복잡한 절차를 거치지 않아도 바로 사용해 보실 수 있도록 $10 무료 크레딧이 즉시 제공됩니다.
selenium으로도 설정 가능한가요?
11:40 영상 후반부에서 언급한 스크래핑 브라우저를 사용하시면 됩니다.
사용법은 비슷하며 며칠내로 사용법에 대한 영상이 업로드될 예정입니다.