Gracias, querido amigo, tu video me ha ayudado mucho. Pasé 3 días comprendiendo un video de 20 minutos))) y finalmente lo logré. Lo más importante es que entendí la esencia de cómo se hace. mil gracias.
Buenísimo el video Javi, gracias por compartir! Muy interesante que aplicaras dos librerías diferentes de web scraping en conjunto para este caso. Ojalá en otros videos pudieras compartir proyectos en los que enfrentaste webs con capchas y baneo.
Buenas Javi, muchísimas gracias por esta joya de vídeo! Trabajo como DS y la verdad, con tus explicaciones claras y concisas, seguiendo paso a paso, y comprendiendo la sintaxis, he podido hacerme con un mini proyecto personal de web scraping. Hasta ahora lo tenía pendiente y gracias a ti, he podido quitarme el gusanillo jejeje Deseando ver los siguientes de machine learnings para poder indagar más en esto. Estaría interesante un vídeo así de web scraping para yahoo finance o en contexto financiero! Un saludo!☀
Gracias a ti Juan! Me alegro de que te haya podido ayudar! Ahora pronto retomo la subida de vídeos. Me apunto tu idea, suena bastante interesante. Un saludo!
Tus videos me ayudan muchisimo Javi pero tengo una duda, para un modelo de machine learning me harian falta como mil casas. Habria alguna manera de meter un proxy para extraer de manera masiva? Gracias!!
Con este método yo he sacado +300 casas de una zona, que eran las disponibles, así que yo creo que puedes sacarlas sin problema estando como está. Gracias a ti!
Hola Javi. Excelente tu aporte. Yo hago arbitraje de crytos y llegué a tu video buscando cómo bajar data de exchanges y bancos que hasta ahora analizo muy manualmente. No tengo nada de conocimiento de programación, pero seguro qué hay cómo bajar esa data a un excel y allí hacer el análisis. Crees que se podría con ésta herramienta? Has hecho algo similar? Sería recontar súper !!! Saludos
Gracias! Claro que se puede hacer con esta herramienta. Se debería programar primero cómo hacerlo y luego se tendría que crear la aplicación (nivel pro!).
Necesitas extraer los datos, y con librerias pandas de python, hacer una hoja de calculo y luego exportarla a excel. Busca acerca de Pandas y ChatGPT funciona muy bien para aprender a usar esa libreria tambien.
@@javidatascience por ejemplo un buscador de vuelos. Hay que ingresar el lugar de origen, de salida, la cantidad de adultos, las fechas etc. Luego aparecería la pagina que uno quiere ver para sacar la información. ¿Me explico bien?
@@matiasfollenti6420 Diría que lo puedes hacer con f strings o poniendo manualmente algunas listas e ir iterando sobre ellas. Si necesitas que un usuario esté escribiendo en alguna parte, tienes que coger esa variable, no se si esto sería por ejemplo con una aplicación web con flask ahí se podría coger esa variable.
Diría que sí pero lo veo algo complejo. Se me ocurren dos opciones: crear una alarma en idealista (opción fácil para que te avisen al correo y luego si quieres lo scrapeas), o la opción mas difícil es hacer esto una vez a la semana y ver cuales han entrado nuevos. Gracias!
@@javidatascience yo lo he conseguido con alertas al correo de nuevos anuncios y dados de bajas pero es todo manual. No se si se podría automatizar. En caso que si cuánto podría cobrarme un informático? Estoy empezando en la programacion y se me escapa jejeje. Muchas gracias
Buenas Javi, qué tal? Estoy estudiando Data Analysis y me interesa mucho el web scrapping. Una pregunta de programación básica: En Jupyter Notebook no están cargadas las bibliotecas que usas en el ejemplo, correcto? Qué bibliotecas son necesarias? Scipy sería sufucuente?
Hola! Las librerías hay que cargarlas al iniciar cualquier notebook. No uso scipy aquí. Las librerías básicas de webscrapping son: Selenium Besutifulsoup Request Y añadiría pandas, pero esto es opcional. Con esto abarcas bastante :)
Yo no diría fácil y sencillo! Lo he visto un poco y me ha dado respeto. Lo tengo en mi lista de cosas a probar. Creo que es más fácil empezar por requests y beautiful soup, y luego saltar a selenium.
Hola Javi, gracias por el video, me fue muy util. Una consulta, veo que usas el módulo undetected_webdriver, sin embargo estás importando varias herramientas de selenium, mi pregutna es, son necesarias o basta con solo importar el undetected webdriver ya que noto que el selenium no lo usas en este caso. Gracias!
Hola, he estado tratando de aplicar tu metodo a walmart sin duda me sirvio mucho tu video pero al buscar los productos y el id, me aparece que esta en una li, todos los productos de donde no me deja extraer los productos :/
Hola ..quiero bajarme estadisticas de futbol (fechas y horas de los partidos).. no tengo idea de programacion .. por favor indicame como debo hacer para conseguir esa informacion .. gracias
Hola!! Pues mira, habría que aprender bastante de python. Cosas a aprender: python basics, numpy, Pandas, beautifulsoup, request... Y con estas cosas podrías montar algo! Contactame al correo si quieres información más en detalle. Tengo en el horno mi bot que predice resultados de partidos de fútbol 🤖
Buenas tardes. Estoy ejecutando el código pero la lista que debe contener los id de los artículos aparece con todos sus valores None. He visto que hay que cambiar id_muebles = [article.get('data-adid') for article in articles] por id_muebles = [article.get('data-element-id') for article in articles] Muchas gracias.
Buenísimo el video , llevaba tiempo buscando algo así . Me ha estado funcionando.....,pero me ha dejado de funcionar. 😮,parece que ya me han detectado, me han bloqueado la ip
Hola, excelente curso, un poco rápido para m icapacidad de retención, ¿si envío el correo me podrias responder con el código? debo hacer un programa que analice desde una web, la afluencia de personas que ingresan a diversas estaciones de u nsistema de transporte local; la página publica cada semana los datos diarios... tengo que hacer una comparación entre todos los días desde 2020 a la fecha para establecer una tendencia y determinar si la afluencia va disminuyendo o aumentado. ¿puedes ayudarme con el código de este video? de antemano gracias
Hola javi. estuve replicando tu codigo para practicar y me abre el navegador de google, pero despues de un rato se cierra y me marca un error [WinError6] controlador no valido y de ahi no avanza, me podrias ayudar?
Gracias Alex! Pues no se cómo lo han hecho exactamente. Lo que se me ocurre es que han cogido la configuración que usa undetected chromedriver y la usan para detectar quién lo está usando y así banearlo. Pero no lo se seguro!
La verdadera pesadilla del Web Scraping es cuando quieres trabajar recopilando datos financieros, me gustaría saber si tienes algún consejo para este tema, páginas como Barrons o Morningstar siempre me acaban bloqueando las IPs
Buenas Javi, muchas gracias por el video!! Estoy intentando seguir tus pasos pero Idealista no me deja acceder, ha cambiado algo de la página web de idealista o estoy haciendo algo mal? Un saludo y muchas gracias
Buenas tardes, gracias por el vídeo. Una pregunta, el primer paso.. donde el programa abre el Google Chrome. En mi caso se abre se cierra inmediatamente. Y me da un error. Sabes si undetected (uc) es compatible con versión pe Python nueva (3.12)? Gracias
Hola Javi, excelente explicación, estaba intentando realizarlo y me sale error cuando corro el script en Google Colab, específicamente en linea " browser = uc.Chrome() ", el error que me sale es TypeError: Binary Location Must be a String
Miguel, ya lo he solucionado. Tienes que descargarte la versión de chromedriver más actualizada, y luego tienes que poner: uc.Chrome(driver_executable_path = 'path/to/chromedriver.exe'). La ruta tienes que modificarla. Me dices si necesitas algo más :)
Hola, en los últimos pasos de parsear inmueble que ya especifica características y demas me deniegan la conexión y pone que max intentos excedidos. Me paso ayer y hoy igual. ¿Que hago?
al intentar entrar a idealista me aparece el captcha y aunque lo haga manualmente no me deja entrar a la pagina, sabes por que ocurre esto? Muchas gracias.👍👍👍
He estado testeando últimamente y estoy casi seguro de que ya han mejorado su sistema de seguridad y no te deja entrar de esta manera... Seguiré probando e informaré!
excelente video, alguien sabe por qué al momento de realizar el import undecteded_Chromedriver as uc, me sale este error: Cell In[4], line 6 4 from selenium.webdriver.support.ui import WebDriverWait 5 from selenium.webdriver.support import expected_conditions as EC ----> 6 import undecteded_Chromedriver as uc 7 import requests ModuleNotFoundError: No module named 'undecteded_Chromedriver'
Haciendo alguna modificación al código para poder sacar el profesional, me han bloqueado. ¿Sabéis cuánto tiempo debe pasar para que me desbloquen?. ¿Se podría añadir al código una lista de proxy para evitar el bloqueo?. Si en lugar de abrir una instancia nueva a chrome, lo tenemos abierto con anterioridad a la ejecución del programa ¿se podría evitar el bloqueo creando una nueva solapa? Gracias.
No recuerdo cuanto tiempo tarda, pero si que es mejor que no sigas por si te banean la ip! Se que hay gente que usa ips rotatorias o proxies, pero yo no he llegado a probarlo.
Hola Javi, Una pregunta. Apenas iniciado el código, (estando en las primeras filas, ni siquiera habiendo llegado a la función), Idealista me baneó. ¿Algún truco para evitarlo? Muchas gracias!
Hola! Intenté realizar web scrapping en una pagina la cual debo loggearme, pero no pude lograrlo. Por alguna razon todas las interacciones que hago antes del loggin para llegar a esa pantalla funcionan, pero cuando quiero seleccionar los inputs y rellenarlos con el usuario y contraseña, no funciona. Pregunta: es probable que la web tenga alguna proteccion anti scrapping y por eso no me deje? Probé de todo y no tuve exito, lo estuve haciendo con JavaScript y Puppeteer. Gracias y un saludo :)
Brutalisimo el vídeo Javi, yo estoy con la API de Idealista descargando datos. Si te interesa podemos hablar y friquear un poco del tema 🤓 Dime y te paso mi número!!!
Me aparece ese error: --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) Cell In[1], line 7 5 import pandas as pd 6 import numpy as np ----> 7 from selenium import webdriver 8 from selenium.webdriver.common.by import By 9 from selenium.webdriver.common.keys import Keys ModuleNotFoundError: No module named 'selenium'
Para el código de este vídeo, suscribete a la newsletter que está en la descripción. Para jupyter, tengo un curso en el que explico todo sobre la introducción a python en mi página web. También puedes encontrar más información online.
![🔴 ฟุตบอลแชมป์กีฬา 7HD แชมเปียน คัพ 2024 [รอบรองชนะเลิศ]](http://i.ytimg.com/vi/zPm8ClLVhoE/mqdefault.jpg)
Gracias, querido amigo, tu video me ha ayudado mucho. Pasé 3 días comprendiendo un video de 20 minutos))) y finalmente lo logré. Lo más importante es que entendí la esencia de cómo se hace. mil gracias.
Que bien! Eso es lo importante, esforzarse y aprender!
Hola Javi, muchísimas gracias por tu generosidad al compartir el proceso para hacer web scraping. Qué genialidad la manera como explicas. mil gracias.
Gracias por las palabras Kenny!
Justo propuse para mi proyecto de IA, una red neuronal que predice precios de casas. Me ayudaste mucho para formar mi data sets! Gracias!
Que bien Luis!! Animo con el proyecto :)
Hola Javi, soy nuevo en lo Web Scraping y quisiera felicitarte para tomarte el tiempo de explicar esto tema.
Muchas gracias amigo!!
Buenísimo el video Javi, gracias por compartir!
Muy interesante que aplicaras dos librerías diferentes de web scraping en conjunto para este caso.
Ojalá en otros videos pudieras compartir proyectos en los que enfrentaste webs con capchas y baneo.
Gracias amigo! Tienes algunos con captchas ya :)
Buenas Javi, muchísimas gracias por esta joya de vídeo!
Trabajo como DS y la verdad, con tus explicaciones claras y concisas, seguiendo paso a paso, y comprendiendo la sintaxis, he podido hacerme con un mini proyecto personal de web scraping. Hasta ahora lo tenía pendiente y gracias a ti, he podido quitarme el gusanillo jejeje
Deseando ver los siguientes de machine learnings para poder indagar más en esto.
Estaría interesante un vídeo así de web scraping para yahoo finance o en contexto financiero!
Un saludo!☀
Gracias a ti Juan!
Me alegro de que te haya podido ayudar!
Ahora pronto retomo la subida de vídeos. Me apunto tu idea, suena bastante interesante.
Un saludo!
MUY buen video! Vi varias personas intentando explicar con diversos métodos, pero nadie lo hizo tan claro y conciso como vos. +1 suscriptor!!!
Me alegro de que te haya servido, muchas gracias Mauro!!
Excelente video, muy bien explicado. Gracias!!
Gracias Mariano!
Tenía un proyecto ahí guardado más de un año porque no pasaba de un punto, vi tu video y me dieron varias ideas y lo logré. Gracias.
Me alegro mucho Edwin!!
Gracias, un trabajo espectacular.
Gracias Vicente!
Muy bien explicado Javi, gracias por estas aportaciones
Gracias Santos!!
Espectacular, Javier, gracias!!
Gracias Luis!!
Excelente......
Gracias!!
Muy bueno Javi!, estoy arrancando y me sirvió un montón.
Gracias Diego!!
Tus videos me ayudan muchisimo Javi pero tengo una duda, para un modelo de machine learning me harian falta como mil casas.
Habria alguna manera de meter un proxy para extraer de manera masiva?
Gracias!!
Con este método yo he sacado +300 casas de una zona, que eran las disponibles, así que yo creo que puedes sacarlas sin problema estando como está.
Gracias a ti!
Hola Javi. Excelente tu aporte. Yo hago arbitraje de crytos y llegué a tu video buscando cómo bajar data de exchanges y bancos que hasta ahora analizo muy manualmente.
No tengo nada de conocimiento de programación, pero seguro qué hay cómo bajar esa data a un excel y allí hacer el análisis.
Crees que se podría con ésta herramienta? Has hecho algo similar? Sería recontar súper !!! Saludos
Gracias!
Claro que se puede hacer con esta herramienta. Se debería programar primero cómo hacerlo y luego se tendría que crear la aplicación (nivel pro!).
Necesitas extraer los datos, y con librerias pandas de python, hacer una hoja de calculo y luego exportarla a excel. Busca acerca de Pandas y ChatGPT funciona muy bien para aprender a usar esa libreria tambien.
¡Excelente video! me sirvió muchísimo para armar mis propias bases de datos y luego practicar con estas en mis proyectos de machine learning
Me alegro de que haya gustado y servido Mateo!!
Me encantó la explicación.Muchas gracias❤
Gracias a ti!!
Hola Javi, excelente video! tengo una duda? Como haces cuando la url tiene datos que ingresas por teclado por ejemplo?
Gracias Matías! No entiendo bien la pregunta, dame más datos si quieres :)
@@javidatascience por ejemplo un buscador de vuelos. Hay que ingresar el lugar de origen, de salida, la cantidad de adultos, las fechas etc. Luego aparecería la pagina que uno quiere ver para sacar la información. ¿Me explico bien?
@@matiasfollenti6420 Diría que lo puedes hacer con f strings o poniendo manualmente algunas listas e ir iterando sobre ellas. Si necesitas que un usuario esté escribiendo en alguna parte, tienes que coger esa variable, no se si esto sería por ejemplo con una aplicación web con flask ahí se podría coger esa variable.
Fantástico video. Una duda. Se podría crear un programa para ver qué anuncios entran nuevos o se dan de baja en una zona en concreto??
Diría que sí pero lo veo algo complejo. Se me ocurren dos opciones: crear una alarma en idealista (opción fácil para que te avisen al correo y luego si quieres lo scrapeas), o la opción mas difícil es hacer esto una vez a la semana y ver cuales han entrado nuevos.
Gracias!
@@javidatascience yo lo he conseguido con alertas al correo de nuevos anuncios y dados de bajas pero es todo manual. No se si se podría automatizar. En caso que si cuánto podría cobrarme un informático? Estoy empezando en la programacion y se me escapa jejeje. Muchas gracias
Eso si quieres lo hablamos! Mándame un correo a javidatascience@gmail.com y vemos qué podemos hacer.
maravilloso, felicidades !
Gracias Juan!
espectacular.... muchas gracias.....
Gracias Carlos!
Muy bien explicado, muchas gracias!! 🤗🤗
Gracias Walter!
Buenas Javi, qué tal? Estoy estudiando Data Analysis y me interesa mucho el web scrapping. Una pregunta de programación básica: En Jupyter Notebook no están cargadas las bibliotecas que usas en el ejemplo, correcto? Qué bibliotecas son necesarias? Scipy sería sufucuente?
Hola! Las librerías hay que cargarlas al iniciar cualquier notebook.
No uso scipy aquí.
Las librerías básicas de webscrapping son:
Selenium
Besutifulsoup
Request
Y añadiría pandas, pero esto es opcional.
Con esto abarcas bastante :)
hola javii, tengo muchas dudas desde el principio… como obtengo jupiter y como consigo esos codigos..
Hola Javi y si quisieramos que el scraper pulsara sobre el botón de "Ver teléfono" y guardara el número de telefono después que harías?
Pues seguiría la misma estrategia que sigo en el video! Inspeccionaría en el html donde está y lo cojo con bs4. Con eso estaría ;)
Hola Javi, estoy comenzando en el web scrapping. Que libreria me recomendarias si quiero pasar codigos captcha
No soy experto en tema captchas, pero hay una librería que se llama 2captcha-python que dicen que funciona bien!
@@javidatascience genial, muchas gracias. Voy a probarlo
MUY buen video, enhorabuena. Jave: es posible hacer eso dentro del colab? saludos
Gracias!! Creo que no es posible. Selenium no es muy compatible con Colab.
Fantástico !! Un gran trabajo
Gracias amigo! Un abrazo!
Buenas Javi, estoy creando un proyecto y todo esto que haces me podría ayudar mucho. Como puedo contactar contigo? Un saludo!!
Buenas Joan! Escríbeme a este correo: javidatascience@gmail.com
Excelente! Muy claro y todo bien explicado. Felicitaciones!
Muchas gracias Fabricio!!
Gran trabajo Javi.
He escuchado q Scrapy es mas fácil y sencillo para el Web Scraping. Que hay de verdad en ello???
Yo no diría fácil y sencillo! Lo he visto un poco y me ha dado respeto. Lo tengo en mi lista de cosas a probar. Creo que es más fácil empezar por requests y beautiful soup, y luego saltar a selenium.
Hola Javi, gracias por el video, me fue muy util. Una consulta, veo que usas el módulo undetected_webdriver, sin embargo estás importando varias herramientas de selenium, mi pregutna es, son necesarias o basta con solo importar el undetected webdriver ya que noto que el selenium no lo usas en este caso. Gracias!
Buena pregunta. Ahora mismo no estoy seguro si haría falta, pero bueno está bien dejarlo mencionado :)
Tambien me pregunto eso
Hola, he estado tratando de aplicar tu metodo a walmart sin duda me sirvio mucho tu video pero al buscar los productos y el id, me aparece que esta en una li, todos los productos de donde no me deja extraer los productos :/
También puedes sacar los li! Busca en Internet y lo encontrarás :)
Nuevo sup aprendo mucho
Gracias amigo!
Excelente vídeo, Javi
Muchas gracias Axel!
Hola ..quiero bajarme estadisticas de futbol (fechas y horas de los partidos).. no tengo idea de programacion .. por favor indicame como debo hacer para conseguir esa informacion .. gracias
Hola!! Pues mira, habría que aprender bastante de python. Cosas a aprender: python basics, numpy, Pandas, beautifulsoup, request... Y con estas cosas podrías montar algo! Contactame al correo si quieres información más en detalle. Tengo en el horno mi bot que predice resultados de partidos de fútbol 🤖
575 subs genio y explicas bien ! yo creo que deberías hacer mas video y mas seguido puedes llegar a muchísimo mas, se tu mismo y se original asi
Muchas gracias Gastón!! Volveré a subir video muy pronto :)
Buenas tardes. Estoy ejecutando el código pero la lista que debe contener los id de los artículos aparece con todos sus valores None.
He visto que hay que cambiar
id_muebles = [article.get('data-adid') for article in articles]
por
id_muebles = [article.get('data-element-id') for article in articles]
Muchas gracias.
Muy bien visto! Esto ayudará a alguno que se atasque con esto. Deben haber cambiado esa parte de la web.
Muchisimas gracias
Gracias a ti Esteban!
Excelente video, un saludo
Muchas gracias por tus palabras Angeles!!
Excelente, muy bien explicado!
Muchas gracias amigo!!
Se oye muy bajito, ¿puedes subir el volumen al video?gracias.
Una bestialidad lo tuyo hermano.
Gracias Matías!
Excelente video🎉
Gracias Cristian!
Buenísimo el video , llevaba tiempo buscando algo así . Me ha estado funcionando.....,pero me ha dejado de funcionar. 😮,parece que ya me han detectado, me han bloqueado la ip
Si! A todos nos acaba pansando...
Hola, excelente curso, un poco rápido para m icapacidad de retención, ¿si envío el correo me podrias responder con el código? debo hacer un programa que analice desde una web, la afluencia de personas que ingresan a diversas estaciones de u nsistema de transporte local; la página publica cada semana los datos diarios... tengo que hacer una comparación entre todos los días desde 2020 a la fecha para establecer una tendencia y determinar si la afluencia va disminuyendo o aumentado. ¿puedes ayudarme con el código de este video? de antemano gracias
Hola Alfredo! Metete en el link de la descripción y pon tu correo. Se te enviará el código de este vídeo. Un saludo!
no detectan los eventos de click ?
Como puedo detectar un scraping
Hola Javi Consulta el codigo python para ejecutar webdriver es compatible con cualquier version de google Chrome ?
Hay que indicar el chromedriver que estás usando dentro del uc.Chrome(). Con eso, debería funcionar!
Hola javi. estuve replicando tu codigo para practicar y me abre el navegador de google, pero despues de un rato se cierra y me marca un error [WinError6] controlador no valido y de ahi no avanza, me podrias ayudar?
Será a lo mejor que no tienes el chromedriver instalado? Prueba a ver si funciona.
Seria muy util compartir el codigo para praticar. gracias
Lo tienes en la descripción!
Que me dices Javi matico jajajajaj, buen video!. He visto que lo han hecho más difícil para poder entrar, has descubierto como?
Gracias Alex!
Pues no se cómo lo han hecho exactamente. Lo que se me ocurre es que han cogido la configuración que usa undetected chromedriver y la usan para detectar quién lo está usando y así banearlo. Pero no lo se seguro!
Top player man!
Thanks!! ;)
La verdadera pesadilla del Web Scraping es cuando quieres trabajar recopilando datos financieros, me gustaría saber si tienes algún consejo para este tema, páginas como Barrons o Morningstar siempre me acaban bloqueando las IPs
Se de gente que alterna ips, pero yo no he llegado a ese punto. Prueba a investigar por ahí!
Usa proxys rotativos proxy seller te ayuda con eso son IP rotativas de empresa
Buenas Javi, muchas gracias por el video!! Estoy intentando seguir tus pasos pero Idealista no me deja acceder, ha cambiado algo de la página web de idealista o estoy haciendo algo mal? Un saludo y muchas gracias
Gracias Alberto! Idealista ya ha cambiado su sistema de seguridad y no se puede acceder :(
There is any alternative? I have tryed also with seleniumbase without success. Thanks
@@javidatascience
Buenas tardes, gracias por el vídeo. Una pregunta, el primer paso.. donde el programa abre el Google Chrome. En mi caso se abre se cierra inmediatamente. Y me da un error. Sabes si undetected (uc) es compatible con versión pe Python nueva (3.12)? Gracias
Creo que si. A lo mejor tienes que indicar el path del chromedriver de tu versión actual de Chrome!
@@javidatascience gracias por tu respuesta
Hola Javi, excelente explicación, estaba intentando realizarlo y me sale error cuando corro el script en Google Colab, específicamente en linea " browser = uc.Chrome() ", el error que me sale es TypeError: Binary Location Must be a String
Hola Miguel! A mi siempre me ha dado un montón de problemas selenium en Colab. Te recomiendo usarlo desde jupyter!
Interesante Javi, pero tu código con un chrome posterior al 114 da problemas por el chromedriver. ¿Como lo solucionamos?
browser= uc.Chrome() peta
Gracias por decirlo, miraré como actualizarlo!
Miguel, ya lo he solucionado. Tienes que descargarte la versión de chromedriver más actualizada, y luego tienes que poner: uc.Chrome(driver_executable_path = 'path/to/chromedriver.exe'). La ruta tienes que modificarla.
Me dices si necesitas algo más :)
@@javidatascience grande javi! funcionó! en caso de mac funciona sin '.exe'. Solo ruta =)
Hola, en los últimos pasos de parsear inmueble que ya especifica características y demas me deniegan la conexión y pone que max intentos excedidos. Me paso ayer y hoy igual. ¿Que hago?
Idealista ha reforzado bastante su seguridad, ahora es más complicado
Muy crack!
Muchas gracias!!
Muchas gracias ! No he recibido el código cuando puse mi email, tienes también el código en github o algo así ?Muchas gracias
Hola! Substack me la ha jugado, si no te importa, vuelve a suscribirte. Si no te llega, mándame un correo y te lo envío!
al intentar entrar a idealista me aparece el captcha y aunque lo haga manualmente no me deja entrar a la pagina, sabes por que ocurre esto?
Muchas gracias.👍👍👍
He estado testeando últimamente y estoy casi seguro de que ya han mejorado su sistema de seguridad y no te deja entrar de esta manera... Seguiré probando e informaré!
OK muhas gracias 😁😁😁@@javidatascience
excelente video, alguien sabe por qué al momento de realizar el import undecteded_Chromedriver as uc, me sale este error: Cell In[4], line 6
4 from selenium.webdriver.support.ui import WebDriverWait
5 from selenium.webdriver.support import expected_conditions as EC
----> 6 import undecteded_Chromedriver as uc
7 import requests
ModuleNotFoundError: No module named 'undecteded_Chromedriver'
Prueba a hacer pip install undecteded_chrome :)
Haciendo alguna modificación al código para poder sacar el profesional, me han bloqueado. ¿Sabéis cuánto tiempo debe pasar para que me desbloquen?.
¿Se podría añadir al código una lista de proxy para evitar el bloqueo?. Si en lugar de abrir una instancia nueva a chrome, lo tenemos abierto con anterioridad a la ejecución del programa ¿se podría evitar el bloqueo creando una nueva solapa?
Gracias.
No recuerdo cuanto tiempo tarda, pero si que es mejor que no sigas por si te banean la ip!
Se que hay gente que usa ips rotatorias o proxies, pero yo no he llegado a probarlo.
Hola Javi, Una pregunta. Apenas iniciado el código, (estando en las primeras filas, ni siquiera habiendo llegado a la función), Idealista me baneó. ¿Algún truco para evitarlo? Muchas gracias!
He oído algo de una actualización de Chrome. Prueba a meter más segundos por si acaso!
Muy buen video, pero por desgracia ya no funciona esa forma de obtener datos.
Gracias! Si, una pena que ya no funcione
Muy buen vídeo. Sin embargo, con ese método Idealista ahora lo restringe y no sirve. ¿Alguien sabe como saltarse el bloqueo?
Es lo que buscaba, pero nada, has encontrado alguna forma?
Hola! Intenté realizar web scrapping en una pagina la cual debo loggearme, pero no pude lograrlo. Por alguna razon todas las interacciones que hago antes del loggin para llegar a esa pantalla funcionan, pero cuando quiero seleccionar los inputs y rellenarlos con el usuario y contraseña, no funciona. Pregunta: es probable que la web tenga alguna proteccion anti scrapping y por eso no me deje? Probé de todo y no tuve exito, lo estuve haciendo con JavaScript y Puppeteer. Gracias y un saludo :)
Pues me sonaría raro esa protección. Con python usaría selenium, seleccionaria el objeto y usaría send_keys para enviar el texto. A ver si hay suerte!
hola amigo,me da el win error 6 ,alguna solucion?ya tengo bien instalado el driver de chrome
Prueba a reiniciar tras instalar las librerías, a ver si así te funciona!
es un excelente material, lamentablemente no se como correrlo en Deepnote o cualquier otro notebook online :(
Gracias Andrés! Hacer web scraping con Selenium es muy complicado con los notebooks online. Prueba a usarlos en jupyter.
Buenas, buen video, pero me han baneado a la primera de cambio aplicando directamente el código tuyo, habria algo que se pudiese hacer?gracias!
Prueba a meter mas tiempo de espera, a ver si mejora así!
Pero si nos han baneado y ya no nos deja acceder a la pagina web, hay algo que hacer?@@javidatascience
@@JonZubietaAnsorregui si esperas un tiempo te desbloquean
no se si aún contestas este video pero despues de "as" pusiste "uc" y me da error como puedo saber que es "uc"
uc es undetected_chromedriver! Fijate en los imports al principio :)
Has hecho webscraping para sacar comentarios de youtube? hay posibilidad de que me bloqueen la ip o es seguro? saludos
No he probado a hacerlo, pero no creo que te bloqueen!
haces trabajos?
Si! Mandame un correo a javidatascience@gmail.com
Brutalisimo el vídeo Javi, yo estoy con la API de Idealista descargando datos.
Si te interesa podemos hablar y friquear un poco del tema 🤓
Dime y te paso mi número!!!
Claro! Mándame un correo y hablamos!
Me aparece ese error:
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
Cell In[1], line 7
5 import pandas as pd
6 import numpy as np
----> 7 from selenium import webdriver
8 from selenium.webdriver.common.by import By
9 from selenium.webdriver.common.keys import Keys
ModuleNotFoundError: No module named 'selenium'
Tienes que instalar selenium con pip install selenium
Excelente video explicativo!! Muchas gracias!!
Gracias Carolina!
hola javii, tengo muchas dudas desde el principio… como obtengo jupiter y como consigo esos codigos..
Para el código de este vídeo, suscribete a la newsletter que está en la descripción.
Para jupyter, tengo un curso en el que explico todo sobre la introducción a python en mi página web. También puedes encontrar más información online.