En mi primer trabajo me pidieron automatizar un proyecto donde tenia que scrapear +100 sitios web de noticias, extraer la noticia de sus categorías, hacer páginación pero no sabía javascript, lo hice en python usando el framework scrapy y otras dos bibliotecas de python y justo luego realice un dashboard para luego analizar toda la info aplicando NLP Me trajo recuerdos el video
Gracias por la info colega, me parece útil para para obtener de forma rápida info de distintas fuentes y comparar la veracidad de una información desde distintas fuentes con solo unas pocas lineas, en estos días que la IA se esta usando para crear fakes muy reales, debemos en base a IH buscar crear proyectos libres que permitan a todos tener buen criterio con un porcentaje de veracidad de la info que se publica en las redes....
@@jeroku18 crea un proyecto típico de react y tu html lucirá así, solo un elemento llamado "root". Lo que pasa es que el contenido recién se renderiza a puro javascript (client side rendering), esto hace que los bots y scrappers que llegan a tu web vean solo un html vacío. Los bots no suelen ejecutar js porque necesitarían un navegador, así que nunca podrán ver tu contenido renderizado. Dije junior porque esto son los típicos proyectos que uno hace al inicio, luego va probando cosas como client side rendering o static site generation para ser más "SEO friendly"
Justo estuve este ultimo mes buscando algo a si y no lo habia econtrado, lo estuve armando con cheerio ahora ya tengo algo para hacer el fin de semana, ajjaaj me interesa si es que se puede (legalmente) en un video explicar mas el tema de cambios de ip en servicios online estilo vercel , aws o self hosting
El problema es que eso solo funciona con webs especificamente preparadas para ello, pero ponte que sea una web donde todos los bloques sean puros DIV nomas, y dificilmente haya uno que otro ID que no son usados ni siquiera de forma semantica sino solo por algunas funciones como animaciones o cosas por el estilo. Dudo que ahi pueda funcionar bien ese metodo.
Es que lo queréis todo muy fácil, crack. Este método funciona con casi cualquier web, por muchos divs que tengas. Se puede usar XPath Syntax para conseguirlo. Incluso se pueden hacer fallbacks, búsqueda semántica... He trabajado creando scrappers de compañías de vuelos y al final es cuestión de trabajar. :)
como QA , esperaba que usases selenium con un chrome headless :( una pena.. pero si lo levantas con el gestor de contenedores de webbrowsers zalenium, tienes la capacidad de scrappear en paralelo todo lo que necesites :D una granja facilita de hacer como dirias
Como QA igual necesitas explorar diferentes opciones dependiendo del caso, ya que no existe una bala de plata. No tiene sentido levantar un Chrome Headless con Selenium según para que casos, ya que el coste es muy elevado. Y esta solución lo va a batir muy fácilmente en coste y tiempo. Igualmente hoy en día hay mejores opciones que Selenium, como Playwright, que también te ofrece crear granjas y hacer en paralelo lo que necesitas.
@@midulive no conocía playwright, muchas gracias por el apunte, y disculpa si parece que te estoy discutiendo el video, para nada, creo que aportas mucho valor y mi comentario es por que yo como qa tengo una visión sesgada y se por experiencia que la gente aprende mucho de como funciona la web cuando usas selenium y tienes integraciones con Gestión de tareas, ejecucion de tests plans, coverage, temas de especificación (behave) , y tienes en todos los lenguajes para que no se quede fuera nadie 🙅 no se, es mi humilde pero sincera opinión! Un saludo midu y a seguir!
Trabaje en un sass de cloud hosting muchos años y el sistema de testing lo teníamos com la granja de navegadores, de ahí mi idea, el hacer algo así a pequeña escala me parece muy divertido de explicar, ahora, para que lo usarían la gente ese conocimiento es una película aparte xD
@midulive en mi experiencia, lo que mejor resultados me ha dado en estos casos, es hacer una extension de google, y desde alli hacer peticiones. 1000/minuto.
No es que sea magia, detras de ese archivo esta toda la logica o algoritmo para poder extraer la data ordenada. No soy fan de apoyar librerias de este tipo porque al final se vuelven agujero para ataques de hacker.
Midu que opinas de que TH-cam haya bloqueado todos los bloqueadores de anuncio en todos los navegadores menos en su queridismo Google Chrome? es eso legal? supongo pero menudos perruzos
Es lo que estoy buscando, soy nuevo en el web scraping pero veo que la mayoría usa librerías y frameworks que ya lo hace todo. No puede una persona común y corriente crear su propio web scraper básico y sencillo? Sabes donde puedo obtener más información de web scraper sin librerías?
Like para un curso de scrapping 🎉🎉❤😊
y si puede ser.. que sea de google !! :)
Con css selectors, xpath, usando fetch, axios, cheerio, puppeteer a fondo...estaría top :)
En mi primer trabajo me pidieron automatizar un proyecto donde tenia que scrapear +100 sitios web de noticias, extraer la noticia de sus categorías, hacer páginación pero no sabía javascript, lo hice en python usando el framework scrapy y otras dos bibliotecas de python y justo luego realice un dashboard para luego analizar toda la info aplicando NLP
Me trajo recuerdos el video
hola como estas? ven estoy trabjando en un pruyecto algo parecido, me podrias ayudar con un tema que no entiendo ajaj
Bro
Bro disculpa xomo puedo contactar contigo??
Maravilloso material audiovisual que ha sido de gran utilidad para nuestros nuevos miembros. ¡Te agradecemos por compartirlo!
Madre mia justo estaba aprendiendo playwright para hacer un proyecto.
Gracias Midu
Siempre siempre es un gran gusto ver tu contenido miguel muchas gracias
Gracias. Saludos!
Hola, solo vine a ver cómo se ve el nuevo logo de mi canal 😂. Pero por no dejar: Grande midu!
5:25 AJAJAJSJSJA te amo editor de midu ❤
0:16
Midu: No es tampoco robar; pero casi.
Yo que trabajo de eso: No me quemes 😂
😂😂😂😂 yo creo que este video es el unico que va a valer mas que otros videos de midudev.. que detallazo
Gracias por la info colega, me parece útil para para obtener de forma rápida info de distintas fuentes y comparar la veracidad de una información desde distintas fuentes con solo unas pocas lineas, en estos días que la IA se esta usando para crear fakes muy reales, debemos en base a IH buscar crear proyectos libres que permitan a todos tener buen criterio con un porcentaje de veracidad de la info que se publica en las redes....
Gracias al scraping seguramente fue que Open AI consigio los datos suficientes para entrenar a sus modelos gpt
Gracias por estos truquitos que me dan mas ilusión de seguir aprendiendo
Otra forma mucho mas sencilla de que no bloqueen la IP es utilizar awaits un poco aleatorios para "humanizar" las peticiones.
Eso y usar user agents diferentes sirve… pero muy poco. 😛
Excelente, más contenido de este tipo
mientras tanto la web del junior inmune al extractor:
Soy ese 😎
Maldito next.js
Hahahah
Lo siento gente no entendí, alguien me explica? Porfavor. 😢
@@jeroku18 crea un proyecto típico de react y tu html lucirá así, solo un elemento llamado "root". Lo que pasa es que el contenido recién se renderiza a puro javascript (client side rendering), esto hace que los bots y scrappers que llegan a tu web vean solo un html vacío. Los bots no suelen ejecutar js porque necesitarían un navegador, así que nunca podrán ver tu contenido renderizado. Dije junior porque esto son los típicos proyectos que uno hace al inicio, luego va probando cosas como client side rendering o static site generation para ser más "SEO friendly"
Justo estuve este ultimo mes buscando algo a si y no lo habia econtrado, lo estuve armando con cheerio ahora ya tengo algo para hacer el fin de semana, ajjaaj
me interesa si es que se puede (legalmente) en un video explicar mas el tema de cambios de ip en servicios online estilo vercel , aws o self hosting
Midu nunca descansas hahahah :D
En el minuto 1:34 selecciona el link de la imagen y lo abre al parecer con un shortcode de teclado en una nueva ventana. Alguien sabe como se hace?
Guay guay!!! Esto mola.....
😊😊😊
Muy bueno Midu.
Que grande!!Muchas gracias!
A ti por comentar!! 🥹
Gran video! ¿Para cuando una clase de Hacking ético? 😊
El problema es que eso solo funciona con webs especificamente preparadas para ello, pero ponte que sea una web donde todos los bloques sean puros DIV nomas, y dificilmente haya uno que otro ID que no son usados ni siquiera de forma semantica sino solo por algunas funciones como animaciones o cosas por el estilo. Dudo que ahi pueda funcionar bien ese metodo.
Es que lo queréis todo muy fácil, crack. Este método funciona con casi cualquier web, por muchos divs que tengas. Se puede usar XPath Syntax para conseguirlo.
Incluso se pueden hacer fallbacks, búsqueda semántica...
He trabajado creando scrappers de compañías de vuelos y al final es cuestión de trabajar. :)
¿Porque algunas veces funciona y otras no?? Me devuelve null, en cambio en la web le meto la url y si me lo devuelve el json
no deja acceder a recursos como imagenes si tiene CROSS activado
Muy bueno para hacking web! Gracias!
Quiero hacer un trabajo para mi Uni sobre este tema pero no se si es legal o ilegal aplicarlo en el hambito educativo
por que utiliza bun para instalar paquetes de npm
Porque es más rápido y también funciona como gestor de paquetes de Node
Sí está público en internet no es robar. Finalmente todas las páginas de noticias hacen lo mismo.
alguien sabe que otras opciones existen en caso de que los dominios bloqueen el web scrapping por medio de sus robots.txt?
se puede hacer scraping a las redes sociales con eso ?
Como se hace lo del cambio de rango de ips? Pasen tip
Jamas pude entrar a esa librería de Node ni usar el código.. No sé si alguien tendría la URL de Extractor Tools por favor?
como QA , esperaba que usases selenium con un chrome headless :( una pena.. pero si lo levantas con el gestor de contenedores de webbrowsers zalenium, tienes la capacidad de scrappear en paralelo todo lo que necesites :D una granja facilita de hacer como dirias
Como QA igual necesitas explorar diferentes opciones dependiendo del caso, ya que no existe una bala de plata.
No tiene sentido levantar un Chrome Headless con Selenium según para que casos, ya que el coste es muy elevado. Y esta solución lo va a batir muy fácilmente en coste y tiempo.
Igualmente hoy en día hay mejores opciones que Selenium, como Playwright, que también te ofrece crear granjas y hacer en paralelo lo que necesitas.
@@midulive no conocía playwright, muchas gracias por el apunte, y disculpa si parece que te estoy discutiendo el video, para nada, creo que aportas mucho valor y mi comentario es por que yo como qa tengo una visión sesgada y se por experiencia que la gente aprende mucho de como funciona la web cuando usas selenium y tienes integraciones con Gestión de tareas, ejecucion de tests plans, coverage, temas de especificación (behave) , y tienes en todos los lenguajes para que no se quede fuera nadie 🙅 no se, es mi humilde pero sincera opinión! Un saludo midu y a seguir!
Trabaje en un sass de cloud hosting muchos años y el sistema de testing lo teníamos com la granja de navegadores, de ahí mi idea, el hacer algo así a pequeña escala me parece muy divertido de explicar, ahora, para que lo usarían la gente ese conocimiento es una película aparte xD
@midulive en mi experiencia, lo que mejor resultados me ha dado en estos casos, es hacer una extension de google, y desde alli hacer peticiones. 1000/minuto.
Que usas?
@@root4040 hago extensiones de Chrome ,,😎
Pero esta forma tan sencilla solo sirve para artículos ?
existe alguna preferencia de hacer web scraping con python o bien con javascript?
Es totalmente igual de hecho es mejor con python
que crack
Midu como haces para que te haga autocompletado en la consola?
Tabulador
@@marcossaravia8577 si pero me refiero a que le aparecen sugerencias a medida que va escribiendo, eso sabes si es con algun plugin o setting?
Github copilot, si no me equivoco es lo que usa
@@fervittoTabnine
Me falta más nivel para entenderlo 😢 eso de bun no sabía que existía
Pudiendolo hacer en python, que sentido tiene hacerlo en js?....JS es lentisimo
cha me estoy leyendo algo desde mi localhost con este scrapping, muajajaja
Yo lo hago en python, pero nunca eh hecho eso de cambiar de ip.
qué librería usas en python?
@@manny_agre mayormente beautifulsoup
y el link?
la portada de este video se ve sexy
Ou yeah 🥰
Hacete un cursaso de svelte ::$:$
yo lo hago,., es decir lo uso de manera personal para muchas pg xD
hago mi DB y tengo app, movil tv web xD
video, musica, manga etc.. xD
no es robar, es extraer información xD
Like para un curso de PHP
*Lo ahogan en downvotes
Saludame broo
Holi
Esto está bien para páginas como la de cookido de Thermomix y obtener las recetas cuando estés suscrito y no tener que estar pagando todos los años
midudev pirata ? jaaja
minuto 5:31
hola.
No es que sea magia, detras de ese archivo esta toda la logica o algoritmo para poder extraer la data ordenada. No soy fan de apoyar librerias de este tipo porque al final se vuelven agujero para ataques de hacker.
Midu que opinas de que TH-cam haya bloqueado todos los bloqueadores de anuncio en todos los navegadores menos en su queridismo Google Chrome? es eso legal? supongo pero menudos perruzos
Háganlo desde 0 sin librerias, sin pulgins para que aprendan a programar
Es lo que estoy buscando, soy nuevo en el web scraping pero veo que la mayoría usa librerías y frameworks que ya lo hace todo. No puede una persona común y corriente crear su propio web scraper básico y sencillo? Sabes donde puedo obtener más información de web scraper sin librerías?
MiduHacker
😂 no creo que llegue a tanto