Curso Big Data con Python y Spark - De Cero a Heroe
ฝัง
- เผยแพร่เมื่อ 12 ก.ค. 2024
- Curso big data con python y pyspark. Aprenderas big data analisis de datos con python. Desde Cero!
- Curso Programacion Python: • Curso Programacion Pyt...
- Curso Inteligencia Artificial con Python: • Curso Inteligencia Art...
Linea de Tiempos:
00:00 Instalando Python con Anaconda
05:32 Instalando JAVA JDK y JRE
08:36 Instalando Spark
15:05 Sets de Peliculas
18:26 Primer Programa Spark
22:14 Introduccion a Spark
28:10 Teoria de RDD
38:09 Analisis Primer Programa Spark
44:41 Teoria Par CLAVE/VALOR
54:34 Actividad - Amigos Promedio
57:13 Filtro de RDD
01:03:39 Actividad - Temperatura Minima del Clima
01:05:37 Avtididad - Temperatura Maxima del Clima
01:08:14 Conteo de Ocurrencias con Flatmap
01:12:54 Mejorando programa Flatmap con REGEX
01:17:54 Clasificacion de Resultados
01:22:21 Actividad - Pelicula mas popular
01:25:44 Variables Broadcast
01:33:49 Teoria Conteo Ocurrencias
01:41:19 Actividad - Heroe mas popular
01:43:01 Busqueda Breadth First
01:53:30 Actividad - Busqueda Breadth First
01:57:23 Filtrado Colaborativo
02:08:33 Actividad - Filtrado Colaborativo
02:10:03 Teoria Elastic MapReduce
02:15:17 Particiones en un Cluster
02:20:29 Peliculas similares con Big Data
02:29:10 Diagnostico de Averias
02:31:15 Machine Learning con Spark
02:36:29 Recomendaciones con MLLIB
![Curso de Data Science en Python Desde Cero [2022]](http://i.ytimg.com/vi/zAIWnwqHGok/mqdefault.jpg)
proximamente verremos como crear aplicaciones web con Django, API's con inteligencia artificial, y React
Estaría bien que nos enseñarás a como crear un chatbot profesional para Whatsapp.... Saludos. 💪✌️
Emocion con redux o react ya que tu detallas muy bien todo que con tigo se aclara todo al aprender💪
Donde encontrar el archivo que indicas en el video para window? me puedes colaborar?
Es el primer video tuyo que veo y ya siento que te amo.
Excelente clase!! Muy bien explicado y engancha bastante la forma en la que explicas 🤗💖
este es el segundo video que veo y déjame decirte que están geniales !! muy claros :)
Me alegra mucho oir eso Diego! espero subir mas contenido pronto
Te felicito por este curso. Muchas gracias, me encantó amigo! 👏👏👏
Buenos temas, ojalá puedas sacar mas contenido como este y algo de scala estaría bueno!
Gracias!
Espectacular video, muchas gracias. Saludos desde Chile.
Tienes una voz super relajante, me ha gustado el tutorial!! Esperando más 💓
Que buen video crack!
Excelente material, muy claro, muy fácil de entender, suscriptor nuevo por acá!
Excelente curso Eric!!, Muchas Gracias!! Te Felcito eres muy buen didacta!!
Gracias luis! seguire subiendo mucho mas pronto
Muchas gracias por enseñar, aprendo mucho cada vez que veo tus videos
me alegra bastante oir eso mauricio!
Estimado héroe anónimo de youtube, Gracias!!!
la explicación que das en menos de 3 horas es mejor que la que da mi profesor de máster de Big Data en toda la asignatura. Me encantan tus vídeos. Gracias de todo corazón por la ayuda
sigueme en mi canal @ericelnomada :D asi ya no sere anonimo
@@SoloPython El archivo de excel?
de favor
Muchas gracias por compartirnos tu conocimiento, sigue así!
saludos ian! Prmeto pronot retomat rlos vlogs diarios, me tome un descanso para enfocarme en esto un rato
Hola, muchas gracias por la contribución. Ya no veo el archivo winutils que mencionas en el minuto 12:00, si lo puedes volver a subir lo agradezco!
Eric el nómada, hace un tiempo vi todo tus videos de IA muchas gracias, ahora inicio con spark , siento que sigo tus pasos XD. muchas gracias nuevamente.
un gusto oir eso gian franco !!!
Te amo, eres un super héroe.
Antes de hacer mi examen técnico donde me preguntaran Spark (por el momento npi) apenas veré big data este semestre que se aproxima y necesito aprender spark antes sí o sí. Lo veré, haré la técnica y espero me vaya muy bien.
Qué novedades?:o
Excelente video ¡¡ mil gracias 🤪
Gracias por compartir tu conocimiento, lo explicas muy bien, saludos
un gusto byron! me alegra mucho oirlo
Excelente curso Eric, gracias por tan buen curso. Siguiendo tus pasos bro
que honor marco!
Excelente clase muy bien explicado, gracias bro, saludos.
saludos alex!!
Muchas gracias crack! De a poco me estoy metiendo en este mundillo.
que bueno gonza!! subire mucho mas contenido que te ayudara bastante
@@SoloPython Muchas gracias!
Continúa así hermano, vas muy bien, pronto alcanzarás tus objetivos
ojala!
muchas gracias por tan valiosa información.
muy pronto subire mas :) mucho mas!
Te amo Erick eres el mejor la netaa🐍👁
muchas gracias por este aporte amigo 👍
Excelente 👏 👏 👍 Amigo Eric Alexander; mi agradecimiento por compartir tus conocimientos. Tienes un subscriptor más y sigo al pendiente.
Un saludo desde Medellín, Colombia.
Gracias antonio! Bienvenido a la comunidad :) pronto empezare a subir todo sobre desarrollo web con python, sera muy divertido
@@SoloPython Maravillosa noticia ¿será con Flask, FastAPI o django?; de nuevo mi agradecimiento.
Ya respondiste: 'web con Django, API's con inteligencia artificial, y React'
@@antoniovalderrama7080 Django, Django Rest Framework, Docker, React / VueJS, Tailwind
Eres el mejor, gracias por subir esta joya
que bueno!, gracias tio!
Great video as always!
Muchas gracias amigo
Muy buena la clase. Sabes como programar gis para analizar datos especiales con Python, para poder graficar suelos, usando arcmap y su entorno, es decir zonas con más concentración de 'algo'? Saludos!
Hermano eres el mejor broooo
nuevo seguidor, excelente canal bro
gracias ricardo!
¡Gracias!
It's working thanks my friend
You are my hero!
Está epico, mereces mas subscriptores
pronto :) debo subir mas seguido
Estimado Eric:
Estoy estudiando Spark bajo Windows con vuestros videos y son muy claros. No hay otros videos en español y lo vuestro es muy didáctico. En estos momentos estoy en FILTER().
Tu mencionas que "filtraremos todo que no sea TMIN". Estas diciendo que filtrarás todo menos TMIN. Luego dices que con lambda filtraras TMIN.
No me mal interpretes por favor, solo es una cuestión semántica, para que no confunda a quienes somos novatos en la informática.
Muy agradecido por ser tan gentil, por ser nuestro Mecenas ya que nos das algo de manera desinteresada, me refiero a que solo recibes nuestras gracias y nuestras bendiciones, para que te vaya muy bien en todo lo que emprendas.
muchas gracias Juan! Prestare mas atencion a lo que digo a futuro :)
Hola! muy didactico para explicar! consulto, estaran disponibles los archivos .py que se usaron de ejemplo para descargar?
Ojalá después saques un curso en tu página de big data avanzado! Y temas de inteligencia artificial, NLP.
GRACIAS!
si! eso hare en vudera
@@SoloPython Manejas algún descuento en tus cursos de datadosis?
gracias!
Hola hermano, excelente explicación, pero falta crear la variable de entorno para Haddop_home, revisalo please..!!
muchas gracias x el video, alguna actualización de los datasets?
Donde puedo encontrar los recursos del curso?
BUENÍSIMOOOOOOOOOOO, mucho mejor que el profe de la u xd
Siiii! :D que honor
Hola, disculpa por preguntar algo como esto, pero quizás me puedas dar un consejo u orientar. Quiero realizar un detector del estado de una maquina (0 y 1) en base a el comportamiento de una grafica (buscar una tendencia), que me recomiendas?
bua chaval! pedaso de tutorial para dormir como leon!!
Hola! Muchas gracias por compartir el video! Una consulta, de donde sale el archivo contador_ragings del minuto 20:10 ? muchas gracias!
Excelente video! Java 11 requiere instalar JRE aparte o ya viene incluido en el JDK? Gracias!
instalalo
Mil gracias de antemano por el curso, mira que el check de PATH no se me habilita, saber por que podría ser?
Hola que tal....si o si hay que usar visual studio? o se puede usar jupyter?
Hola! Consulta, los archivos que vas creando en el curso los tenes para descargar?
love that shit
:D
muchas gracias... oye sabes tambien para aplicaciones financieras?
si, te prometo traer tutoriales sobre todo eso ya que es exactamente lo que estoy creando con ethereum
Holla, cuando intento ejecutar 'pyspark' en el prompt recibo el seguinte mensaje. Sabéis o qué devo hacer?
Exception: Java gateway process exited before sending its port number
(Tiengo el Java y el python instalado. Así como 'environment variable' configurado)
Gracias por el video ! donde esta el winutils? no veo el enlace
En el tiempo de video 50:57 me surgió una duda en la línea 10 del código, le pregunté a Bard y quedé más perplejo, aquí la pregunta que le hice y lo que me respondió:
Mi pregunta a Bard:
cómo funciona rdd.mapValues(lambda x: (x,1)) donde rdd es un RDD de pySpark que contiene una lista de tuplas del tipo [(33,385), (26,2)]
La respuesta de Bard:
La función mapValues() es una transformación de RDD que se usa para aplicar una función a los valores de un RDD de pares clave-valor. En este caso, la función lambda lambda x: (x,1) toma un argumento x y devuelve una tupla con los valores x y 1.
Por lo tanto, la función rdd.mapValues(lambda x: (x,1)) aplicará la función lambda a los valores de cada tupla en el RDD rdd. El resultado será un nuevo RDD que tendrá la misma estructura que el RDD original, pero con los valores de cada tupla reemplazados por una tupla con el valor original y el número 1.
En el caso específico del RDD rdd que contiene las tuplas [(33,385), (26,2)], el resultado de la función rdd.mapValues(lambda x: (x,1)) será un nuevo RDD que contiene las tuplas [(33,385,1), (26,2,1)].
Hola. En la pagina de Anaconda solo me deja descargar la versión 3,8 y cuando lo abro no me aparece el VS code
Gracias por el curso, podrías hacer un curso de hacking con python
ya tengo uno completo, lo encuentras en udemy. TH-cam no me deja ensenarles a hackear, subire un poco del curso para ver si te animas a tomarlo en udemy o datadosis
@@SoloPython cual es?
tu curso me queda bien para pegarme una siestecilla
Hola, muchas gracias por el curso, me esta saliendo el siguiente error "ImportError: cannot import name 'Sparkconf' from 'pyspark'", me podrias ayudar por favor.
Hola muchas gracias, y el winutils donde lo dejaste?
hola, en donde puedo bajar winutils?
Buenas, se que hace 2 años ya que hiciste el curso, ojalá y me respondas: El curso está enfocado en RDD, una de las abstracciones de Spark, sin embargo existen también los DataFrames, yo en mi trabajo uso esta última supongo que debido a la optimización y velocidad de cálculo de datos masivos que conlleva. Sin embargo eso me deja una duda (que quizá se resuelve en lo que me queda de curso) en que condiciones, y para que soluciones deberíamos usar los RDD? Para crear modelos de IA predictivas por ejemplo? Y para casos en que los datos no estén estructurados, sabes de algún caso mas? Muchas gracias por el curso, me suscribo.
Hola! gracias por el contenido! Donde esta el archivo para windows que dices que dejas en los recursos para descargar?
gracias!
Buen día, el winutils donde lo encuentro??
Gracias de antemano.
Disculpen de donde se descarga el archivo que dice que esta en la parte de recursos en 11:45
encuentras todo en datadosis.com/datasets/#python
Disculpen, de donde puedo obtener el recurso winutils?
Saludos, buen curso. El documento del minuto 11:52 winutils donde lo puedo descargar. Grqacias
bro para cloudflare
no hay algun tut gracias
y de donde descargamos el recurso Winutil?
donde puedo descargar los recursos para culminar con la instalacion de java ?
Donde puedo encontrar el recurso que dices que descarguemos?
holaa, donde está el recurso compartido "winutils" ??
No tienen una imagen de docker que tenga todos eto componentes para asi ejecutar y hacer el curso?
Donde descargo winutils?
x2
Hola , ¿resolvieron su problema? , donde lo descargo ?
@@gianfrancorivaschavez7072 github.com/steveloughran/winutils
seleccionas la version que quieres y dentro de la carpeta bin está el archivo winutils.exe
Hola. Estoy siguiendo tu contenido. Muy interesante y didáctico.
Me encuentro con un problema...no encuentro el recurso para descargar winutils.
Me podrías ayudar?
saludos
x2
x3
Para que me sirve el bit data, si es que uso python?
Gente buen día, quisiera preguntarles algo, que creen que sería una buena idea para realizar de proyecto de grado, es que ando sin ideas, y quisiera consejo de ustedes, muchas gracias.
Hola Eric! te estoy siguiendo y aprendiendo contigo, excelente manera de explicar, mi tesis te lo agradece, una consulta, no me funciono la modificacion del archivo log4j.properties modifique la linea log4j.rootCategory=ERROR, console pero sigue mostrandome todo, alguna solucion? gracias y no dejes de enseñar!!!! tienes algun curso pago de big data?
debe ser porque sigue como TEMPLATE, al guardarlo ponlo como tipo de archivo properties
¿Como descargaste el archivo WinUtils?
@@fernandochavezgaytan6096 pudiste??
tambien lo ocupo xd
hola tienes twitch? o discord? alguna comunidad? te felicito el contenido que subes es de millon!!
Eric el Nomada es la comunidad
¿donde está el recurso winutils?
lo descargas en internet
El curso esta muy bueno y gracias por todo lo que enseñas pero solamente tengo los archivos de las peliculas. Los de la otras actividades no entregas links de nada. El problema es que sin practica no se aprende casi nada y la teoria solo se olvida, en las demas actividades quedo en el aire porque no tengo los archivos que utilizas para ir practicando el codigo y me quede colgado en la actividad de amigos promedio... de ahi en adelante no entiendo casi nada.
Hola! No encuentro el recurso WINUTILS
Estimado Eric: ¿¿¿¿¿¿parsedLine es una palabra reservada?????
no sabria decirte
Cuando big data implementación nifi-hadoop crack
hey Bro tu no vendes cursos megustaria saber por favor
No tienes código fuente para pruebas?
Que bases de datos aprender para este tema de big data ?
saaludos!
postgresql es mi favorita
No pude instalar Java Jdk en Mac. Alguna ayuda?
Buenas Eric, mira, me sale este traceback
File "C:\spark\python\pyspark\shell.py", line 35, in
SparkContext._ensure_initialized() # type: ignore
File "C:\spark\python\pyspark\context.py", line 331, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway(conf)
File "C:\spark\python\pyspark\java_gateway.py", line 108, in launch_gateway
raise Exception("Java gateway process exited before sending its port number")
Exception: Java gateway process exited before sending its port number
cual seria mi error? vi que todos los nombres en las variables de entorno esten como mostras en el video
Saludos desde Paraguay
conf = SparkConf().setMaster("local").setAppName("Contador de ratings")
sc = SparkContext(conf = conf)
sc.setLogLevel("ERROR")
no se si es muy tarde para consultar donde consigo el recurso winutils que muestras en el 11:46
x2
Es este
github.com/cdarlint/winutils
Tengo una pregunta, donde puedo descargar los datasets?
datadosis.com/datasets
@@SoloPython dejó de funcionar, alguna actualización?
Cuando le doy click en launch se abre mi Visual pero no se activa el ambiente de trabajo ni nada, solo se abre visual, como puedo arreglarlo? :(
As a Invoker spammer, I like that YT recommend you always that video lol, wp F5
Hola.... cuando le doy "activate bigdata" me sale lo siguiente "activate" no se reconoce como un comando interno o externo,
programa o archivo por lotes ejecutable. Quien me puede brindar apoyo
debes registrar anaconda en el path , al momento de instalarlo hay una opcion
yo tengo el mismo problema.....pero registre en el path cuando instale anaconda...pero aun asi me sale ese mensaje
Donde puedo conseguir el archivo ?
hola bro, recomiendas algunos libros o cursos de donde has aprendido todo esto? muchas gracias.
Hola! Buenísimo el video. Sólo tengo un problema que espero alguien pueda orientarme.
Al ejecutar el primer programa (contador_ratings.py) me aparece el siguiente error: "Python was not found; run without arguments to install from the Microsoft Store, or disable this shortcut from Settings > Manage App Execution Aliases." Ya investigué en foros y las soluciones que recomiendan es revisar las variables de entorno, verificar que la ruta al interprete de python es correcta e incluso desactivar el shortcut de python desde el administrador de alias de ejecución de aplicaciones de windows. Ya probé todas y sigue apareciendo ese error y no ejecuta el programa. Por el contrario, si ejecuto python por si solo, sí funciona (con el típico hola mundo). Ojalá puedan ayudarme.
Gracias y saludos!
python was not found significa que te olvidaste activaar tu ambiente virtual antes de correr python, Te recomiendoo ver mi curso de introduccion a python primero!
pudiste solucionarlo?
me sale el mismo error. Ya busque por varios días miles de soluciones posibles. Y hasta ahorita sigo sin enocntrar donde esta el error
Lo pudiste solucionar?
Hola buen día, en donde puedo descargar el winutils?
busca en google, winutils . exe
creo que tambien lo tengo disponible en los archivos del curso en datadosis.com/datasets
alguien tiene el winutils?? no sale en la descripcion
escribelo en google y te saldra la descarga, el programa es universalmente conocido