Estimado héroe anónimo de youtube, Gracias!!! la explicación que das en menos de 3 horas es mejor que la que da mi profesor de máster de Big Data en toda la asignatura. Me encantan tus vídeos. Gracias de todo corazón por la ayuda
Te amo, eres un super héroe. Antes de hacer mi examen técnico donde me preguntaran Spark (por el momento npi) apenas veré big data este semestre que se aproxima y necesito aprender spark antes sí o sí. Lo veré, haré la técnica y espero me vaya muy bien.
Excelente 👏 👏 👍 Amigo Eric Alexander; mi agradecimiento por compartir tus conocimientos. Tienes un subscriptor más y sigo al pendiente. Un saludo desde Medellín, Colombia.
Eric el nómada, hace un tiempo vi todo tus videos de IA muchas gracias, ahora inicio con spark , siento que sigo tus pasos XD. muchas gracias nuevamente.
Estimado Eric: Estoy estudiando Spark bajo Windows con vuestros videos y son muy claros. No hay otros videos en español y lo vuestro es muy didáctico. En estos momentos estoy en FILTER(). Tu mencionas que "filtraremos todo que no sea TMIN". Estas diciendo que filtrarás todo menos TMIN. Luego dices que con lambda filtraras TMIN. No me mal interpretes por favor, solo es una cuestión semántica, para que no confunda a quienes somos novatos en la informática. Muy agradecido por ser tan gentil, por ser nuestro Mecenas ya que nos das algo de manera desinteresada, me refiero a que solo recibes nuestras gracias y nuestras bendiciones, para que te vaya muy bien en todo lo que emprendas.
Muy buena la clase. Sabes como programar gis para analizar datos especiales con Python, para poder graficar suelos, usando arcmap y su entorno, es decir zonas con más concentración de 'algo'? Saludos!
Buenas, se que hace 2 años ya que hiciste el curso, ojalá y me respondas: El curso está enfocado en RDD, una de las abstracciones de Spark, sin embargo existen también los DataFrames, yo en mi trabajo uso esta última supongo que debido a la optimización y velocidad de cálculo de datos masivos que conlleva. Sin embargo eso me deja una duda (que quizá se resuelve en lo que me queda de curso) en que condiciones, y para que soluciones deberíamos usar los RDD? Para crear modelos de IA predictivas por ejemplo? Y para casos en que los datos no estén estructurados, sabes de algún caso mas? Muchas gracias por el curso, me suscribo.
Hola, disculpa por preguntar algo como esto, pero quizás me puedas dar un consejo u orientar. Quiero realizar un detector del estado de una maquina (0 y 1) en base a el comportamiento de una grafica (buscar una tendencia), que me recomiendas?
En el tiempo de video 50:57 me surgió una duda en la línea 10 del código, le pregunté a Bard y quedé más perplejo, aquí la pregunta que le hice y lo que me respondió: Mi pregunta a Bard: cómo funciona rdd.mapValues(lambda x: (x,1)) donde rdd es un RDD de pySpark que contiene una lista de tuplas del tipo [(33,385), (26,2)] La respuesta de Bard: La función mapValues() es una transformación de RDD que se usa para aplicar una función a los valores de un RDD de pares clave-valor. En este caso, la función lambda lambda x: (x,1) toma un argumento x y devuelve una tupla con los valores x y 1. Por lo tanto, la función rdd.mapValues(lambda x: (x,1)) aplicará la función lambda a los valores de cada tupla en el RDD rdd. El resultado será un nuevo RDD que tendrá la misma estructura que el RDD original, pero con los valores de cada tupla reemplazados por una tupla con el valor original y el número 1. En el caso específico del RDD rdd que contiene las tuplas [(33,385), (26,2)], el resultado de la función rdd.mapValues(lambda x: (x,1)) será un nuevo RDD que contiene las tuplas [(33,385,1), (26,2,1)].
Holla, cuando intento ejecutar 'pyspark' en el prompt recibo el seguinte mensaje. Sabéis o qué devo hacer? Exception: Java gateway process exited before sending its port number (Tiengo el Java y el python instalado. Así como 'environment variable' configurado)
Hola, muchas gracias por el curso, me esta saliendo el siguiente error "ImportError: cannot import name 'Sparkconf' from 'pyspark'", me podrias ayudar por favor.
Buenas Eric, mira, me sale este traceback File "C:\spark\python\pyspark\shell.py", line 35, in SparkContext._ensure_initialized() # type: ignore File "C:\spark\python\pyspark\context.py", line 331, in _ensure_initialized SparkContext._gateway = gateway or launch_gateway(conf) File "C:\spark\python\pyspark\java_gateway.py", line 108, in launch_gateway raise Exception("Java gateway process exited before sending its port number") Exception: Java gateway process exited before sending its port number cual seria mi error? vi que todos los nombres en las variables de entorno esten como mostras en el video Saludos desde Paraguay
Hola. Estoy siguiendo tu contenido. Muy interesante y didáctico. Me encuentro con un problema...no encuentro el recurso para descargar winutils. Me podrías ayudar? saludos
El curso esta muy bueno y gracias por todo lo que enseñas pero solamente tengo los archivos de las peliculas. Los de la otras actividades no entregas links de nada. El problema es que sin practica no se aprende casi nada y la teoria solo se olvida, en las demas actividades quedo en el aire porque no tengo los archivos que utilizas para ir practicando el codigo y me quede colgado en la actividad de amigos promedio... de ahi en adelante no entiendo casi nada.
@@gianfrancorivaschavez7072 github.com/steveloughran/winutils seleccionas la version que quieres y dentro de la carpeta bin está el archivo winutils.exe
Hola.... cuando le doy "activate bigdata" me sale lo siguiente "activate" no se reconoce como un comando interno o externo, programa o archivo por lotes ejecutable. Quien me puede brindar apoyo
Hola Eric! te estoy siguiendo y aprendiendo contigo, excelente manera de explicar, mi tesis te lo agradece, una consulta, no me funciono la modificacion del archivo log4j.properties modifique la linea log4j.rootCategory=ERROR, console pero sigue mostrandome todo, alguna solucion? gracias y no dejes de enseñar!!!! tienes algun curso pago de big data?
Hola! Buenísimo el video. Sólo tengo un problema que espero alguien pueda orientarme. Al ejecutar el primer programa (contador_ratings.py) me aparece el siguiente error: "Python was not found; run without arguments to install from the Microsoft Store, or disable this shortcut from Settings > Manage App Execution Aliases." Ya investigué en foros y las soluciones que recomiendan es revisar las variables de entorno, verificar que la ruta al interprete de python es correcta e incluso desactivar el shortcut de python desde el administrador de alias de ejecución de aplicaciones de windows. Ya probé todas y sigue apareciendo ese error y no ejecuta el programa. Por el contrario, si ejecuto python por si solo, sí funciona (con el típico hola mundo). Ojalá puedan ayudarme. Gracias y saludos!
python was not found significa que te olvidaste activaar tu ambiente virtual antes de correr python, Te recomiendoo ver mi curso de introduccion a python primero!
me sale el mismo error. Ya busque por varios días miles de soluciones posibles. Y hasta ahorita sigo sin enocntrar donde esta el error Lo pudiste solucionar?
ya tengo uno completo, lo encuentras en udemy. TH-cam no me deja ensenarles a hackear, subire un poco del curso para ver si te animas a tomarlo en udemy o datadosis
proximamente verremos como crear aplicaciones web con Django, API's con inteligencia artificial, y React
Estaría bien que nos enseñarás a como crear un chatbot profesional para Whatsapp.... Saludos. 💪✌️
Emocion con redux o react ya que tu detallas muy bien todo que con tigo se aclara todo al aprender💪
Donde encontrar el archivo que indicas en el video para window? me puedes colaborar?
Es el primer video tuyo que veo y ya siento que te amo.
Estimado héroe anónimo de youtube, Gracias!!!
la explicación que das en menos de 3 horas es mejor que la que da mi profesor de máster de Big Data en toda la asignatura. Me encantan tus vídeos. Gracias de todo corazón por la ayuda
sigueme en mi canal @ericelnomada :D asi ya no sere anonimo
@@SoloPython El archivo de excel?
de favor
¡Gracias!
este es el segundo video que veo y déjame decirte que están geniales !! muy claros :)
Me alegra mucho oir eso Diego! espero subir mas contenido pronto
Te amo, eres un super héroe.
Antes de hacer mi examen técnico donde me preguntaran Spark (por el momento npi) apenas veré big data este semestre que se aproxima y necesito aprender spark antes sí o sí. Lo veré, haré la técnica y espero me vaya muy bien.
Qué novedades?:o
Tienes una voz super relajante, me ha gustado el tutorial!! Esperando más 💓
Muchas gracias por enseñar, aprendo mucho cada vez que veo tus videos
me alegra bastante oir eso mauricio!
Continúa así hermano, vas muy bien, pronto alcanzarás tus objetivos
ojala!
Excelente 👏 👏 👍 Amigo Eric Alexander; mi agradecimiento por compartir tus conocimientos. Tienes un subscriptor más y sigo al pendiente.
Un saludo desde Medellín, Colombia.
Gracias antonio! Bienvenido a la comunidad :) pronto empezare a subir todo sobre desarrollo web con python, sera muy divertido
@@SoloPython Maravillosa noticia ¿será con Flask, FastAPI o django?; de nuevo mi agradecimiento.
Ya respondiste: 'web con Django, API's con inteligencia artificial, y React'
@@antoniovalderrama7080 Django, Django Rest Framework, Docker, React / VueJS, Tailwind
Muchas gracias crack! De a poco me estoy metiendo en este mundillo.
que bueno gonza!! subire mucho mas contenido que te ayudara bastante
@@SoloPython Muchas gracias!
Espectacular video, muchas gracias. Saludos desde Chile.
Excelente clase!! Muy bien explicado y engancha bastante la forma en la que explicas 🤗💖
Eric el nómada, hace un tiempo vi todo tus videos de IA muchas gracias, ahora inicio con spark , siento que sigo tus pasos XD. muchas gracias nuevamente.
un gusto oir eso gian franco !!!
Excelente curso Eric!!, Muchas Gracias!! Te Felcito eres muy buen didacta!!
Gracias luis! seguire subiendo mucho mas pronto
Hola, muchas gracias por la contribución. Ya no veo el archivo winutils que mencionas en el minuto 12:00, si lo puedes volver a subir lo agradezco!
lo encontraste?
Que buen video crack!
Excelente material, muy claro, muy fácil de entender, suscriptor nuevo por acá!
Buenos temas, ojalá puedas sacar mas contenido como este y algo de scala estaría bueno!
Gracias!
Estimado Eric:
Estoy estudiando Spark bajo Windows con vuestros videos y son muy claros. No hay otros videos en español y lo vuestro es muy didáctico. En estos momentos estoy en FILTER().
Tu mencionas que "filtraremos todo que no sea TMIN". Estas diciendo que filtrarás todo menos TMIN. Luego dices que con lambda filtraras TMIN.
No me mal interpretes por favor, solo es una cuestión semántica, para que no confunda a quienes somos novatos en la informática.
Muy agradecido por ser tan gentil, por ser nuestro Mecenas ya que nos das algo de manera desinteresada, me refiero a que solo recibes nuestras gracias y nuestras bendiciones, para que te vaya muy bien en todo lo que emprendas.
muchas gracias Juan! Prestare mas atencion a lo que digo a futuro :)
Te amo Erick eres el mejor la netaa🐍👁
Excelente curso Eric, gracias por tan buen curso. Siguiendo tus pasos bro
que honor marco!
Muchas gracias por compartirnos tu conocimiento, sigue así!
saludos ian! Prmeto pronot retomat rlos vlogs diarios, me tome un descanso para enfocarme en esto un rato
Muy buena la clase. Sabes como programar gis para analizar datos especiales con Python, para poder graficar suelos, usando arcmap y su entorno, es decir zonas con más concentración de 'algo'? Saludos!
Eres el mejor, gracias por subir esta joya
Hola muchas gracias, y el winutils donde lo dejaste?
Te felicito por este curso. Muchas gracias, me encantó amigo! 👏👏👏
Donde puedo encontrar los recursos del curso?
Gracias por el video ! donde esta el winutils? no veo el enlace
creo que estoy viendo el video un poco tarde, no encuentro el archivo winutils, gracias por la ayuda crack eres el mejor
bua chaval! pedaso de tutorial para dormir como leon!!
Excelente video ¡¡ mil gracias 🤪
Buen día, el winutils donde lo encuentro??
Gracias de antemano.
Excelente clase muy bien explicado, gracias bro, saludos.
saludos alex!!
Hermano eres el mejor broooo
Gracias por compartir tu conocimiento, lo explicas muy bien, saludos
un gusto byron! me alegra mucho oirlo
BUENÍSIMOOOOOOOOOOO, mucho mejor que el profe de la u xd
Siiii! :D que honor
Está epico, mereces mas subscriptores
pronto :) debo subir mas seguido
Buenas, se que hace 2 años ya que hiciste el curso, ojalá y me respondas: El curso está enfocado en RDD, una de las abstracciones de Spark, sin embargo existen también los DataFrames, yo en mi trabajo uso esta última supongo que debido a la optimización y velocidad de cálculo de datos masivos que conlleva. Sin embargo eso me deja una duda (que quizá se resuelve en lo que me queda de curso) en que condiciones, y para que soluciones deberíamos usar los RDD? Para crear modelos de IA predictivas por ejemplo? Y para casos en que los datos no estén estructurados, sabes de algún caso mas? Muchas gracias por el curso, me suscribo.
Hola! Muchas gracias por compartir el video! Una consulta, de donde sale el archivo contador_ragings del minuto 20:10 ? muchas gracias!
muchas gracias por tan valiosa información.
muy pronto subire mas :) mucho mas!
Mil gracias de antemano por el curso, mira que el check de PATH no se me habilita, saber por que podría ser?
muchas gracias por este aporte amigo 👍
muchas gracias x el video, alguna actualización de los datasets?
Ojalá después saques un curso en tu página de big data avanzado! Y temas de inteligencia artificial, NLP.
GRACIAS!
si! eso hare en vudera
@@SoloPython Manejas algún descuento en tus cursos de datadosis?
gracias!
hola, en donde puedo bajar winutils?
Hola que tal....si o si hay que usar visual studio? o se puede usar jupyter?
Great video as always!
It's working thanks my friend
hola tienes twitch? o discord? alguna comunidad? te felicito el contenido que subes es de millon!!
Eric el Nomada es la comunidad
Hola! muy didactico para explicar! consulto, estaran disponibles los archivos .py que se usaron de ejemplo para descargar?
You are my hero!
nuevo seguidor, excelente canal bro
gracias ricardo!
Hola, disculpa por preguntar algo como esto, pero quizás me puedas dar un consejo u orientar. Quiero realizar un detector del estado de una maquina (0 y 1) en base a el comportamiento de una grafica (buscar una tendencia), que me recomiendas?
En el tiempo de video 50:57 me surgió una duda en la línea 10 del código, le pregunté a Bard y quedé más perplejo, aquí la pregunta que le hice y lo que me respondió:
Mi pregunta a Bard:
cómo funciona rdd.mapValues(lambda x: (x,1)) donde rdd es un RDD de pySpark que contiene una lista de tuplas del tipo [(33,385), (26,2)]
La respuesta de Bard:
La función mapValues() es una transformación de RDD que se usa para aplicar una función a los valores de un RDD de pares clave-valor. En este caso, la función lambda lambda x: (x,1) toma un argumento x y devuelve una tupla con los valores x y 1.
Por lo tanto, la función rdd.mapValues(lambda x: (x,1)) aplicará la función lambda a los valores de cada tupla en el RDD rdd. El resultado será un nuevo RDD que tendrá la misma estructura que el RDD original, pero con los valores de cada tupla reemplazados por una tupla con el valor original y el número 1.
En el caso específico del RDD rdd que contiene las tuplas [(33,385), (26,2)], el resultado de la función rdd.mapValues(lambda x: (x,1)) será un nuevo RDD que contiene las tuplas [(33,385,1), (26,2,1)].
que bueno!, gracias tio!
Qué hacer, si cuando escribo pyspark, el sistema de dice que no lo reconoce?
Excelente video! Java 11 requiere instalar JRE aparte o ya viene incluido en el JDK? Gracias!
instalalo
Hola. En la pagina de Anaconda solo me deja descargar la versión 3,8 y cuando lo abro no me aparece el VS code
Hola, no veo el winutils, dónde quedó?
donde puedo descargar los recursos para culminar con la instalacion de java ?
Muchas gracias amigo
no se si es muy tarde para consultar donde consigo el recurso winutils que muestras en el 11:46
x2
Es este
github.com/cdarlint/winutils
Holla, cuando intento ejecutar 'pyspark' en el prompt recibo el seguinte mensaje. Sabéis o qué devo hacer?
Exception: Java gateway process exited before sending its port number
(Tiengo el Java y el python instalado. Así como 'environment variable' configurado)
hey Bro tu no vendes cursos megustaria saber por favor
Hola hermano, excelente explicación, pero falta crear la variable de entorno para Haddop_home, revisalo please..!!
holaa, donde está el recurso compartido "winutils" ??
bro para cloudflare
no hay algun tut gracias
Donde puedo encontrar el recurso que dices que descarguemos?
Hola, muchas gracias por el curso, me esta saliendo el siguiente error "ImportError: cannot import name 'Sparkconf' from 'pyspark'", me podrias ayudar por favor.
muchas gracias... oye sabes tambien para aplicaciones financieras?
si, te prometo traer tutoriales sobre todo eso ya que es exactamente lo que estoy creando con ethereum
Cuando le doy click en launch se abre mi Visual pero no se activa el ambiente de trabajo ni nada, solo se abre visual, como puedo arreglarlo? :(
Saludos, buen curso. El documento del minuto 11:52 winutils donde lo puedo descargar. Grqacias
Buenas Eric, mira, me sale este traceback
File "C:\spark\python\pyspark\shell.py", line 35, in
SparkContext._ensure_initialized() # type: ignore
File "C:\spark\python\pyspark\context.py", line 331, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway(conf)
File "C:\spark\python\pyspark\java_gateway.py", line 108, in launch_gateway
raise Exception("Java gateway process exited before sending its port number")
Exception: Java gateway process exited before sending its port number
cual seria mi error? vi que todos los nombres en las variables de entorno esten como mostras en el video
Saludos desde Paraguay
conf = SparkConf().setMaster("local").setAppName("Contador de ratings")
sc = SparkContext(conf = conf)
sc.setLogLevel("ERROR")
No tienen una imagen de docker que tenga todos eto componentes para asi ejecutar y hacer el curso?
Hola! Consulta, los archivos que vas creando en el curso los tenes para descargar?
Hola. Estoy siguiendo tu contenido. Muy interesante y didáctico.
Me encuentro con un problema...no encuentro el recurso para descargar winutils.
Me podrías ayudar?
saludos
x2
x3
y de donde descargamos el recurso Winutil?
Disculpen, de donde puedo obtener el recurso winutils?
No tienes código fuente para pruebas?
Hola! No encuentro el recurso WINUTILS
El curso esta muy bueno y gracias por todo lo que enseñas pero solamente tengo los archivos de las peliculas. Los de la otras actividades no entregas links de nada. El problema es que sin practica no se aprende casi nada y la teoria solo se olvida, en las demas actividades quedo en el aire porque no tengo los archivos que utilizas para ir practicando el codigo y me quede colgado en la actividad de amigos promedio... de ahi en adelante no entiendo casi nada.
Disculpen de donde se descarga el archivo que dice que esta en la parte de recursos en 11:45
encuentras todo en datadosis.com/datasets/#python
Donde descargo winutils?
x2
Hola , ¿resolvieron su problema? , donde lo descargo ?
@@gianfrancorivaschavez7072 github.com/steveloughran/winutils
seleccionas la version que quieres y dentro de la carpeta bin está el archivo winutils.exe
No pude instalar Java Jdk en Mac. Alguna ayuda?
tu curso me queda bien para pegarme una siestecilla
Hola.... cuando le doy "activate bigdata" me sale lo siguiente "activate" no se reconoce como un comando interno o externo,
programa o archivo por lotes ejecutable. Quien me puede brindar apoyo
debes registrar anaconda en el path , al momento de instalarlo hay una opcion
yo tengo el mismo problema.....pero registre en el path cuando instale anaconda...pero aun asi me sale ese mensaje
Hola Eric! te estoy siguiendo y aprendiendo contigo, excelente manera de explicar, mi tesis te lo agradece, una consulta, no me funciono la modificacion del archivo log4j.properties modifique la linea log4j.rootCategory=ERROR, console pero sigue mostrandome todo, alguna solucion? gracias y no dejes de enseñar!!!! tienes algun curso pago de big data?
debe ser porque sigue como TEMPLATE, al guardarlo ponlo como tipo de archivo properties
¿Como descargaste el archivo WinUtils?
@@fernandochavezgaytan6096 pudiste??
tambien lo ocupo xd
hola bro, recomiendas algunos libros o cursos de donde has aprendido todo esto? muchas gracias.
me interesa contactarte, tengo archivos Excel que los quiero hacer en una base de datos
Para que me sirve el bit data, si es que uso python?
Estimado Eric: ¿¿¿¿¿¿parsedLine es una palabra reservada?????
no sabria decirte
¿donde está el recurso winutils?
lo descargas en internet
Hola! Buenísimo el video. Sólo tengo un problema que espero alguien pueda orientarme.
Al ejecutar el primer programa (contador_ratings.py) me aparece el siguiente error: "Python was not found; run without arguments to install from the Microsoft Store, or disable this shortcut from Settings > Manage App Execution Aliases." Ya investigué en foros y las soluciones que recomiendan es revisar las variables de entorno, verificar que la ruta al interprete de python es correcta e incluso desactivar el shortcut de python desde el administrador de alias de ejecución de aplicaciones de windows. Ya probé todas y sigue apareciendo ese error y no ejecuta el programa. Por el contrario, si ejecuto python por si solo, sí funciona (con el típico hola mundo). Ojalá puedan ayudarme.
Gracias y saludos!
python was not found significa que te olvidaste activaar tu ambiente virtual antes de correr python, Te recomiendoo ver mi curso de introduccion a python primero!
pudiste solucionarlo?
me sale el mismo error. Ya busque por varios días miles de soluciones posibles. Y hasta ahorita sigo sin enocntrar donde esta el error
Lo pudiste solucionar?
Hola buen día, en donde puedo descargar el winutils?
busca en google, winutils . exe
creo que tambien lo tengo disponible en los archivos del curso en datadosis.com/datasets
Que bases de datos aprender para este tema de big data ?
saaludos!
postgresql es mi favorita
Donde puedo conseguir el archivo ?
Cuando big data implementación nifi-hadoop crack
aquí no aparece el link para descargar el WinUtill, me lo podrían facilitar por favor
Gracias por el curso, podrías hacer un curso de hacking con python
ya tengo uno completo, lo encuentras en udemy. TH-cam no me deja ensenarles a hackear, subire un poco del curso para ver si te animas a tomarlo en udemy o datadosis
@@SoloPython cual es?
Tengo una pregunta, donde puedo descargar los datasets?
datadosis.com/datasets
@@SoloPython dejó de funcionar, alguna actualización?