"Otro" tutorial estupendo para seguir trasteando y aprendiendo con Spark. La duración de los tutoriales es un puntazo porque no acabas saturado y que la lección sea autocontenida facilita mucho las cosas. Muy fan de estos tutoriales.
@@NullSafeArchitect No estoy conforme contigo, los data frame también se procesan en paralelo y de manera distribuida. los RDD salieron con la version Spark 1.0 y posteriormente sacaron los data frames (v1.3) y dasta set (v.16). El uso de los RDD va quedando desfasado. Los Data sets proporcionan lo mejor de RDD y Dataframe: RDD (programación funcional, tipo seguro), DataFrame (modelo relacional, optimización de consultas, ejecución de tungsteno, clasificación y barajado)
@NullSafeArchitect @@istorboi Buenas, así es. Venia buscando una aclaración en los comentarios ya que en este video se dice que solo los RDD se procesan de forma distribuida entre las máquinas del cluster. En la documentación se entiende que la estructura Dataset también se procesa de esta forma, además del resto de estructuras que manipula Spark, junto con las versiones en que se implementó como dice el comentario anterior. Me alegro de haber encontrado la confirmación aqui. Mi comentario es para consolidarla, no para recalcar un error que cualquiera puede cometer al grabar bien por desconocimiento, confusión o distracción. Para completar, además los Dataset también pueden ser almacenados (no solo procesados) de forma distribuida en las memorias del cluster. Gracias por el contenido, esperamos más con mucha ilusión ; ).
muy buenas tus explicaciones, pero creo que deberias hacer el tutorial en jupyter notebook que es la herramienta mas usada para ciencia de datos. Es incomodo verlo en la consola
Creo, sin haberlo compilado ni nada, que lo de hacer el flatMap en el minuto 12:49 es innecesario. Yo creo que te da el mismo resultado si empleas un map. El product_id no es un array ni nada por el estilo, entonces no veo necesario hacer el flatmap. Te va a salir el mismo número de registros lo hagas con map o flatmap, o eso creo. Contestame si puedes, estoy muy intrigado con esto mismo. Entiendo la diferencia entre ambos, pero en este caso concreto creo que no hace falta usar flatmap.
te agradezco por tus videos y los comparto lo más que puedo pero por favor estudia algo de inglés, primero porque todos lo que tu usas está en inglés y segundo porque es triste oirte pronunciar "como se escribe".
Buen día, genial el tema, genial la forma como lo explicas; encontré un error siguiendo el tutorial el lines.collect()...alguna idea? 22/12/15 14:59:12 ERROR Executor: Exception in task 8.0 in stage 12.0 (TID 207) org.apache.spark.api.python.PythonException: Traceback (most recent call last):
Este señor es una bendición
"Otro" tutorial estupendo para seguir trasteando y aprendiendo con Spark. La duración de los tutoriales es un puntazo porque no acabas saturado y que la lección sea autocontenida facilita mucho las cosas. Muy fan de estos tutoriales.
Excelente!!!
Vas a sacar curso de spark en java o Scala?
Sería interesante una comparativa
Muchas gracias Alberto por compartir tus conocimientos con nosotros. Suena bien el video de la API de ML :-)
Me ha encantado Albert, sigue así
Buen video Albert, mucho ánimo y gracias por la info!
Muchas gracias, de gran ayuda.
Éxito!
Genial vídeo amigo
genial tus videos
Excelente tutorial, muy agradecido
Muchas gracias, excelente video
Excelente
Gracias
Me imagino creando un makefile con estos comandos así solo hacemos: make comando y listo, bueno cuando sea aplicable jeje
¿Qué ventajas nos da RDD para procesamiento vs DataFrames?
Los RDD se procesan en paralelo en distintas máquinas del cluster, es mucho mas escalable.
@@NullSafeArchitect No estoy conforme contigo, los data frame también se procesan en paralelo y de manera distribuida. los RDD salieron con la version Spark 1.0 y posteriormente sacaron los data frames (v1.3) y dasta set (v.16). El uso de los RDD va quedando desfasado. Los Data sets proporcionan lo mejor de RDD y Dataframe: RDD (programación funcional, tipo seguro), DataFrame (modelo relacional, optimización de consultas, ejecución de tungsteno, clasificación y barajado)
@NullSafeArchitect @@istorboi Buenas, así es. Venia buscando una aclaración en los comentarios ya que en este video se dice que solo los RDD se procesan de forma distribuida entre las máquinas del cluster. En la documentación se entiende que la estructura Dataset también se procesa de esta forma, además del resto de estructuras que manipula Spark, junto con las versiones en que se implementó como dice el comentario anterior. Me alegro de haber encontrado la confirmación aqui. Mi comentario es para consolidarla, no para recalcar un error que cualquiera puede cometer al grabar bien por desconocimiento, confusión o distracción. Para completar, además los Dataset también pueden ser almacenados (no solo procesados) de forma distribuida en las memorias del cluster. Gracias por el contenido, esperamos más con mucha ilusión ; ).
muy buenas tus explicaciones, pero creo que deberias hacer el tutorial en jupyter notebook que es la herramienta mas usada para ciencia de datos. Es incomodo verlo en la consola
Creo, sin haberlo compilado ni nada, que lo de hacer el flatMap en el minuto 12:49 es innecesario. Yo creo que te da el mismo resultado si empleas un map. El product_id no es un array ni nada por el estilo, entonces no veo necesario hacer el flatmap. Te va a salir el mismo número de registros lo hagas con map o flatmap, o eso creo. Contestame si puedes, estoy muy intrigado con esto mismo. Entiendo la diferencia entre ambos, pero en este caso concreto creo que no hace falta usar flatmap.
Jupyter
te agradezco por tus videos y los comparto lo más que puedo pero por favor estudia algo de inglés, primero porque todos lo que tu usas está en inglés y segundo porque es triste oirte pronunciar "como se escribe".
Buen día, genial el tema, genial la forma como lo explicas; encontré un error siguiendo el tutorial el lines.collect()...alguna idea?
22/12/15 14:59:12 ERROR Executor: Exception in task 8.0 in stage 12.0 (TID 207)
org.apache.spark.api.python.PythonException: Traceback (most recent call last):