Uffffff... gran pregunta!!! Respuesta corta: Si, el data lake puede ser nuestro stage. Hay una gran discusión acerca la mejor forma de implementar una arquitectura Data Warehouse 100% cloud y normalmente se apunta al data lake como un repositorio perfecto para el ataging area, ya que unifica, gran rendimiento, mucho estorage, pocas transformaciones, etc
Excelente vídeo!, es difícil encontrar un curso tan completo sobre Data Warehouse, es como el misterio que pocos se atreven a compartir, y tan fundamental que es para hacer BI de forma eficiente.
Suscrito también!. Lo que me parece de mas valor es que cuenten experiencias propias que han vivido y cómo lidian con ellas para resolver dichos desafíos. Son experiencias que le podrán salvar la vida(el trabajo jaja) a mas de uno.
Hola, quería saber la diferencia entre consumir un Datawarehouse directo desde Power BI o realizar un CUBO OLAP (ROLAP) mediante la modelizacion estrella en SQL Server? Que beneficios o necesidades te obligan a usar SSAS posteriormente a SSIS? Saludos,
Excelente video, felicitaciones y muchas gracias por compartir su tiempo y conocimiento en estas temáticas que para mi son muy interesantes. Sigan así!
Esto es un mundo muy grande pero es bastante entretenido. Hasta antes del video tenía claro el término de origen de datos, proceso ETL, Data Warehouse, Data Mart, OLAP, reporting y un poco Data Mining, hoy se suma stage area, ODS y master DATA ¡Gracias!
Excelente vídeo, muy valiosa información gracias por compartir su experiencia. Se me ha quedado algunas dudas. 1. ¿Cual es lo mejor de cada metodología que debe ser considerado para cubrir sus falencias?, como en el caso que mencionas de Kimball que se crean isla de datos en donde es determinante el expertise del developer ETL para salvar eso. 2. La parte del manejo de la historia de datos. Si se debería llevar la historia o crear una nueva historia, para el caso del vendedor que cambia de departamentos.¿ Cual es lo mas usual que se realiza y/o dependería mas del negocio definir eso?. 3. Que tanto cambiaría la parte de Master Data y ODS, si usara un Datawarehouse en la nube caso Synapse Analytics en Azure u otra nube, se sigue trabajando con estos conceptos/herramientas. Saludos.
Hola, buenas tardes tengo una duda mi profesor me enseña inteligencia de negocios y me enseño a crear un proceso ETL en visual Basic, bueno pues este consistía en que nosotros teníamos una base de datos de origen y lo que hacíamos es pasar esos datos a otra base de datos pero quintándoles algunos datos de las tablas originales en este caso fue NORTHWIND la base de datos de origen y nos quedo como un diagrama estrella la pregunta es si el proceso queda ahí o en que manera uno puede analizar esos datos??
Le faltan algunos pasos en su descripción: Staging Area y el proceso de transformación no es solo remover columnas... pero bueno académicamente hablando funciona. Ahora sobre su pregunta “que sigue?” Pues el componente de Business Intelligences, es decir por lo que le entiendo llegaron hasta crear un “data warehouse”, que por su definición es un almacén de datos, para su aprovechamiento se requiere un motor semántico (SQL Server Analysis Services) y una herramienta de visualización (Excel o PowerBI).
@@BILATAM Si viendo el video de ustedes solo llegamos o pienso yo que solo llegamos a crear un data warehouse. Muchas gracias por responder a mi pregunta. Cuidense mucho.
Una pregunta, estoy por terminar la carrera de marketing, llevo el curso de BI y la verdad que me gusta muchi y quisiera profundizar en ello o quizas dedicarme a ello en el futuro pero mi duda esta si quizas elo esta orientado a mi carrera profesional o mas esta dirigido a otro?, dado que soy algo malo para los números pero soy bueno con las pcs y manejo de tecnologías...
Es decir no es necesario ser informático para ser profesional de BI o Analytics… claro se requiere un reforzamiento, pero toma en cuenta que no es programación por lo no busque programas o cursos enfocados en programación
SAP es toda una historia, porque depende del contrato que ustedes tengan. Por ejemplo algunas empresas tienen acceso directo a la base de datos y otras solo pueden extraer datos por CSV. Pero básicamente la conexión de hace “igual” a cualquier conexión.
Hola, si tengo una dimension de clientes de la empresa o una dimension de tiempo, la mejor practica seria compartir dicha tabla entre los diferentes datamarts, o tener redundancia y crear una tabla aparte para cada datamart (por cuestiones de rendimiento). Gracias..
Muy buena pregunta. Este es uno de los retos más importantes a la hora de diseñar un Data Warehouse. Tenemos que reutilizar las dimenaiones, yo siempre aclaro que los Data Marts son unidades logicas, en realidad el datamart es la visión del área de negocio. No podemos convertir los data marts en islas de información.
Tengo una duda para entender el Master Data y te planteo un ejemplo. En mi sistema transaccional tenemos clientes con varios domicilios , y usualmente cuando se agrega un nuevo domicilio , se crea nuevamente el cliente , talvez con una mayuscula menos , una tilde , mas espacios , con un segundo nombre de mas, pero es el mismo cliente. ¿ Aquí podría utilizar master data ? ¿ que significaria ? , ¿ talvez que deba configurar reglas que identifiquen a estos usuarios o una cosa asi ? , ¿ no tendrias una estructura de Master Data para entenderlo mejor ? , gracias de antemano.
Vamos a ver el Master Data es un repositorio estandarizado de "catalogos". Es decir tablas que han sido validadas y unificadas, es difícil ver clientes como un "catalogo" a menos que tengan un padron electoral o algo así.
@@BILATAM Le entiendo maso menos , en que situación por ejemplo y que tablas usted unificaría , para entenderla mejor. gracias de antemano la molestia.
Una duda adicional amigos , si yo quiero integrar información de un datawarehouse de ventas con los pedidos del día actual (algo así como la data histórica + la data online) , esta data "Online" , ¿ podría estar en el ODS ? , Gracias de antemano , muy buenos vídeos amigos.
La data Online siempre es todo un tema en Data Warehouse. No han respuesta facil y simpre vaa a ser "depende"... porque depende de volumen, infraestructura, etc. Ahora le recomendaría identificar los reportes vs necesidad de tiempo real. Y si una opción es que los datos nerar real time salgan del ODS.
Gracias por compartir tu conocimiento, la verdad estoy muy interesada sobre el tema, pero es difícil conseguir donde me puedan explicar bien sobre el tema, ya que lo necesito para mi trabajo.
Hola. Me gustaria que pongas un ejemplo como crear una staging table para una dimension y para una fact table y como relacionar luego en al cargar la info las claves de referencia que vienen del negocio con los id de las dimensiones. Me confunde eso. Saludos
hola amigo, desde Chile, intento cargar una consulta desde una base de datos a través de una sql command y me aparece este error y no se por que, este es el error : "No se puede procesar la solicitud porque el proceso (1560) ha terminado. (Microsoft.DataTransformationServices.VsIntegration)" por favor me puedes ayudar.
Ya lo resolví, debía cambiar la versión de sql server en el proyecto de 2017 a 2016, espero a alguien le ayude. Saludos desde Chile en caos, pero justamente.
Una duda, sobre el ODS, no me quedo claro, lo que entiendo es que es una repositorio para unificar orígenes de datos, pero además como repositorio para crear cubos de tiempo real en el negocio???, esto es me podrían explicar mejor.
Ok, vamos a hacer varias aclaraciones: El ODS es un repositorio para hacer reportes, con la ventaja de que como los datos ya pasaron por el Staging Area, comparten un mismo motor de datos y tras una "simple" unificación son integrados en el ODS. El ODS "NO es para hacer cubos", los cubos siempre deben ser alimentados de un Data Warehouse. El ODS es opcional dentro de una arquitectura de Data Warhouse. Se dice que el ODS puede ser en "tiempo real" ya que puede ser cargado mucho más rápido que el Data Warehouse.
@@BILATAM Pregunta chicos, lo de la integración de los sources en donde se termina haciendo: 1. ¿En el Staging Area? ó 2. ¿En el Master Data? Lo de Master Data ya lo había leído junto a lo de Data Governance, pero lo de ODS ese si es nuevo, solo que a este último le restaron inmportancia. Como última pregunta ya que mencioné lo de ODS ¿esos reportes que salen son más para IT o directamente para el cliente final? Porque si me genera reportes podrían aplicar algo de BI por adelantado por allí, ya que esta información está un poco en caliente. Gracias y disculpas por las preguntas jaja.
La integración de fuentes de datos es un proceso complejo. El staging area estandarisa todos los fuentes de datos en una sola base de datos (pero aun siguen siendo tablas distintas). Y se usa el Master Data como insumo estandarizado. Y por último es en el ETL el que en la etapa de transformación escribe en el Data Warehouse en las dimensiones (datos estandarizadoa y unificados)
Con respecto al ODS, es una práctica opcional y lo que busca es brindar reportes de usuario sin todo el trabajo que conlleva el Data Warehouse. Ahora todo reporte que se desarrolla con una visión de negocio y estratégica se considera BI (con o sin DW)
Si quieren más videos sobre Data Warehouse, no olviden suscribirse y darle like al video!!!!
Uffffff... gran pregunta!!! Respuesta corta: Si, el data lake puede ser nuestro stage. Hay una gran discusión acerca la mejor forma de implementar una arquitectura Data Warehouse 100% cloud y normalmente se apunta al data lake como un repositorio perfecto para el ataging area, ya que unifica, gran rendimiento, mucho estorage, pocas transformaciones, etc
@@BILATAM 20:50 cuando hablan de ETL & Stage, Stage se refiere a IBM DataStage?
Excelente vídeo!, es difícil encontrar un curso tan completo sobre Data Warehouse, es como el misterio que pocos se atreven a compartir, y tan fundamental que es para hacer BI de forma eficiente.
Gracias Ilich, de verdad es un placer ayudar.
Muchas gracias por tan enriquecida transferencia de conocimientos. Dios los bendiga.
Gracias por aportar al desarrollo del conocimiento. Sus videos son de muchísima ayuda para muchos estudiantes como yo. Saludos desde Ecuador.
Suscrito también!. Lo que me parece de mas valor es que cuenten experiencias propias que han vivido y cómo lidian con ellas para resolver dichos desafíos. Son experiencias que le podrán salvar la vida(el trabajo jaja) a mas de uno.
Mil gracias Luis, ese siempre ha sido la visión del canal.
La verdad estoy muy encantado con este curso una explicación muy concisa y eso me agrada mucho. Exitos para ustedes
Gracias Alexander. Hay que seguirle metiendo amor al curso.
Que bueno encontrar este tipo de videos gracias. Sera base para mi trabajo de titulación que se basa en este tema 💪
Hola, quería saber la diferencia entre consumir un Datawarehouse directo desde Power BI o realizar un CUBO OLAP (ROLAP) mediante la modelizacion estrella en SQL Server? Que beneficios o necesidades te obligan a usar SSAS posteriormente a SSIS? Saludos,
Excelente video, felicitaciones y muchas gracias por compartir su tiempo y conocimiento en estas temáticas que para mi son muy interesantes. Sigan así!
Tengo que retomar el impulso... que ya casi arrancamos con más videos de BI y DW.
Esto es un mundo muy grande pero es bastante entretenido. Hasta antes del video tenía claro el término de origen de datos, proceso ETL, Data Warehouse, Data Mart, OLAP, reporting y un poco Data Mining, hoy se suma stage area, ODS y master DATA ¡Gracias!
Genial Juan. Seguimos adelante
ame sus comentarios, muy divertidos.
Muy buen contenido. Muchas gracias!!!
Gracias, siempre es bueno saber que estamos ayudando
Excelente explicación, gracias por compartir su conocimiento.
Muy bueno, gracias por tomarse el tiempo para hablar de este tema. 👌Espero con ansías los próximos videos!
Hola Brandon. Gracias por el feedback, vamos a dar lo mejor para seguir haciendo este tipo de contenido.
Excelente vídeo, muy valiosa información gracias por compartir su experiencia. Se me ha quedado algunas dudas.
1. ¿Cual es lo mejor de cada metodología que debe ser considerado para cubrir sus falencias?, como en el caso que mencionas de Kimball que se crean isla de datos en donde es determinante el expertise del developer ETL para salvar eso.
2. La parte del manejo de la historia de datos. Si se debería llevar la historia o crear una nueva historia, para el caso del vendedor que cambia de departamentos.¿ Cual es lo mas usual que se realiza y/o dependería mas del negocio definir eso?.
3. Que tanto cambiaría la parte de Master Data y ODS, si usara un Datawarehouse en la nube caso Synapse Analytics en Azure u otra nube, se sigue trabajando con estos conceptos/herramientas.
Saludos.
Exelente curso , mil gracias
Gracias Jhael!!!
Excelentes videos, saludos desde Colombia
Gracias, siempre es bueno saber que estamos ayudando
Gran vídeo, la colaboración estuvo genial. Un abrazo para ambos
Genial este tema, esperamos mas videos SSIS, SSAS y SSRS ya que casi no hay info sobre este tema.
Hola, buenas tardes tengo una duda mi profesor me enseña inteligencia de negocios y me enseño a crear un proceso ETL en visual Basic, bueno pues este consistía en que nosotros teníamos una base de datos de origen y lo que hacíamos es pasar esos datos a otra base de datos pero quintándoles algunos datos de las tablas originales en este caso fue NORTHWIND la base de datos de origen y nos quedo como un diagrama estrella la pregunta es si el proceso queda ahí o en que manera uno puede analizar esos datos??
Le faltan algunos pasos en su descripción: Staging Area y el proceso de transformación no es solo remover columnas... pero bueno académicamente hablando funciona. Ahora sobre su pregunta “que sigue?” Pues el componente de Business Intelligences, es decir por lo que le entiendo llegaron hasta crear un “data warehouse”, que por su definición es un almacén de datos, para su aprovechamiento se requiere un motor semántico (SQL Server Analysis Services) y una herramienta de visualización (Excel o PowerBI).
@@BILATAM Si viendo el video de ustedes solo llegamos o pienso yo que solo llegamos a crear un data warehouse. Muchas gracias por responder a mi pregunta. Cuidense mucho.
Excelente contenido. Gracias.
Una pregunta, estoy por terminar la carrera de marketing, llevo el curso de BI y la verdad que me gusta muchi y quisiera profundizar en ello o quizas dedicarme a ello en el futuro pero mi duda esta si quizas elo esta orientado a mi carrera profesional o mas esta dirigido a otro?, dado que soy algo malo para los números pero soy bueno con las pcs y manejo de tecnologías...
Es decir no es necesario ser informático para ser profesional de BI o Analytics… claro se requiere un reforzamiento, pero toma en cuenta que no es programación por lo no busque programas o cursos enfocados en programación
Te recomiento que invites a alguien que pueda aportar más a lo importante del tema! Saludos, muy buen video. Gracias.
Gracias por el feedback lo tomaremos en cuent
Buen video! me fue de mucha ayuda
Excelente video, pregunta, como se podria extraer informacion de un SAP que no esta en la nube?
SAP es toda una historia, porque depende del contrato que ustedes tengan. Por ejemplo algunas empresas tienen acceso directo a la base de datos y otras solo pueden extraer datos por CSV. Pero básicamente la conexión de hace “igual” a cualquier conexión.
Hola, si tengo una dimension de clientes de la empresa o una dimension de tiempo, la mejor practica seria compartir dicha tabla entre los diferentes datamarts, o tener redundancia y crear una tabla aparte para cada datamart (por cuestiones de rendimiento). Gracias..
Muy buena pregunta. Este es uno de los retos más importantes a la hora de diseñar un Data Warehouse. Tenemos que reutilizar las dimenaiones, yo siempre aclaro que los Data Marts son unidades logicas, en realidad el datamart es la visión del área de negocio. No podemos convertir los data marts en islas de información.
@@BILATAM Gracias :)
Muchas gracias por los videos!
Un gusto Wilmer, siempre es un placer saber que se ayuda
Buenísima explicación maes, muy agradecido.
Gracias Esteban. Siempre es bueno saber que el mensaje está llegando. Pura Vida.
Tengo una duda para entender el Master Data y te planteo un ejemplo. En mi sistema transaccional tenemos clientes con varios domicilios , y usualmente cuando se agrega un nuevo domicilio , se crea nuevamente el cliente , talvez con una mayuscula menos , una tilde , mas espacios , con un segundo nombre de mas, pero es el mismo cliente. ¿ Aquí podría utilizar master data ? ¿ que significaria ? , ¿ talvez que deba configurar reglas que identifiquen a estos usuarios o una cosa asi ? , ¿ no tendrias una estructura de Master Data para entenderlo mejor ? , gracias de antemano.
Vamos a ver el Master Data es un repositorio estandarizado de "catalogos". Es decir tablas que han sido validadas y unificadas, es difícil ver clientes como un "catalogo" a menos que tengan un padron electoral o algo así.
@@BILATAM Le entiendo maso menos , en que situación por ejemplo y que tablas usted unificaría , para entenderla mejor. gracias de antemano la molestia.
Buenos dias, con que herramienta crean estas presentaciones??
Todo es Power Point y un poco de Adobe Illustrador
Una duda adicional amigos , si yo quiero integrar información de un datawarehouse de ventas con los pedidos del día actual (algo así como la data histórica + la data online) , esta data "Online" , ¿ podría estar en el ODS ? , Gracias de antemano , muy buenos vídeos amigos.
La data Online siempre es todo un tema en Data Warehouse. No han respuesta facil y simpre vaa a ser "depende"... porque depende de volumen, infraestructura, etc. Ahora le recomendaría identificar los reportes vs necesidad de tiempo real. Y si una opción es que los datos nerar real time salgan del ODS.
@@BILATAM Muchas gracias, me quedo claro.
👍👍 Muy bueno!!
Gracias por compartir tu conocimiento, la verdad estoy muy interesada sobre el tema, pero es difícil conseguir donde me puedan explicar bien sobre el tema, ya que lo necesito para mi trabajo.
Gracias Sindy!!! Me alegra mucho que podamos ayudar. Un abrazo y gracias por seguirnos.
Gracias. Suscrito y esperando los siguientes vídeos.
Gracias nos vemos todos los jueves con más Data Warehouse!
gracias
Hola. Me gustaria que pongas un ejemplo como crear una staging table para una dimension y para una fact table y como relacionar luego en al cargar la info las claves de referencia que vienen del negocio con los id de las dimensiones. Me confunde eso. Saludos
hola amigo, desde Chile, intento cargar una consulta desde una base de datos a través de una sql command y me aparece este error y no se por que, este es el error : "No se puede procesar la solicitud porque el proceso (1560) ha terminado. (Microsoft.DataTransformationServices.VsIntegration)" por favor me puedes ayudar.
Ya lo resolví, debía cambiar la versión de sql server en el proyecto de 2017 a 2016, espero a alguien le ayude. Saludos desde Chile en caos, pero justamente.
Una duda, sobre el ODS, no me quedo claro, lo que entiendo es que es una repositorio para unificar orígenes de datos, pero además como repositorio para crear cubos de tiempo real en el negocio???, esto es me podrían explicar mejor.
Ok, vamos a hacer varias aclaraciones:
El ODS es un repositorio para hacer reportes, con la ventaja de que como los datos ya pasaron por el Staging Area, comparten un mismo motor de datos y tras una "simple" unificación son integrados en el ODS.
El ODS "NO es para hacer cubos", los cubos siempre deben ser alimentados de un Data Warehouse.
El ODS es opcional dentro de una arquitectura de Data Warhouse.
Se dice que el ODS puede ser en "tiempo real" ya que puede ser cargado mucho más rápido que el Data Warehouse.
Buenísima teoría, gracias!!!!
Gracias Miguel!!! Me alegra que encuentre el contenido de su agrado.
Buen video, tal y como el primero, por cierto cuando es el siguiente?
Vamos a tener videos todos los jueves. Este curso de Data Warehouae ha gustado mucho, así que vamos con todo.
@@BILATAM Pregunta chicos, lo de la integración de los sources en donde se termina haciendo:
1. ¿En el Staging Area?
ó
2. ¿En el Master Data?
Lo de Master Data ya lo había leído junto a lo de Data Governance, pero lo de ODS ese si es nuevo, solo que a este último le restaron inmportancia.
Como última pregunta ya que mencioné lo de ODS
¿esos reportes que salen son más para IT o directamente para el cliente final?
Porque si me genera reportes podrían aplicar algo de BI por adelantado por allí, ya que esta información está un poco en caliente.
Gracias y disculpas por las preguntas jaja.
La integración de fuentes de datos es un proceso complejo. El staging area estandarisa todos los fuentes de datos en una sola base de datos (pero aun siguen siendo tablas distintas). Y se usa el Master Data como insumo estandarizado. Y por último es en el ETL el que en la etapa de transformación escribe en el Data Warehouse en las dimensiones (datos estandarizadoa y unificados)
Con respecto al ODS, es una práctica opcional y lo que busca es brindar reportes de usuario sin todo el trabajo que conlleva el Data Warehouse. Ahora todo reporte que se desarrolla con una visión de negocio y estratégica se considera BI (con o sin DW)
que mal que tu pana esta mas interesado en su celular que en el curso todo lo demas esta excelente
Así quedé después de entender las arquitecturas 👉🤯🤯🤯
Jajaja que bueno que fue de ayuda
Todo genial, pero me parece poco serio que jesus este a cada rato con el celular, le quita parte del valor al video.
Gracias por el feedback. A tomar en cuenta para la próxima. Pura vida!
We need this videos in english
This is going to be my first English video. Thanks Joe!
@@BILATAM Your Content is great. You need to teach it to the world. In English
Thanks! My English is not the best... that is the problem, but let give a shot!!!
Jaja se le salió lo tico!
Jajajaja si... Eso hace rato “aprendí” a no ocultarlo. Aún en charlas formales (está no lo es jajaja) uno tiene que mantenerse fiel a sus raíces.
Xd
Joder que mal explican
Gracias por el feedback