วีดีโอ

Estimada Gladys, informar que Nifi trabaja con dos formas equivalentes de lo que nosotros llamamos variables. 1) Atributos que existen adjuntos a cada flowfile y se le hace referencia con el simbolo ${atributo} 2) Parametros de contextos, que existen para todos los flowfile de un grupo de procesos. Nolmalmente cuando se hace backup de un flujo, los password o valores sensibles no deben incluirse por razones de seguridad, eso siginifica que si tu haces un backup y despues lo restauras, el valores sensible como el password debe perderse, esto por estandares de seguridad. Veras que en la configuracion del controlador el password esta definido como valor sensible

@@gonzalocabreragutierrez1651 Muchas gracias Gonzalo por la respuesta.

Gracias a ti

Muchas gracias Jose, continuaré en el objetivo de compartir información útil. Saludos

Muchas Gracias

Gracias por comentar

Hola Alexander, gracias por lo de profesor, me gusta explicar lo que aprendo, pero no soy profesor. El proposito de consumir desde Apache Nifi un topico de Apache kafka es para procesar esa información, como tomar decisiones y acciones diferentes, enriquecer la información con otras fuentes de datos, transformar la información con determinados calculos, etc. Todas estas acciones Nifi solo las puede realizar via los flowfiles, que se transmiten entre paso y paso del flujo nifi via las conexiones, que como bien lo indicas son colas internas de nifi. Respecto a los cluster, es un video que tengo pendiente de publicar. Saludos

Hola Gladys, disculpa que no pude responder antes, tuve algunos problemas de salud, ahora todo ok. Sobre la consulta puedes activar el inicio de un grupo de procesadores, solo activando el primer procesador, via un comando a nivel del sistema operativo. Claro que si tu conexion es http, osea no segura es mas simple, pero si quieres una conexion segura via https es mucho mas complejo, con intercambio de llaves, etc. No he abordado este punto en un video aun. Ver iterfase de linea de comandos CLI para nifi, casi todas las actividades que se realizan via la interfase web, se pueden realizar via CLI. nifi.apache.org/docs/nifi-docs/html/toolkit-guide.html#nifi_CLI

@@gonzalocabreragutierrez1651 Buen dia Gonzalo que bueno que ya estas bien salud. Gracias por la respuesta.

Gracias por comentar

thanks

Hola, favor comparte el error

@@gonzalocabreragutierrez1651 al utilizar el procesador llamado PutDatabaseRecord y en mi json tengo datos de fecha con el formato correcto, pero me dice que estoy metiendo texto en una columna que es del tipo fecha y no se como corregir ese error

@@gonzalocabreragutierrez1651 este es el error ( ERROR: column "f_crea_inst" is of type timestamp without time zone but expression is of type character varying Hint: You will need to rewrite or cast the expression. Position: 270 Call getNextException to see other errors in the batch .:)

adjunto ejemplo { "empleado_id": 123, "fecha_contratacion": "2024-07-24 15:30:00" } La idea es convertir el JSON a atributo Luego de eso puedes ejecutar la sentencia update de la siguiente manera UPDATE empleados SET fecha_contratacion = TO_DATE('${fecha_contratacion}', 'YYYY-MM-DD HH24:MI:SS') WHERE empleado_id = ${empleado_id};

@@gonzalocabreragutierrez1651 si lo e echo así, pero el problema es que son ta datos qué satura la base de tatos de esa forma DX

Muchas gracias, tu comentario motiva hacer mas y mejores videos

Gracias por comentar

veo que es una palabra reservada adjunto ejemplo SELECT * FROM FLOWFILE WHERE campo1 IS NULL

lo he compartido drive.google.com/file/d/1uArubDBBBLTKBEDSQS1fdJj9FQsC7C7z/view?usp=sharing

@@gonzalocabreragutierrez1651 muchas gracias, al amanecer hago las pruebas en la oficina, después de escribirle comencé a averiguar con amigos y resulta que oracle tiene bloqueado el acceso a su sitio web para los que vivimos en Cuba

En teoria es posible, no lo he probado, pero aqui estan los pasos En Apache NiFi, para configurar el envío de un archivo adjunto utilizando el procesador PutEmail, puedes seguir los siguientes pasos: Agrega el procesador PutEmail a tu flujo: Puedes hacerlo arrastrando el procesador desde la barra de herramientas hasta el lienzo de tu flujo. Configura los detalles del servidor SMTP: SMTP hostname: El nombre del host del servidor SMTP (e.g., smtp.example.com). SMTP port: El puerto que utiliza el servidor SMTP (normalmente 587 para TLS o 465 para SSL). SMTP username y SMTP password: Las credenciales de autenticación, si son necesarias. From Email: La dirección de correo desde la cual se enviarán los emails. To Email: La dirección de correo del destinatario. Configura los detalles del correo: Subject: El asunto del correo. Message: El cuerpo del mensaje. Agregar un archivo adjunto: Debes asegurarte de que el archivo que deseas adjuntar está disponible para el procesador PutEmail. Esto generalmente implica que el contenido del archivo esté en el flujo de datos que llega a PutEmail. Puedes usar procesadores como FetchFile para obtener el archivo que deseas enviar. Attributes to Send as Headers (Atributos para enviar como encabezados): Aquí puedes especificar cualquier atributo dinámico que quieras incluir como encabezado en el correo. Para adjuntar un archivo, necesitas asegurarte de que el atributo que contiene el contenido del archivo se esté pasando correctamente. Conectar PutEmail con otros procesadores: Asegúrate de que el flujo de datos (que incluye el contenido del archivo como parte de los atributos del flujo) esté correctamente conectado a PutEmail. Puedes necesitar usar procesadores adicionales para preparar estos datos. Prueba tu configuración: Una vez todo está configurado, activa tu flujo y verifica que los correos se envíen correctamente con los archivos adjuntos.

Gracias!

Te refieres a los graficos?

Cortesía de chatgpt En Apache NiFi, una herramienta para la automatización del flujo de datos entre sistemas, los conceptos de paralelismo y particiones también existen, aunque se manejan de manera diferente en comparación con Sqoop:Paralelismo:En NiFi, el paralelismo se gestiona principalmente a través de la configuración de concurrencia en cada procesador individual. Cada procesador tiene una configuración llamada "Concurrent Tasks" que determina cuántas tareas puede ejecutar en paralelo. Incrementar esta configuración permite que el procesador maneje múltiples flujos de datos simultáneamente, lo cual es útil para operaciones que pueden ser paralelizadas sin conflicto.Además, NiFi puede operar varios flujos de datos en paralelo utilizando diferentes grupos de procesadores o múltiples instancias de NiFi trabajando en conjunto a través de un clúster.Particiones:En NiFi, las particiones se pueden manejar de manera flexible mediante procesadores específicos diseñados para dividir o agrupar datos. Procesadores como PartitionRecord pueden ser usados para agrupar datos en base a atributos o campos específicos, similar a como las particiones funcionan en bases de datos.Otros procesadores que pueden manejar particiones de datos incluyen aquellos para dividir archivos grandes en partes más pequeñas, como SplitText para archivos de texto o SplitJson para archivos JSON, lo cual puede facilitar el procesamiento paralelo de estos fragmentos en pasos subsecuentes del flujo.El enfoque de NiFi hacia el paralelismo y las particiones es altamente configurable y adaptable a diferentes necesidades de procesamiento de datos, permitiendo un control granular sobre cómo se manejan y se procesan los datos en el flujo de trabajo

En cuanto a volumen de datos no he tenido problemas hasta el momento, considerando que no lo he probado el clúster con alta carga , he probado un server con cientos y miles de millones y no hay problema. Mucho depende del hardware que tengas y el tunning, de estar preparado para altos volúmenes de datos si está preparado, es uno de sus objetivos principales.

Gracias a ti

hola puede ser a mi mail gc05595@gmail.com

Si se puede

Gracias por consultar el contenido de este video

Por supuesto Rene! mi mail es gc05595@gmail.com

Gracias a ti!

Hola Santiago, gracias por la sugerencia, de hecho hay algunos criterios que se pueden tomar para considerar niveles de aprendizaje, algunos videos que pueden considerarse como el nivel básico, los demás dependen mucho de la necesidad de los casos de uso que se pretenda aplicar. Saludos,

@@gonzalocabreragutierrez1651 buenísimo Gonza! Yo estoy arrancando con NiFi y quiero seguir una secuencia lógica de aprendizaje, ya que tiene muchiiiisimas posibilidades según estoy viendo en tus videos jaja. Gracias por tu respuesta!

He etiquetado los videos como (nivel 0) para indicar los videos básicos por los que se debe empezar

Lamenteblemente no hay forma, solo es uno por uno, conociendo la clave te da el valor

A la orden

Gracias! 😊

nunca lo he hecho pero esto es lo que recomienda chatgp Paso 1: Configurar la Autenticación OAuth2 Registra tu aplicación en Azure Portal para obtener el ID de cliente y el secreto de cliente. Configura el flujo de autenticación OAuth2 para obtener un token de acceso. Paso 2: Configurar Apache NiFi GetFile: Utiliza el procesador GetFile para leer el archivo que deseas subir. InvokeHTTP para obtener Token de Acceso: Configura InvokeHTTP para realizar una solicitud POST a la URL de token de OneDrive (login.microsoftonline.com/common/oauth2/v2.0/token). Añade los detalles necesarios en el cuerpo de la solicitud, como el ID de cliente, el secreto de cliente y el código de autorización. Guarda el token de acceso en un atributo de flujo para su uso posterior. InvokeHTTP para Subir Archivo: Configura otro InvokeHTTP para realizar una solicitud PUT a la API de OneDrive para subir archivos (por ejemplo, graph.microsoft.com/v1.0/me/drive/root:/FolderName/FileName.txt:/content). En los encabezados HTTP, incluye el token de acceso para la autenticación (Authorization: Bearer ${token}). Configura el cuerpo de la solicitud con el contenido del archivo a subir. LogAttribute: Usa LogAttribute para registrar la respuesta de la solicitud de subida. Esto te ayudará a depurar y confirmar que el archivo se ha subido correctamente. Paso 3: Prueba y Monitoreo Una vez configurado el flujo, ejecútalo y monitorea los resultados. Revisa los registros y la respuesta de la API para asegurarte de que el archivo se sube correctamente. Este es un ejemplo muy básico y podría requerir ajustes dependiendo de tus necesidades específicas y la configuración exacta de tu entorno OneDrive y Apache NiFi. Ten en cuenta que manejar la autenticación OAuth2 y los tokens de acceso puede ser complejo y requerir una configuración adicional.

Ok. Intentaré seguir estas instrucciones. Aunque he seguido instrucciones de ChatGPT al respecto y no me ha funcionado, pero esta es diferente. He probado con OneDrive, GoogleDrive y Dropbox y no he logrado configurarlos adecuadamente. Muchas gracias.

En principio los parametros de contexto estan diseñados para tener valores estaticos, teoricamente es posible cambiarlos pero no lo he probado, sin embargo se advierte que no es funcionalidad cambiar el contenido de los parametros de contexto de una manera frecuente, por ejemplo cada 10 min La opcion que si he probado es usando la tecnologia de cache que si esta en un video, yo la uso para guardar data que el flujo puede leer o modificar th-cam.com/video/o8DR6YkMxuI/w-d-xo.html. Sin embargo, si la recreacion del token no te genera un costo o existe alguna limitacion, la opcion mas rapida y sencilla es que cada vez que te vaz a conectar obtengas un nuevo token

A la orden

Gracias por comentar

Que buena noticia que te haya servido el video!!, saludos

Gracias!

Cuando te refieres a conectarte via web, te refieres a web service, por ejemplo webservice rest?

Tengo la instalación de Nifi en un servidor y de ahí quiero conectarme a la base de datos de los clientes en sus respectivos negocios. No sé si eso es web service o rest.

Lo más común es la comunicación vía webservice y eso lo puede hacer nifi, pero también puede comunicarse a la base de datos vía jdbc

Gracias por comentar

Que alegria que haya sido de utilidad, Saludos

Efectivamente, no se ve lo que se cambia el puerto, sin embargo el video de instalacion de apache nifi en linux si se ve y es exactamente lo mismo en este punto que en windows. Las disculpas por el error. Saludos,

Estimada, el forkEnrichment existe para etiquetar en base a atributos, cual ruta va a contener el flowfile tipo Join del flowfile tipo Enrichment, esto es indispensable para el procesador JoinEnrichment, el cual debe tener dos input, uno para el flowfile tipo Join, y otro para el flowfile tipo enrichment. En resumen solo el procesador JoinEnrichment ese el que hace la operación del Join, por esa razon tienen las propiedades para definir la linea de comandos SQL Join que queremos ejecutar.

claro, el tema es que yo tengo que hacer join entre dos archivos entonces no se si puedo enriquecer un archivo para joinearlo @@gonzalocabreragutierrez1651

estoy trabajando con esta version java version "21.0.1" 2023-10-17 LTS Java(TM) SE Runtime Environment (build 21.0.1+12-LTS-29) Java HotSpot(TM) 64-Bit Server VM (build 21.0.1+12-LTS-29, mixed mode, sharing) Pero oficialmente la version 1.24 de Apache Nifi Apache NiFi 1.24 requiere Java versión 8 o 11. Es importante verificar que se esté utilizando una de estas versiones de Java para asegurar la compatibilidad y el funcionamiento óptimo de Apache NiFi.

la concatenacion de varios flowfiles en un solo flowfile se hace con merge (ver mi video) para luego grabarlos en un txt via putsftp

Gracias!!

Lamento no alcanzar tus espectativas, seguramente los siguientes videos seran mejores. Saludos

dios si necesitaba la configuracion

Muchas Gracias, un abrazo!!

gracias Vladimir, Feliz Navidad

gracias, seguire publicando mas videos

Excelente saber que te ha sido de utilidad. Saludos

En ese caso yo usé el controlador ConvertAvroToJSON y me funcionó

Si tu pregunta se refiere a usar a Nifi como un webservice que reciba un request, al interno haga una consulta a una base de datos, y de una response con esa info. Entonces la respuesta a tu pregunta es afirmativa, mas detalles ver mi video sobre webservice en Nifi. Saludos