Cargar datos a ElasticSearch con LogStash, importamos un CSV de 150 megas en 10 minutos

แชร์
ฝัง
  • เผยแพร่เมื่อ 7 ก.พ. 2025
  • Artículo con el código: www.albertcoro...
    Patreon: / acoronadoc
    Amazon: www.amazon.es/...
    Blog: www.albertcoron...?

ความคิดเห็น • 39

  • @alexpt10
    @alexpt10 3 ปีที่แล้ว +2

    Muchas gracias por compartir tu conicimiento. saludos desde Colombia

  • @danielsandoval1310
    @danielsandoval1310 ปีที่แล้ว +1

    excelente video, muchas gracias por el aporte!!!!

  • @osnaider6082
    @osnaider6082 4 ปีที่แล้ว +2

    Excelente explicación. merecido el like. Me ayudo mucho en un trabajo de la universidad. Muchas gracias desde Colombia!

  • @wfmc202
    @wfmc202 3 ปีที่แล้ว +1

    Gracias por dar seguimiento

  • @juanitomakande3047
    @juanitomakande3047 4 ปีที่แล้ว +1

    Esperando el próximo vídeo con ganas

  • @gabrielquinteros2101
    @gabrielquinteros2101 3 ปีที่แล้ว +1

    Muy bueno Albert!!! gracias

  • @maximilianoraul5913
    @maximilianoraul5913 3 ปีที่แล้ว +1

    Excelente! Muy buena explicación!

  • @syscabmcommunity3368
    @syscabmcommunity3368 4 ปีที่แล้ว +1

    Excellent master

  • @felipeacunagonzalez4844
    @felipeacunagonzalez4844 3 ปีที่แล้ว +1

    Gracias :)

  • @klintfitzgeraldroman4540
    @klintfitzgeraldroman4540 4 ปีที่แล้ว +3

    Hola Albert podrías agregar el código para crear la orden "PUT /cities..." en el post de tu blog o por aquí, gracias!

  • @cyngtez1
    @cyngtez1 3 ปีที่แล้ว

    Buen día, qué pasa si quiero poblar elasticsearch desde un api donde previamente tenga que introducir credenciales.. es decir, no serpia desde un .cvs

  • @cristianleonardomendezruiz4318
    @cristianleonardomendezruiz4318 4 หลายเดือนก่อน

    Gracias por el video y la explicación. quisiera preguntar lo siguiente: ¿Cómo hago para indexar archivos en Logstash de PDF o de otras tipologías? Actualmente, solo puedo indexar archivos en .csv o pequeñas frases, pero no he podido en PDF. Muchas gracias

  • @epico33
    @epico33 4 ปีที่แล้ว

    Hola Albert! Muy bien explicado la verdad! Estoy trasteando con ello y hay una cosa que la verdad que no se muy bien como hacela...quiero cargar en csv de lo que obtengo de una base de datos, pero el json resultante es similar a lo que pongo aqui:
    "nombreColor":"amarillo",
    "ubicacion":"Salon",
    "arrayColores":[{
    "nombreColor":"rojo",
    "valorHexadec":"#f00"
    },
    {
    "nombreColor":"verde",
    "valorHexadec":"#0f0"
    }]
    Como deberia ponerlo en el csv para que logstahs entienda el arraColores? Se me esta atragantando porque no siempre vienen dos datos, a veces uno a veces 5 etc!! muchas gracias!

  • @javiergarciaalvarez6882
    @javiergarciaalvarez6882 4 ปีที่แล้ว +1

    excelente vídeo. Una preguntilla ¿es posible añadir más de un campo en el fichero conf?

    • @NullSafeArchitect
      @NullSafeArchitect  4 ปีที่แล้ว +1

      Imagino que te refieres a configurar mas de un proceso en un mismo fichero de configuración (Campos los que quieras). No, en cada fichero va un solo proceso, pero al arrancar puedes pasarle tantos ficheros como quieras.

  • @joaquincastejon1949
    @joaquincastejon1949 3 ปีที่แล้ว

    Como se pueden eliminar por completo los datos de la base de datos que hemos subido es que no me deja volver a subir la tabla de nuevo y me crea el index vacío.

  • @jorandcas81
    @jorandcas81 5 ปีที่แล้ว +1

    Tienes videos de importar datos de una bd a elastic search?

  • @josuecoboscantero936
    @josuecoboscantero936 2 ปีที่แล้ว

    ¿De qué manera se pueden cargar varios archivos csv con logstash? Todos teniendo la misma estructura en el csv de las columnas

  • @javiermayorga9857
    @javiermayorga9857 4 ปีที่แล้ว

    Excelente video te tengo una pregunta ¿Cómo te pones al tanto de las nuevas herramientas?

    • @NullSafeArchitect
      @NullSafeArchitect  4 ปีที่แล้ว

      Son muchos años. Además, estar al día es mi trabajo e invierto muchas horas al día a ello.

  • @robertocanua3177
    @robertocanua3177 3 ปีที่แล้ว +1

    Hola. Gracias por el vídeo. Pero solo me deja cargar 10 líneas del archivo csv.?

    • @robertocanua3177
      @robertocanua3177 3 ปีที่แล้ว

      Gracias por responder Albert. Hice unos cambios. Estoy usando la versión 7.13.2 (no la estaba usando) y solo carga 1890 líneas del archivo .csv. Muchas gracias.!!

    • @robertocanua3177
      @robertocanua3177 3 ปีที่แล้ว

      Tengo una VM con 6 GB de RAM y 4 núcleos. Necesito más?

  • @cesarricardoguerra19
    @cesarricardoguerra19 5 ปีที่แล้ว +1

    Todo está super claro, la única duda que tengo es como importar los LOGs que tengo de un Microservicios en KUBERNETES dentro del POD, al STACK respectivamente. En mi caso he creado VOLUMENES en KUBERNETES pero no se como conectarme a ellos justamente del STACK..., alguna idea ?

    • @NullSafeArchitect
      @NullSafeArchitect  5 ปีที่แล้ว

      Tienes que poner otro contenedor con el logstash en el mismo pod que comparta el volumen y pueda mandar la información.

  • @josejoelramostanca4897
    @josejoelramostanca4897 3 ปีที่แล้ว

    Consulta: ingresé los parámetros indicados para la definición de índices pero me arroja un error 400:
    "type": "mapper_parsing_exception",
    "reason": "Failed to parse mapping [properties]: Root mapping definition has unsupported parameters: [country : {fielddata=true, type=text}] [city : {type=text}] [accentCity : {type=text}] [location : {type=geo_point}] [region : {type=text}] [population : {null_value=0, ignore_malformed=true, type=long}]",

  • @jaimematurana5881
    @jaimematurana5881 4 ปีที่แล้ว

    Hola, me parece excelente estos videos... Soy nuevo en Kibana, pero me pidieron conectar a traes de un SOAP (no JSON)... tienes video explicativo relacionado a este tipo de conexión

  • @ThisDarkCrow
    @ThisDarkCrow 4 ปีที่แล้ว

    Muchas gracias, es la mejor explicación que he visto. Podría proporcionarme el archivo "worldcitiespop.csv" por favor.

  • @lizzymendivil2049
    @lizzymendivil2049 2 ปีที่แล้ว

    GRacias por la info... entonces si yo quisiera importar desde una bd postgresql solo tendria que modificar un archivo como ese pipeline.conf en el input? Y si quisiera que esto sea automatico, que se ejecute todos los días pero unicamente para los nuevos records o los que han sido actualizados... tienes alglun video así? Gracias nuevamente.

  • @MiguelDiaz-jz1nh
    @MiguelDiaz-jz1nh 4 ปีที่แล้ว

    como puedo conectar logstash a postgres y obtener datos en tiempo real?
    saludos!

  • @totekingpadi
    @totekingpadi 4 ปีที่แล้ว

    muy buena explicación. Tengo una duda, a la hora de crear un index pattern me da el siguiente error "No results match your search criteria", ¿me podria echar una mano?

  • @elizabetavendano231
    @elizabetavendano231 4 ปีที่แล้ว

    Si no lo tengo en formato cvs, lo tengo en ndjson/json, qué se tendría que hacer?

  • @renzocarranza7659
    @renzocarranza7659 4 ปีที่แล้ว +2

    Una pregunta, ¿Es posible cargar archivos en formato .xlsx?

    • @NullSafeArchitect
      @NullSafeArchitect  4 ปีที่แล้ว

      Si, pero creo que no tienes un plugin hecho. Tendrás que currartelo.

  • @alfredo1valenzuela
    @alfredo1valenzuela 2 ปีที่แล้ว

    "De la ciencia de idiotas" hahahaha

  • @danielsandoval1310
    @danielsandoval1310 ปีที่แล้ว +1

    Nota importante, siguiendo los pasos, en el documento pipline.conf, a mi me funciono sin la coma al final del path(le tuve que quitar la coma para que corriera).
    espreo sea de ayuda

  • @magdalenaserra4906
    @magdalenaserra4906 11 หลายเดือนก่อน +1

    Muy buen video! Gracias.