FACEBOOK DEBERIA VER ESTO: Logstash
ฝัง
- เผยแพร่เมื่อ 7 ก.พ. 2025
- Hoy hablamos de Logstash, un servicio para filtrar y modificar logs y mandarlos a un servicio centralizado. Corremos todo con fluent-bit como un daemonset y logstash como servicio.
También explicamos como Facebook deberia usar este video para mejorar su seguridad y evitar problemas como los que tuvo hace unos dias
Logstash: www.elastic.co...
--
merch.peladone...
Repo con todos los archivos que uso: github.com/pab...
Link para registrarse en Digital Ocean (50 USD de Regalo!)
bit.ly/digital...
Micrófono: Blue Snowball ICE
Cámara: Canon Rebel SL2
Lente: Canon 50mm f/1.8
Laptop: Macbook Pro 15'' 2017
Kit completo: bit.ly/kit-pel...
Mi canal de vlogs: bit.ly/youtube-...
Comprame un cafecito: bit.ly/kofi-pe...
Simplemente genial pelao! Muchas gracias por compartir tus conocimientos. Un saludo desde Chile!
Hola Pablo, gracias por los vídeos, yo estoy justo probando cada una de las opciones que mencionaste para poder filtrar pero aun sigo liado con capturar el stack completo de error para spring boot, la verdad que eh tenido muchos problemas para obtener un filtro completo ya que esos logs vienen en varias lineas. Saludos.!
Buenas! Muchas gracias por todos los videos que compartes, tu canal ha sido todo un descubrimiento! Me encanta el formato que tienen, tu forma de comunicar, etc... aunque en este caso concreto de Logstash (por mi experiencia en producción en sites con alto tráfico) lo desaconsejo completamente debido a la cantidad de recursos que consume (he visto casos en los que usa más recursos el contenedor de Logstash que los contenedores de los que extrae los logs, y sin filtros ni transformaciones complejas) por lo que ODIO logstash, jajaa. Un abrazo desde España...
Buenas gracias por los comentarios! Concuerdo que logstash es muy pesado. Lo que hacemos nosotros es correrlo como un pod normal (no daemonset) y corremos fluent bit cómo daemonset que es mucho más liviano. Fluent bit Manda los logs a logstash y ahí hacemos los filtros y los enviamos al servicio externo. De esa forma no tenes que correr logstash en todos los nodos. Saludos!
A medida que pasan los vídeos me doy cuenta que la Posta es kubernetes ...... Fantastico!!!!
no puedo creer que acabo de postear una pregunta arriba de la tuya y justo te llamás como yo!!!!
Estoy siguiendo tus vídeos la verdad gracias por compartir tus conocimientos con nosotros, saludos desde México y tienes un nuevo seguidor
Nosotros en la compañía que trabajo desarrollamos una herramienta de motorización y usamos logstach+elasticsearch para la parte de colector y visualizador de logs.
Está bueno, lo malo es que el elastic consume una barbaridad de recursos si tenemos muchos logs y hemos visto en alguna oportunidad que peta.
gracias por el video y la explicación. quisiera preguntar lo siguiente: ¿Cómo hago para indexar archivos en Logstash de PDF o de otras tipologías? Actualmente, solo puedo indexar archivos en .csv o pequeñas frases, pero no he podido en PDF. Muchas gracias
Grandiosos todos los videos !!!! .... cuando haces en capitulo dedicado a volumenes ???? . Saludos
Pronto! Creo que es el próximo de Kubernetes. Lo tengo que armar
Eres un capo! siempre aprendo algo nuevo, gracias por compartir
Esta buenisimo loggly, de echo puedo enviar el log directo por logback para mis proyectos Java... ¿Pero habrá una alternativa free que no sea kibana ni grafana?
Hola Pablo, ante todo darte las gracias por todos los vídeos que subes y la gran calidad de ellos. Tengo una duda y es si no se podría simplificar la instalación de los plugins de logstash poniéndolos todos en la misma línea, algo así "logstash-plugin install logstash-output-loggly logstash-filter-prune" desconozco si se puede hacer o se tiene que especificar en dos comandos separados. Un saludo!
Gracias! La verdad no estoy seguro, pero es fácil de probar! :) Igual a mí me gusta ponerlo en líneas separadas para poder ver los plugins instalados de un vistazo rápido. Saludos !
Estaba mirando que podes integrar Fluent Bit con Grafana o Kibana. no se si lo haces así en tu trabajo o lo manejan por separado, digo, ya que podes monitorear todas las métricas con Prometheus + Grafana, porque no meter los logs también.
Lo manejamos por separado ya que mantener Elastic Search (para logs) es un perno :)
Maquina podrias hacer un cacho intro de GitOps ???????????
Como usaríamos CI/CD con jenkins + Docker + Kubernetes???????
Saludos bro!!!
Estoy armando para hacer un streaming de esto en 2 semanas. Quedate atento
@@PeladoNerd gracias bro, ahí estaré ; )
saludos !!!
En mi caso estuve probando hace un tiempo con Kibana, pero sin Kubernetes simplemente para sacar logs de forma más amigable de servers web tal cual, seria mejor está opción? que opinas?
Pelado Nerd Internacional:admiro sus conocimientos y su voluntad.Dios Bendiga ,proteja su solidaridad.
Kibana es muy buena opcion tambien! Vendria a ser como el reemplazo a Loggly en nuestro caso, los 2 son buenos, a mi personalmente me gusta mas Kibana, pero loggly es gratis (para nuestro caso) y me ahorré el hecho de tener que instalarlo y mantenerlo.
Y con logstash tranquilamente podés enviar los logs a Kibana tambien, (en realidad los mandarías a Elastic Search y Kibana los lee de ahi) La idea del video era mostrar como funciona logstash, no Elastic Search y Kibana.
Abrazo
vistes graylog o lo usastes alguna vez ?¿
hace un vídeo pelao sobre graylog , le va a molar a la gente del canal , saludos pelao
Jeeeeeeeeee
Cómo haces para aprender tanto, en qué tiempo vivís? cuando dormís seguís leyendo?
Pablo, probaste instalar el docker de EKL y aplicarlo a tu kubernetes? Estaría bueno un videito no?
Hola! No he probado EKL todavía, apenas tenga un poco de experiencia con eso, seguro armo algo. Saludos!
Sweet pelado, mui bueno. O/
A la verdad me salto a los temas que me interesan...
mas adelante vuelvo a ver la serie completa...
Fluent bit > Logstash > Loggly, por si se pierden entre tantos términos.
Pablo sos un genio! sabés que cuando le tiro el kubectl apply -f . me está tirando un error, probé con --validate=false pero sigue sin funcionar, que podrá ser? Desde ya gracias!!
kubectl apply -f .
namespace/logging unchanged
serviceaccount/fluent-bit created
clusterrole.rbac.authorization.k8s.io/fluent-bit-read created
clusterrolebinding.rbac.authorization.k8s.io/fluent-bit-read created
configmap/fluent-bit-config created
configmap/logstash-config created
deployment.apps/logstash created
service/logstash-svc created
service/hello unchanged
error validating "05-fluent-bit-ds.yaml": error validating data: ValidationError(DaemonSet.sc): missing required field "selector" in io.k8s.api.apps.v1.DaemonSetSpec; if you choose to nore these errors, turn validation off with --validate=false
error validating "09-hello-app-deployment.yaml": error validating data: ValidationError(Deplment.spec): missing required field "selector" in io.k8s.api.apps.v1.DeploymentSpec; if you cose to ignore these errors, turn validation off with --validate=false
Hacete un issue en el repo y lo vemos. Al parecer falta un campo que antes no hacía falta con las versiones de Kubernetes anteriores
@@PeladoNerd listo! Mil gracias!!!