A mi más q estos modelos lo que más me atrae es q empiecen a salir soluciones locales de altavoces para home assistant. Que funcionen bien y q no haya q dejarse los dos riñones para comprarlos y ser ingeniero informático para hacerlos correr :)
Hola Carlos. Te resultaría interesante hacer un vídeo sobre cómo controlar un extractor de aire bidireccional en función de dos termómetros, uno interior y otro exterior a la vivienda? Requisitos: debe poderse elegir entre modo invierno (introduzco aire caliente diurno) y verano (introduzco aire fresco nocturno y extraigo aire caliente diurno), además de un interruptor de parada. Gracias. Saludos.
Estaba esperando un video tuyo de esto!! La integración llm local a mi no le funciona, uso extended conversation pero no me funciona bien. Deseando la segunda parte del video!!!
el modelo GPT-4o es gratuito para su uso con chatgpt pero solo que limitado a cierta cantidad de prompts, se puede pagar por aumentar 5x con la suscripcion plus.
Buenas Loco, con chatgpt plis se podria llamar a la Api de Openai que ya es multimodal? Aunque se pierda ese plus de privacidad? Saludos y muchas gracias por tu contenido.
Te recomiendo también los modelos GGUF, ollama los acepta. Hay que hacer un modelfile como en docker, pero se pueden usar. Son mopdelos cuantizados y los de 4 bits funcionan bien. La documentación de ollama para hacer los modelfiles es muy mala si no sabes Go. Yo tengo un post explicándo cómo hacerlos, no lo pongo para no hacer spam, pero si te interesa te lo paso
Respecto al tema de las librerias solo compatibles con Ubuntu, seguramente se pueda a llegar ejecutar en la version de Debian de la que hereda Ubuntu 22 solo que con trabajo extra, me paso en su momento con las librerias OpenVINO de Intel y al final si que pude.
Muy buenas. Uno de los puntos de inflexión sería el poder crear un sistema para dar órdenes mediante voz a la implementación de IA y que ejecutara acciones domóticas. Lo que vendría a ser un sustituto real e inteligente a los ladrillos de Alexa y Google.
Yo, lo que busco es una IA local que le des ordenes por voz y te entienda, que me encienda la cafetera , que le eche la comida a los gatos y el agua, y que me riege las lechugillas.
Me ha gustado las referéncias a Star Trek. El saludo vulcaniano mientras aludias a la típica frase de los Borg "Toda resisténcia es futil". El video como siempre, muy bien explicado. Habrá que ir aprendiendo de IA...
Star Trek… como vas a hablar con ella, le podías haber puesto Locutus.por cierto mírate borg backup. El sistema de backup más geek que hay. Es como un Git+rsync. La resistencia también es futil. Hace copias de los cambios y guarda los datos con deduplicacion. Un saludo
lo que he observado, que ya lo comentas en el vídeo, es que las IAs tienen respuesta para todo y si es necesario se lo inventan y esto en según que entornos es hasta peligroso. Incluso en entornos profesionales y acotados, l@s "jodid@s" te contestan. Grande como siempre Carlos.
Menuda locura de video! No me importaria el dia de mañana tener que cambiar mi extremadamente humilde NUC por algo bastante mas potente para meterle IA a la domotica. Pero ademas de mejorar, tendra que ser mas user friendly su implementacion. Esto ya se me escapa 😂
Carlos, podrias hacer un video acerca de como montar uno potente con una grafica dedicada?. Sería interesante tener una IA donde podamos hacer uso de un LLM similar a chatGPT sin las limitaciones que este tiene. Ejemplo: limitación de datos a años anteriores o pedirle cosas que no te las puede responder: predicciones de cosas, etc
Grande Carlos. Cuando le quites el HDMI tal vez tienes que usar un HDMI headless para no desactivar la aceleración por HW... Ya comentarás sí hace falta o no.
Ha salido el módulo Hailo 8L como Hat para Rpi5. Quizás el vídeo interesante sería HAOS sobre Rpi5 con Hat doble SSD y modulo Hailo 8L. Y ver rendimiento con Frigate.
Hay que tener cuidado con meter mucho hat, la line pcie que tiene es 1x. En cualquier caso, si consigo hacerme con uno a un precio decente, si, quiero probarlo
@@unlocoysutecnologiaDesde mi punto de vista estás equivocado. Hay modelos pequeños y tuneados para ejecutarse en Rpi5 sin problema. A día de hoy para pisos de 50 a 120 M2 con 60 dispositivos Zigbee y 3/4 cámaras RTSP es suficiente una Rpi 8GB con Coral o Hat AI oficial y disco duro SSD. Si le metes IA otra Rpi5 dedicada sería suficiente para el grueso de usuarios.
@@galdakaMusic Todo depende de lo que signifique para ti "sin problemas". Si te refieres a un llm que tarda 1 minuto en contestar y con una tasa de alucinaciones enorme, entonces si, hay modelos que entran en una raspi. Con respecto a lo de la casa, seguro que si, pero económicamente no tiene ningún sentido. Entre raspi, accesorios y los hats son más de 200€. Por ese precio tienes mini pcs de buena calidad y mucha más potencia. Un cosa es utilizar la raspi pelada para lo que es, que ahí tiene encaje, pero irte a más de 200€...
Jajaja, pues tanto por los borg de star trek como los bogones de la guía de autoestopista galáctico (obviamente los segundos parodian a los primeros) 😂
Gran video! Y justo ahora que estoy pensando en comprar un servidor más potente. Crees que este podría correr junto a Llama, home assistant, frigate y reconocimiento facial? Con el nuc que tengo ahora, whisper en small me tarda cerca de 3s en transcribir algo como "enciende la luz de la oficina" 😂
Ojo con whisper que tiene sus cosillas. En amd la aceleración no va tan fina como con nvidia. No he sacado tiempos porque lo utilizo para transcribir asi que la inmediatez no es un problema, aunque desde luego potencia tiene por un tubo
Lo que no has detallado es como se hace la instalación de Ubuntu en este ordenador. Es algo que no he encontrado en TH-cam y parece que es necesario desactivar BitLocker en Windows antes de la instalación. No entiendo gran cosa de Windows. Suelo usar Linux para casi todo. Tampoco sé desactivar Bitlocker ni porque es necesario hacerlo.
Retiro la pregunta. Estoy casi seguro (aún no lo he probado pero lo voy a hacer) de que basta con eliminar todas las particiones y reparticionar. Creo que la persona que hizo ese comentario quería dejar un sistema dual Linux + Windows. (yo no lo aconsejo) BitLocker aplica una capa de cifrado a nivel de sector de disco. Eliminada la tabla de particiones tendremos un disco virgen y puro ;-)
Tienes pensado hacer algun video paso a paso de como instalar una IA que pueda controlar la casa automáticamente? Me interesa para un nuc de pocas prestaciones, siilar a raspi5, gracias
Estoy 100% de acuerdo en la apreciación de que tarde o temprano la IA controlara nuestras casas, es el siguiente escalon lógico. Por ahora lo veo un poco verde, me gustaría trastear con todo esto pero no dispongo del tiempo y recursos suficientes. De todas maneras se agradece esta actualización y quedamos pendientes de saber cual sera el camino a seguir.... porsupuesto en español. Now me voy a tomar un "fucking" cafe con leche de mileurista bro...
Tienes algunos mini errores de conceptos (lo cual es perfectamente normal si no tu especialidad) pero como comentario constructivo si que queria comentar que el uso de LLMs es mas secundario, es una cosa que se puede delegar a la api de openAI perfectamente. Lo importante aqui a nivel local para mi es el uso de RAGs para acceser a tu información ya sea de documentos o sensorica
Segurísimo, soy aprendiz de todo esto. Si que te agradecería que comentases los errores de conceptos, asi puedo añadirlos a la descripción. Con respecto a openai, siempre está la opción, y buena es… pero barata no sale
@@unlocoysutecnologiaPues mira, te voy diciendo con tiempos 5:54 no exactamente. Chatgpt si que es un modelo, me explico, una LLM como funciona tradicionalmente es tu escribes algo le das a enter y sigue escribiendo. Por ejemplo empiezas un cuento y continúa con lo que estás escribiendo. Eso sería GPT, la base, luego está chatgpt que es un fine tunning en las ultimas capas para que acepte la estructura de chat, que es lo que te ofrece la web pero que también es un modelo. Voy a vuela pluma, no sé si me he explicado. 6:55 yo tiraría de mixtral. Me fío más de ellos que de meta. No he probado meta para ser honesto pero por compliance estoy poniendo mixtral a mis clientes (o API de openai). Es más interesante por ser europeo y más transparente. 13:04 justo esto es lo que te digo que debería hacer un RAG pero que también lo puedes hacer de una manera "hardcodeada" como lo has hecho tú. 14:50 aquí está el otro fallo. No es que este menos entrenado, el modelo es el mismo lo que haces es reducirle bits. Me suena que le vi un vídeo del tema dotcsv, te intento buscar enlace. Te busco también una serie de artículos sobre arquitectura básica de estos chismes. Otra cosa, a mí la API de chatgpt para pruebas me consume mierda tbh baratísima. Meto 10€ hace 6 meses y ahí siguen 9€ y pico todavía. A nivel corpo es cuando sale caro por la escalabilidad
Puse dos respuestas largas pero como le etiquete directamente y no sale la respuesta xD supongo que lo tendrá capado. Si efectivamente, con la API yo llevo gastado menos de 50 cts en tres meses en la API de pruebas que tengo para mis clientes. Y le doy caña. Pero claro, esto se encarece con la escalabilidad y no porque un usuario haga cosas
@@ch0wch0w83 el consumo en mi opinión es relativo al precio de coste del ordenador, ya que si hay que gastar x8 en cuanto tardas en amortizar ese sobre coste? todo es hacer números y ya te adelanto que yo no he hecho
A mi más q estos modelos lo que más me atrae es q empiecen a salir soluciones locales de altavoces para home assistant. Que funcionen bien y q no haya q dejarse los dos riñones para comprarlos y ser ingeniero informático para hacerlos correr :)
Todavía queda para tener una solución plug and play, pero supongo que todo llegará
Muy buen video. De hecho esta ahora mismo a 660 euros por el black friday y me lo estoy planteando.
Gran video! Y realmente increíble lo que se viene!!!
Pues un video de como mandarle todos esos datos, calendar, sensores, etc y que te diga un resumen si que sería interesante!
Muy interesante. Gran trabajo. Gracias por compartir. Saludos.
Hola Carlos. Te resultaría interesante hacer un vídeo sobre cómo controlar un extractor de aire bidireccional en función de dos termómetros, uno interior y otro exterior a la vivienda? Requisitos: debe poderse elegir entre modo invierno (introduzco aire caliente diurno) y verano (introduzco aire fresco nocturno y extraigo aire caliente diurno), además de un interruptor de parada. Gracias. Saludos.
Estaba esperando un video tuyo de esto!!
La integración llm local a mi no le funciona, uso extended conversation pero no me funciona bien.
Deseando la segunda parte del video!!!
el modelo GPT-4o es gratuito para su uso con chatgpt pero solo que limitado a cierta cantidad de prompts, se puede pagar por aumentar 5x con la suscripcion plus.
Buenas Loco, con chatgpt plis se podria llamar a la Api de Openai que ya es multimodal? Aunque se pierda ese plus de privacidad? Saludos y muchas gracias por tu contenido.
Gracias, Carlos! Saludos desde Argentina
We are borg.
Muy buen video.
Probaste hacer fine-tuning de ese modelo?
Excelente canal.
Saludos
Te recomiendo también los modelos GGUF, ollama los acepta. Hay que hacer un modelfile como en docker, pero se pueden usar. Son mopdelos cuantizados y los de 4 bits funcionan bien. La documentación de ollama para hacer los modelfiles es muy mala si no sabes Go. Yo tengo un post explicándo cómo hacerlos, no lo pongo para no hacer spam, pero si te interesa te lo paso
Respecto al tema de las librerias solo compatibles con Ubuntu, seguramente se pueda a llegar ejecutar en la version de Debian de la que hereda Ubuntu 22 solo que con trabajo extra, me paso en su momento con las librerias OpenVINO de Intel y al final si que pude.
Muy buenas. Uno de los puntos de inflexión sería el poder crear un sistema para dar órdenes mediante voz a la implementación de IA y que ejecutara acciones domóticas. Lo que vendría a ser un sustituto real e inteligente a los ladrillos de Alexa y Google.
Yo, lo que busco es una IA local que le des ordenes por voz y te entienda, que me encienda la cafetera , que le eche la comida a los gatos y el agua, y que me riege las lechugillas.
Me ha gustado las referéncias a Star Trek. El saludo vulcaniano mientras aludias a la típica frase de los Borg "Toda resisténcia es futil". El video como siempre, muy bien explicado. Habrá que ir aprendiendo de IA...
Star Trek… como vas a hablar con ella, le podías haber puesto Locutus.por cierto mírate borg backup. El sistema de backup más geek que hay. Es como un Git+rsync. La resistencia también es futil. Hace copias de los cambios y guarda los datos con deduplicacion. Un saludo
Te recomiendo qwen2 7B, tiene mejores métricas en benchmarks que llama3 8B. Entiende bien el español y al tener 7B en vez de 8B ira un poco más rápido
lo que he observado, que ya lo comentas en el vídeo, es que las IAs tienen respuesta para todo y si es necesario se lo inventan y esto en según que entornos es hasta peligroso. Incluso en entornos profesionales y acotados, l@s "jodid@s" te contestan. Grande como siempre Carlos.
Si, las alucinaciones pueden ser muy problemáticas
Vaya crack da gusto ver tus videos. Gracias
Gracias a ti
Es posible meter whisper por docker en un Nas Asustor6704t gen2 con 20gb de ram?
Menuda locura de video! No me importaria el dia de mañana tener que cambiar mi extremadamente humilde NUC por algo bastante mas potente para meterle IA a la domotica. Pero ademas de mejorar, tendra que ser mas user friendly su implementacion. Esto ya se me escapa 😂
Carlos, podrias hacer un video acerca de como montar uno potente con una grafica dedicada?. Sería interesante tener una IA donde podamos hacer uso de un LLM similar a chatGPT sin las limitaciones que este tiene. Ejemplo: limitación de datos a años anteriores o pedirle cosas que no te las puede responder: predicciones de cosas, etc
Si tienes un equipo con una dedicada de nvidia, montate ollama, es super sencillo y se pueden hacer cosas muy chulas
Es mejor este a8 o el it13?
¡Hola loco!, ¿Has probado el google coral para correr estos modelos?
Grande Carlos. Cuando le quites el HDMI tal vez tienes que usar un HDMI headless para no desactivar la aceleración por HW... Ya comentarás sí hace falta o no.
No me ha hecho falta. No lo tengo conectado por hdmi ya
Ha salido el módulo Hailo 8L como Hat para Rpi5. Quizás el vídeo interesante sería HAOS sobre Rpi5 con Hat doble SSD y modulo Hailo 8L. Y ver rendimiento con Frigate.
Hay que tener cuidado con meter mucho hat, la line pcie que tiene es 1x. En cualquier caso, si consigo hacerme con uno a un precio decente, si, quiero probarlo
Yo el futuro lo veo por ahí el Hailo 8L original para Frigate y otra Rpi en paralelo para la IA general de tu casa y conexión privada Ollama con HAOS
@@galdakaMusicla rpi no tiene potencia suficiente por si misma para los llm, la jetson es otro cantar, pero el precio es otro
@@unlocoysutecnologiaDesde mi punto de vista estás equivocado. Hay modelos pequeños y tuneados para ejecutarse en Rpi5 sin problema. A día de hoy para pisos de 50 a 120 M2 con 60 dispositivos Zigbee y 3/4 cámaras RTSP es suficiente una Rpi 8GB con Coral o Hat AI oficial y disco duro SSD. Si le metes IA otra Rpi5 dedicada sería suficiente para el grueso de usuarios.
@@galdakaMusic Todo depende de lo que signifique para ti "sin problemas". Si te refieres a un llm que tarda 1 minuto en contestar y con una tasa de alucinaciones enorme, entonces si, hay modelos que entran en una raspi. Con respecto a lo de la casa, seguro que si, pero económicamente no tiene ningún sentido. Entre raspi, accesorios y los hats son más de 200€. Por ese precio tienes mini pcs de buena calidad y mucha más potencia. Un cosa es utilizar la raspi pelada para lo que es, que ahí tiene encaje, pero irte a más de 200€...
Jajaja, pues tanto por los borg de star trek como los bogones de la guía de autoestopista galáctico (obviamente los segundos parodian a los primeros) 😂
No habrá Borgs por ahí?
Gran video! Y justo ahora que estoy pensando en comprar un servidor más potente.
Crees que este podría correr junto a Llama, home assistant, frigate y reconocimiento facial?
Con el nuc que tengo ahora, whisper en small me tarda cerca de 3s en transcribir algo como "enciende la luz de la oficina" 😂
Ojo con whisper que tiene sus cosillas. En amd la aceleración no va tan fina como con nvidia. No he sacado tiempos porque lo utilizo para transcribir asi que la inmediatez no es un problema, aunque desde luego potencia tiene por un tubo
@@unlocoysutecnologia entonces crees que podría correr todo en el mismo servidor?
Lo que no has detallado es como se hace la instalación de Ubuntu en este ordenador. Es algo que no he encontrado en TH-cam y parece que es necesario desactivar BitLocker en Windows antes de la instalación. No entiendo gran cosa de Windows. Suelo usar Linux para casi todo. Tampoco sé desactivar Bitlocker ni porque es necesario hacerlo.
Retiro la pregunta. Estoy casi seguro (aún no lo he probado pero lo voy a hacer) de que basta con eliminar todas las particiones y reparticionar. Creo que la persona que hizo ese comentario quería dejar un sistema dual Linux + Windows. (yo no lo aconsejo)
BitLocker aplica una capa de cifrado a nivel de sector de disco. Eliminada la tabla de particiones tendremos un disco virgen y puro ;-)
Tienes pensado hacer algun video paso a paso de como instalar una IA que pueda controlar la casa automáticamente? Me interesa para un nuc de pocas prestaciones, siilar a raspi5, gracias
Cuántos minutos o segundos te ha tardado en responder a las preguntos que has hecho al modelo??
Por lo general las gigantes del hardware o software, si toman en cuenta a linux, siempre es con ubuntu o red hat y sus derivadas
Muy interesante poder tener un modelo en local, pero eso no va a evitar que todos seamos asimilados.....
😂
Entiendo que en un Nodo de proxmox como lxc también se podría?
Si
Estoy 100% de acuerdo en la apreciación de que tarde o temprano la IA controlara nuestras casas, es el siguiente escalon lógico.
Por ahora lo veo un poco verde, me gustaría trastear con todo esto pero no dispongo del tiempo y recursos suficientes.
De todas maneras se agradece esta actualización y quedamos pendientes de saber cual sera el camino a seguir.... porsupuesto en español.
Now me voy a tomar un "fucking" cafe con leche de mileurista bro...
Si, todavía queda, queda mucho, pero llegará
We are the Borg. You will be assimilated. xD
We will add your biological and technological distinctiveness to our own. Your culture will adapt to service us. Resistance is futile.
Gracias por comentar sobre nuestro producto. ¡Sus comentarios sobre los productos GEEKOM son muy valiosos para nosotros!
Tienes algunos mini errores de conceptos (lo cual es perfectamente normal si no tu especialidad) pero como comentario constructivo si que queria comentar que el uso de LLMs es mas secundario, es una cosa que se puede delegar a la api de openAI perfectamente. Lo importante aqui a nivel local para mi es el uso de RAGs para acceser a tu información ya sea de documentos o sensorica
Segurísimo, soy aprendiz de todo esto. Si que te agradecería que comentases los errores de conceptos, asi puedo añadirlos a la descripción. Con respecto a openai, siempre está la opción, y buena es… pero barata no sale
@@unlocoysutecnologiaPues mira, te voy diciendo con tiempos 5:54 no exactamente. Chatgpt si que es un modelo, me explico, una LLM como funciona tradicionalmente es tu escribes algo le das a enter y sigue escribiendo. Por ejemplo empiezas un cuento y continúa con lo que estás escribiendo. Eso sería GPT, la base, luego está chatgpt que es un fine tunning en las ultimas capas para que acepte la estructura de chat, que es lo que te ofrece la web pero que también es un modelo. Voy a vuela pluma, no sé si me he explicado.
6:55 yo tiraría de mixtral. Me fío más de ellos que de meta. No he probado meta para ser honesto pero por compliance estoy poniendo mixtral a mis clientes (o API de openai). Es más interesante por ser europeo y más transparente.
13:04 justo esto es lo que te digo que debería hacer un RAG pero que también lo puedes hacer de una manera "hardcodeada" como lo has hecho tú.
14:50 aquí está el otro fallo. No es que este menos entrenado, el modelo es el mismo lo que haces es reducirle bits. Me suena que le vi un vídeo del tema dotcsv, te intento buscar enlace.
Te busco también una serie de artículos sobre arquitectura básica de estos chismes. Otra cosa, a mí la API de chatgpt para pruebas me consume mierda tbh baratísima. Meto 10€ hace 6 meses y ahí siguen 9€ y pico todavía. A nivel corpo es cuando sale caro por la escalabilidad
No, si usas la api de openAi, tienes que enviar tus datos a ellos. La ventaja de instalar una IA local también está en que no tenga acceso a tus datos
Puse dos respuestas largas pero como le etiquete directamente y no sale la respuesta xD supongo que lo tendrá capado. Si efectivamente, con la API yo llevo gastado menos de 50 cts en tres meses en la API de pruebas que tengo para mis clientes. Y le doy caña. Pero claro, esto se encarece con la escalabilidad y no porque un usuario haga cosas
Deberías probar una Nvidia Orin Nano
Buen trekkie
🖖
mejor que los belink de 200€?
No son comparables, son dos productos completamente distintos y con specs distintas
Has considerado un mac mini? Diría que te permitiría correr modelos más grandes y consume muy poco.
Edito: ¿Y una Jetson Nano?
El problema es el precio. El mac mini con 16gb se va a más de 1500 euros
si no te importa el tamaño, hay bastantes servidores usados con potencia de sobra para que funcione todo a un precio mínimo.
@@aioras demasiado consumo
Una jetson podría correr el modelo completo de llama? O al menos el mismo que el del video sin retraso alguno?
@@ch0wch0w83 el consumo en mi opinión es relativo al precio de coste del ordenador, ya que si hay que gastar x8 en cuanto tardas en amortizar ese sobre coste? todo es hacer números y ya te adelanto que yo no he hecho
lastima que el saludos es de la serie original y el borg cube es next generation jajjajajajaaja
Primero!
Ya paro de escribir