Esta tendencia de poder alimentar modelos con nuestra propia información para temas internos sin el riesgo a que nuestros datos sean utilizados por terceros me parece que va a crecer mucho en breve.
Hola @XavierMitjana gracias por el video, tan solo quiero apuntar que en LMStudio también se puede usar la tarjeta gráfica para ejecutar rápidamente los modelos, para ello a la derecha de la interfaz hay un campo, lo activas y ya. Por otra parte, como idea para otro video y relacionado con este asunto de ejecutar modelos en local, una de las principales ventajas es que podemos encontrar modelos sin censura, convendría un video con los principales modelos con esta característica que estén disponibles actualmente. ¡Saludos!
@@y0._. Hay uno hecho ya, en un canal llamado "La Hora Maker". El vídeo se llama "¡Ollama ya funciona en Windows! Ejecuta modelos de texto y visión con su interfaz webui y más!". Lo único es que ahora la GUI (interfaz gráfica) se llama OpenWebui (el vídeo es de hace dos meses, de cuando se llamaba OllamaWebui), pero se instala igual (yo seguí ese tutorial para instalarlo todo).
Lo único que me disgusta de la novedad de la IA actual, es que sacan casi todo para ordenadores con recursos potentes. Si tienes un ordenador con más de 5 años te dan la espalda. Mi macmini va genial a dia de hoy, maqueto libros mientras navego y retoco imágenes.. holgadamente. Pero LM Studio ya no tiene versión para mi sistema operativo, he de parchear el sistema para intentar cargarle la siguiente (Big Sur) y aun asi no sé si podria usar LM Studio. He descargado JAN que hace lo mismo, y el listado de modelos ya me adieverten en más de la mitad que mi memoria es justa (8 GB Ram) diciendo que iria lento el sistema. He descargado con OLLAMA en mi terminal algunos modelos de IA de 4 gigas y van despacio, descargué uno de 25 gigas e iba tan lento que no lo usé. Xavier! independientemente de LM Studio, JAN o lo que sea... ¿hay alguno que en local te permita analizar PDFs?. Me va genial darle PDFs a alguna IA y decirle sumame todas estas facturas o buscame tal cosa y local seria más privado.
Podrías usar Gpt4ALL o JAN, y usar el nuevo modelo de Microsoft Phi-3 . En mi caso tengo la RAM justa (8GB) y una CPU Intel I7 de cuarta generación y corriendo con el modelo phi-3 me va bastante bien (los mas grandes como mistral 7x8 o los de LLAMA van como hombre picando en piedra).
que modelo de Mac mini tienes? yo tengo un macbook pro del 2012, con una Nvidia de 1gb mas o menos. Te funciona bien? Si no es asi, puedes ponerle windows o linux y te ahorras de subir a Big sur u otra version mas moderna de MacOS.
Ni tan seguros, yo lo uso de todas maneras, le pregunte a llama de como se actualiza sino la conecto a internet, y me dijo que almacena información en la cache en disco y según el tamaño así puede continuar trabajando desconectada de internet, pero una ves conectes tu internet, ella se conectará a los servidores de meta para actualizarse; ahora el punto es si se conecta a los servidores de meta que le impide subir las conversaciones realizadas?, nada incluso no tenemos ninguna certeza de que lo hace o no. Pero a Don Mark ya lo conocemos por su manía con los datos ajenos.
11:27 lol eso me paso una vez con bing chat hace como 3 meses xd la deje que escribiera y lo grabe no paro de escribir por 5 minutos cosas sin sentido y al final numeros y simbolos
Hola Xavier hay manera de que me ayudaras en capacitar como poder hacer esto conectando a una base de datos y que funcione en modo Local del IA para analisis de datos
Hola, los modelos de lenguaje su principal uso no debería ser esperar que sean precisos a la hora de devolver información factual, sino sobre todo como herramientas de manipulación de textos y lenguaje en base a conocimiento aportado.
¿Alguien sabe por que ChatGPT4 manda este mensaje? “New responses will use GPT-3.5 until your GPT-4 limit resets” (Las nuevas respuestas utilizarán GPT-3.5 hasta que se restablezca su límite de GPT-4), ¿“límite”?, ¿como que hay límites si es una cuenta pagada?. Gracias por sus comentarios.
Sí, incluso con la versión de pago ChatGPT impone límites de uso. Antes te lo decía explícitamente, 40 mensajes cada 3 horas, ahora es algo un poco más difuso.
@@XavierMitjana Pero no debería ser así ¿cierto?, es casi como si el robot me dijera que necesita descansar. Creo que si lo de la AI va a ser así nadie debería temer el que te quiten el empleo 😂😂😂😂😂
Hasta ahora no encontré otra IA mejor que PI. Hablo con la aplicación como si fuera una persona en cuanto su fluidez. Y en cuanto a contenido es suficiente hasta para nivel profesional. Llama es una tortuga por lo que veo y hay que ingresar Pront? y una tarjeta especial? Gracias me quedo con PI.
Lo hago con Midjourney+CREF+FaceSwap+Upscale en Krea o Leonardo, tutorial como tal paso a paso no tengo, pero de cada una de las partes están los vídeos en el canal.
He montado llama 3, le falta pulirse un poco más, tengo otros modelos que son mejores, en los modelos pequeño deben estar orientado a cosas necesaria y no tanta información que no es necesaria. Por eso este modelo pasara por un proceso de reajuste, como hacen con los modelos de automatic111. Para que trabaje muy rápido el modelo debe estar configurado en la gpu al ancho de banda de la tarjeta, y en la parte de tokens que tiene un valor 2048, se divide lo del ancho de la tarjeta entre 64 y la cantidad te indique lo multiplicas por 2048. si tiene mucha memoria lo puedes dividir entre 32 o 16. No me justa ollama, mi favorito sigue siendo LM Studio y la interfaz Web-UI de ollama, para modo local. Una cosa si es cierta es más preciso el 70b de tokens, que el de 7b, pero como asistente desarrollo es bueno. Hay que aprovechar llama 3 en Huggins mientras siga gratis, pero creo debe aún pulirse para ser tan bueno como ChatGPT. Ojala que se diseñe server para tener su propios modelos y que sean de 300b de tokens, sería la Ostia !!! ☺
Javier, abordas herramientas actuales de IA. ¿Conoces alguna herramienta para diseñar en solidworks? Con los vídeos de youtube, no es posible interactuar cuando surgen dudas.
Hola Xavier. Gracias x compartir info de alto valor. Una consulta: Existe algun tipo de Recurso Basado en la Nube que me permita instalar un chat bot basado en IA y configurarlo de manera que "Aprenda ' como responder o sea mantener un diálogo en base a Respuestas y contenidos PreArmados en PDF? Aguardo respuesta. Gracias.
Entiendo que si buscas algo sencillo, necesitarías una herramienta tipo "Chatbase". Luego si tienes conocmientos técnicos puedes armarlo a partir de una API de Google, Microsoft u OpenAI.
En caso de que algún día los desarrolladores logren hacer esto de manera fácil en un celular con Android, ojalá puedas hacer un vídeo hablando de eso, ya que todas las novedades de IA las conozco gracias a ti, por ejemplo, Poe lo conocí gracias a ti. Sé que hoy en día ya se pueden instalar este tipo de cosas en Android, pero es muy engorrosos, ya que hay que usar comandos en Termux. Si se pudiera hacer una APK y descargar un modelo y luego cargar a la aplicación el modelo ya descargado (algo así como funcionan los emuladores de consolas de videojuegos) sería más fácil. Aunque no sé qué tan posible sea esto, ya que si todavía no se ha hecho, quizá es porque no se puede. Así sería más fácil, ya que además de no tener que estar poniendo comandos, en caso de que algo te dé error después que te haya funciona y tangas que desinstalar la aplicación, no tendrías que volver a descargar otra vez el modelo y podrías hacerlo todo de manera verdaderamente offline, ya que tendrías el APK y el modelo descargado, creo que con los años esto se va a poder resolver.
Donde vives? En la era de la cavernas? Eso ya se puede, la aplicación se llama "Layla Lite" instale phi 3, pero mi móvil no es muy poderoso así que tardo algo en responde 🤪
@@jjen9595 Oye amigo, gracias por avisar, yo no sé cómo se hace eso ¿Me puedes explicar, por favor?, y gracias por avisar, yo no sabía. Tengo un celular más o menos potente, creo que uno de esos modelos ultra pequeños me podrían correr, pero no tengo computadora, siempre e intentado buscar alguna APK parecida lo que hace LM Studio, pero para Android, ya que LM Studio solo está para computadora. Estar usado Termux no es práctico para mí, sobre todo porque en caso de que tengas que desinstalar Termux por algún motivo, y quieres volver a usar otrs vez el modelo que tenías, vas a necesitar sí o sí una conexión a inter para hacer todo ese proceso otra vez con comandos.
@@UrsulaCallistis descarga el modelo, pesa 2 GB y ponlo en una carpeta en tu teléfono y después en Layla pon custom llm y ahí te pregunta dónde está, una vez que le haces click ya no puedes mover el archivo porque creo que se buguea y con eso ya puedes hablar con el chat, es posible ya que phi tiene 3 días de haber salido y está dedicado para teléfonos, aunque la versión de 2gb está bastante recortada así que para pruebas está bien
Esta muy bueno el video, graicas por compartir. No sé si existe alguno que admita cualquier tipo de archivo? (tipo xml, html, jpg, bat, py, xlsx, etc) y si hay alguna que pueda "entrenarse" en algo y que considere los avances que se hayan hecho en el tiempo en relación a cómo abordar ciertas tareas... eso existe en local a día de hoy?
@@XavierMitjana Podrías hacer un video de cómo sería el proceso? no me imagino haciendo fine-tuning en la nube (idealmente gratis) entregándole archivos, sería ideal conocer el proceso a grandes rasgos y así cada quién en su área pueda hacer sus primeros desarrollos con eso. Saludos y muy buenos videos!
Entre 4 a 5 gb el modelo llama 3 , anque tambien esta el modelo PHI 3 de 2,5 gb y 500mb mas si instalas LM Studio si tu laptopva algo corta en recursos
Que bueno! JAN lleve esa función de "charlar" con PDFs, a ver si doy con un modelo que me funcione... sino seguiremos indagando. Muy bueno este video con ideas.
SUSCRÍBETE a mi NEWSLETTER y recibe los GPTs de regalo:
👉 bit.ly/ia-newsletter_
Ok
Esta tendencia de poder alimentar modelos con nuestra propia información para temas internos sin el riesgo a que nuestros datos sean utilizados por terceros me parece que va a crecer mucho en breve.
Hola @XavierMitjana gracias por el video, tan solo quiero apuntar que en LMStudio también se puede usar la tarjeta gráfica para ejecutar rápidamente los modelos, para ello a la derecha de la interfaz hay un campo, lo activas y ya.
Por otra parte, como idea para otro video y relacionado con este asunto de ejecutar modelos en local, una de las principales ventajas es que podemos encontrar modelos sin censura, convendría un video con los principales modelos con esta característica que estén disponibles actualmente. ¡Saludos!
Ollama + OpenWebui también tiene RAG por defecto, y los dos son 100% open source, con Llama3 desde el primer día :)
Pasa tuto xd
@@y0._. Hay uno hecho ya, en un canal llamado "La Hora Maker". El vídeo se llama "¡Ollama ya funciona en Windows! Ejecuta modelos de texto y visión con su interfaz webui y más!".
Lo único es que ahora la GUI (interfaz gráfica) se llama OpenWebui (el vídeo es de hace dos meses, de cuando se llamaba OllamaWebui), pero se instala igual (yo seguí ese tutorial para instalarlo todo).
@@juanjesusligero391 muchas gracias!
Lo único que me disgusta de la novedad de la IA actual, es que sacan casi todo para ordenadores con recursos potentes. Si tienes un ordenador con más de 5 años te dan la espalda. Mi macmini va genial a dia de hoy, maqueto libros mientras navego y retoco imágenes.. holgadamente. Pero LM Studio ya no tiene versión para mi sistema operativo, he de parchear el sistema para intentar cargarle la siguiente (Big Sur) y aun asi no sé si podria usar LM Studio. He descargado JAN que hace lo mismo, y el listado de modelos ya me adieverten en más de la mitad que mi memoria es justa (8 GB Ram) diciendo que iria lento el sistema. He descargado con OLLAMA en mi terminal algunos modelos de IA de 4 gigas y van despacio, descargué uno de 25 gigas e iba tan lento que no lo usé. Xavier! independientemente de LM Studio, JAN o lo que sea... ¿hay alguno que en local te permita analizar PDFs?. Me va genial darle PDFs a alguna IA y decirle sumame todas estas facturas o buscame tal cosa y local seria más privado.
Podrías usar Gpt4ALL o JAN, y usar el nuevo modelo de Microsoft Phi-3 . En mi caso tengo la RAM justa (8GB) y una CPU Intel I7 de cuarta generación y corriendo con el modelo phi-3 me va bastante bien (los mas grandes como mistral 7x8 o los de LLAMA van como hombre picando en piedra).
que modelo de Mac mini tienes? yo tengo un macbook pro del 2012, con una Nvidia de 1gb mas o menos. Te funciona bien? Si no es asi, puedes ponerle windows o linux y te ahorras de subir a Big sur u otra version mas moderna de MacOS.
@@elsubidonk si, tengo un procesador Intel (no mac), usando Gpt4ALL Y con un S.O linux mint, con el modelo que te especifique va muy bien,
@@felixcanosa6819 mmm bueno habra que probar.
@Xavier este modelo de Chat RTX, es porsible agregarles modelos o solo los que trae? Saludos desde Rep Dom :D
Model Meta-Llama-3.1-8B-Instruct-Q4_K_M failed to start. ni modo RIP
Ni tan seguros, yo lo uso de todas maneras, le pregunte a llama de como se actualiza sino la conecto a internet, y me dijo que almacena información en la cache en disco y según el tamaño así puede continuar trabajando desconectada de internet, pero una ves conectes tu internet, ella se conectará a los servidores de meta para actualizarse; ahora el punto es si se conecta a los servidores de meta que le impide subir las conversaciones realizadas?, nada incluso no tenemos ninguna certeza de que lo hace o no. Pero a Don Mark ya lo conocemos por su manía con los datos ajenos.
11:27 lol eso me paso una vez con bing chat hace como 3 meses xd la deje que escribiera y lo grabe no paro de escribir por 5 minutos cosas sin sentido y al final numeros y simbolos
Hola Xavier hay manera de que me ayudaras en capacitar como poder hacer esto conectando a una base de datos y que funcione en modo Local del IA para analisis de datos
qué modelos son recomendables para correr en una Macbook M1 con 8 gigas de ram?
Cuando no quiere cargar el modelo que se puede hacer??
Llama 3,le he preguntado cuantos parámetros tiene gpt4 y ha respondido lo que le ha dado la gana, no sé si es mucho de fiar
Hola, los modelos de lenguaje su principal uso no debería ser esperar que sean precisos a la hora de devolver información factual, sino sobre todo como herramientas de manipulación de textos y lenguaje en base a conocimiento aportado.
si si pero se puede hablar por micro? y que te lea sus respuestas?
¿Alguien sabe por que ChatGPT4 manda este mensaje? “New responses will use GPT-3.5 until your GPT-4 limit resets” (Las nuevas respuestas utilizarán GPT-3.5 hasta que se restablezca su límite de GPT-4), ¿“límite”?, ¿como que hay límites si es una cuenta pagada?.
Gracias por sus comentarios.
Sí, incluso con la versión de pago ChatGPT impone límites de uso. Antes te lo decía explícitamente, 40 mensajes cada 3 horas, ahora es algo un poco más difuso.
@@XavierMitjana Pero no debería ser así ¿cierto?, es casi como si el robot me dijera que necesita descansar. Creo que si lo de la AI va a ser así nadie debería temer el que te quiten el empleo 😂😂😂😂😂
diablos me pase 15minutos viendo y yo solo queria saber si podia crear imagenes en local y nunca lo dijo. Mal servicio!🙃
Es un vídeo sobre Llama 3, Llama 3 es un modelo de lenguaje, ¿cómo va a generar imágenes?
Hasta ahora no encontré otra IA mejor que PI. Hablo con la aplicación como si fuera una persona en cuanto su fluidez. Y en cuanto a contenido es suficiente hasta para nivel profesional. Llama es una tortuga por lo que veo y hay que ingresar Pront? y una tarjeta especial? Gracias me quedo con PI.
En qué aplicación haces tus avatares? Tienes vídeo sobre eso?
Lo hago con Midjourney+CREF+FaceSwap+Upscale en Krea o Leonardo, tutorial como tal paso a paso no tengo, pero de cada una de las partes están los vídeos en el canal.
Para los que sepan se podría usar Llama 3 con chatRTX?
Y en ese caso iría más rápido que con LMstudio?
Mi maquina no es compatible con ML Studios, me dice que los Backends son incompatibles. Que puedo hacer para solucionar este problema
He montado llama 3, le falta pulirse un poco más, tengo otros modelos que son mejores, en los modelos pequeño deben estar orientado a cosas necesaria y no tanta información que no es necesaria. Por eso este modelo pasara por un proceso de reajuste, como hacen con los modelos de automatic111. Para que trabaje muy rápido el modelo debe estar configurado en la gpu al ancho de banda de la tarjeta, y en la parte de tokens que tiene un valor 2048, se divide lo del ancho de la tarjeta entre 64 y la cantidad te indique lo multiplicas por 2048. si tiene mucha memoria lo puedes dividir entre 32 o 16.
No me justa ollama, mi favorito sigue siendo LM Studio y la interfaz Web-UI de ollama, para modo local.
Una cosa si es cierta es más preciso el 70b de tokens, que el de 7b, pero como asistente desarrollo es bueno.
Hay que aprovechar llama 3 en Huggins mientras siga gratis, pero creo debe aún pulirse para ser tan bueno como ChatGPT.
Ojala que se diseñe server para tener su propios modelos y que sean de 300b de tokens, sería la Ostia !!! ☺
9:25 no me pidio nada asi que como lo instalo?
Para chatRTX se necesita 8GB VRAM por si acaso, lo probe en mi 3060m de laptop y no funciono 😢
Pues el de RTX es muy tonto, he tratado de hacer que escriba relatos y lo hace fatal, chatgpt3 lo hace mucho mejor.
Si pruebas el de 8b claramente el gpt 3.5 esta a otro nivel. El de 70b es más decente pero creo que igualmente está un peldaño más arriba gpt
@@georyittgorayeb1900 he instalado todo el pack...
Xavier, ¿conoces algún modelo que no esté censurado y que se pueda cargar en local? Muchas gracias por tus excelentes vídeos.
No se yo, es más rápido que ChatGPT pero personalmente por ejemplo en scripting de powershell esta un poco flojo
Javier, abordas herramientas actuales de IA. ¿Conoces alguna herramienta para diseñar en solidworks? Con los vídeos de youtube, no es posible interactuar cuando surgen dudas.
Y para instalar una API local que de servicio de chatboot por ejemplo a una app propia, como lo harias?
Excelente, buena información, gracias
Mañana lo pruebo en un Mac Mini. Pregunta: para qué sirve la integración de LM Studio dentro de Jan?
Una pregunta necesito pasar imagenes a texto que prompts o IA recomendais?
Yo ya hice eso, pero sólo está disponible el modelo de 8B de parámetros.
¿Todavía no está disponible el mediano?
parece que para ellos el mediano es el de 70b
@@georyittgorayeb1900 Así es. Se supone que ya está liberado, pero no estaba disponible en LLM studio.
@@alejandroaltamirano9884 aaa dle que yo con ollama me descargue el de 70b
que lio ¡¡¡¡¡
PrivateGPT
Hola Xavier. Gracias x compartir info de alto valor.
Una consulta: Existe algun tipo de Recurso Basado en la Nube que me permita instalar un chat bot basado en IA y configurarlo de manera que "Aprenda ' como responder o sea mantener un diálogo en base a Respuestas y contenidos PreArmados en PDF?
Aguardo respuesta.
Gracias.
Entiendo que si buscas algo sencillo, necesitarías una herramienta tipo "Chatbase". Luego si tienes conocmientos técnicos puedes armarlo a partir de una API de Google, Microsoft u OpenAI.
Muchas gracias 🎉 ChatPDF pienso que es similar a la última opción.
muy bueno, gracias
En caso de que algún día los desarrolladores logren hacer esto de manera fácil en un celular con Android, ojalá puedas hacer un vídeo hablando de eso, ya que todas las novedades de IA las conozco gracias a ti, por ejemplo, Poe lo conocí gracias a ti. Sé que hoy en día ya se pueden instalar este tipo de cosas en Android, pero es muy engorrosos, ya que hay que usar comandos en Termux. Si se pudiera hacer una APK y descargar un modelo y luego cargar a la aplicación el modelo ya descargado (algo así como funcionan los emuladores de consolas de videojuegos) sería más fácil. Aunque no sé qué tan posible sea esto, ya que si todavía no se ha hecho, quizá es porque no se puede. Así sería más fácil, ya que además de no tener que estar poniendo comandos, en caso de que algo te dé error después que te haya funciona y tangas que desinstalar la aplicación, no tendrías que volver a descargar otra vez el modelo y podrías hacerlo todo de manera verdaderamente offline, ya que tendrías el APK y el modelo descargado, creo que con los años esto se va a poder resolver.
Donde vives? En la era de la cavernas? Eso ya se puede, la aplicación se llama "Layla Lite" instale phi 3, pero mi móvil no es muy poderoso así que tardo algo en responde 🤪
@@jjen9595 Oye amigo, gracias por avisar, yo no sé cómo se hace eso ¿Me puedes explicar, por favor?, y gracias por avisar, yo no sabía. Tengo un celular más o menos potente, creo que uno de esos modelos ultra pequeños me podrían correr, pero no tengo computadora, siempre e intentado buscar alguna APK parecida lo que hace LM Studio, pero para Android, ya que LM Studio solo está para computadora. Estar usado Termux no es práctico para mí, sobre todo porque en caso de que tengas que desinstalar Termux por algún motivo, y quieres volver a usar otrs vez el modelo que tenías, vas a necesitar sí o sí una conexión a inter para hacer todo ese proceso otra vez con comandos.
@@jjen9595 O sea, ¿se puede interpretar Phi 3 en Layla Lite?
@@UrsulaCallistis igual a lo que hacen en este video, le puedes preguntar y todo
@@UrsulaCallistis descarga el modelo, pesa 2 GB y ponlo en una carpeta en tu teléfono y después en Layla pon custom llm y ahí te pregunta dónde está, una vez que le haces click ya no puedes mover el archivo porque creo que se buguea y con eso ya puedes hablar con el chat, es posible ya que phi tiene 3 días de haber salido y está dedicado para teléfonos, aunque la versión de 2gb está bastante recortada así que para pruebas está bien
ya, pero como puedo usar modelos de ia por python, no hablo de colaide hable de ide para proyectos reales.
Acabo de actualizar Jan y aparece Llama 3 8B Q4
Buenos dias amigo gracias por tus videos, un favor que IA es recomendable para revisar codigo
bla bla bla
Graciasss increiblemente util este video
¿Degoteo? ... no puedes negar de donde eres¡, ¡muy buen vídeo¡
Esta muy bueno el video, graicas por compartir. No sé si existe alguno que admita cualquier tipo de archivo? (tipo xml, html, jpg, bat, py, xlsx, etc) y si hay alguna que pueda "entrenarse" en algo y que considere los avances que se hayan hecho en el tiempo en relación a cómo abordar ciertas tareas... eso existe en local a día de hoy?
Algo así como fine-tuning :D
Hola Javier, puede realizarse fine tuning de modelos en la nube y luego ejecutarlos en local. Creo que es lo más parecido a lo que necesitas.
@@XavierMitjana Podrías hacer un video de cómo sería el proceso? no me imagino haciendo fine-tuning en la nube (idealmente gratis) entregándole archivos, sería ideal conocer el proceso a grandes rasgos y así cada quién en su área pueda hacer sus primeros desarrollos con eso. Saludos y muy buenos videos!
Gracias x colocar llamita 🇵🇪 ❤
✨👌😎😮😎👍✨
Pregunta de novato: que espacio ocuparia en el disco duro de una laptop.
Entre 4 a 5 gb el modelo llama 3 , anque tambien esta el modelo PHI 3 de 2,5 gb y 500mb mas si instalas LM Studio si tu laptopva algo corta en recursos
Gracias!!
excelente aporte.
estan muy buenos me interesa todo esto
Que bueno! JAN lleve esa función de "charlar" con PDFs, a ver si doy con un modelo que me funcione... sino seguiremos indagando. Muy bueno este video con ideas.
le das muchas vueltas, en LM studio tmb tiene la opcion de hacer que el modelo cargue en la GPU sin tener que instalar nada.
Como se hace?