Gracias a Javi nos dimos cuenta en el minuto 9:27 que no estabamos compartiendo la pantalla! Puedes saltar directamente a ese punto para ver cómo se configura Anything LLM para conectar con cualquier fuente!
Excelente. Muy útil. Se agradece el esfuerzo y la generosidad de compartir vuestro conocimiento. Que continúen los vídeos. Gracias nuevamente. Saludos desde Buenos Aires, Argentina.
Justo estaba pensando lo extraño que era que no tuvieses la pantalla puesta y has contestado al instante la pregunta de Javi. Ha parecido magia, muy bueno todo fenómeno.
Muy bueno y muy claro! En la empresa donde trabajo estamos buscando desarrollar un chatbot que le sirva de soporte a los empleados de mesa de entrada (quienes reciben las llamadas y consultas) para poder dar respuesta sobre procesos muy secuenciados y procedimentados a los clientes. Para que tener un poco mas de contexto: La empresa es una incubadora de emprendedores que presta ayuda a pequeñas empresas en lo referido a aplicación a prestamos, grants, seguros necesarios para la accion, constitución de la empresa, etc. Crees que utilizar LLM Studio con Ollama + Anything LLM puede ser una buena opcion para lograr esto? Hay alguna otra opcion que creas viable u optima? En lo referido a los Inputs: se puede usar una base de datos MySQL? Audios de llamadas transcriptos? Desde ya muchas gracias!
🎯 Key points for quick navigation: 00:00:08 *🚀 Overview of Anything LLM* - Introduction to Anything LLM, a solution for connecting various LLMs with data sources. - Benefits include running agents, querying documents, and connecting to different platforms like TH-cam. 00:02:08 *🧩 Installation and Features* - Installation process on different operating systems and the integration of local and remote services. - Discussion on the tool's features, including embeddings, transcription, and model integration. 00:05:06 *🛠️ Configuration and Usage* - Explanation of workspace setup and configuration options, including setting up local services like Olama. - Discussion on choosing embedding models and how they affect performance based on document language. 00:11:10 *📄 Document Integration* - Guide on adding documents and generating embeddings for more effective querying. - Example of integrating documents from DSPy and utilizing them in the workspace for reference. 00:19:06 *🔗 Connectivity with Local Tools* - Connectivity with local tools like LLM Studio, allowing for embedded document management. - Explanation on setting up LLM Studio as a server for enhanced local processing and efficiency. 00:22:56 *🖥️ Local LLM Performance* - Discussing the setup and compatibility of local models with OpenAI and others, - Comparison of models and setup for better performance evaluation, - Explanation of loading models onto GPU to enhance processing speed. 00:28:02 *🚀 Using LLM Studio and Server Setup* - Transitioning LLM Studio to a server setup for local use, - Demonstrating the steps to activate server mode and its benefits, - Details on changing models and server access permissions. 00:33:11 *🔀 Switching Between Local and Remote Models* - Flexibility of switching between local models and remote services like Grok, - Performance considerations and efficiency contrasts between different setups, - Demonstrating practical applications and tests in real-time. 00:37:47 *📊 GROK Demonstration and API Usage* - Introduction to Grok, highlighting its high-speed capability, - Practical examples showing the performance of answering queries using Grok, - Discussion on the services and documentation access through Grok. 00:42:24 *📂 Using Agents and Advanced Features* - Exploring the agent functionalities within LLM, such as RAG and web browsing, - Overview of data integration features like Document Connectors and multi-source imports, - Demonstration of using agents to summarize and interact with various datasets. 00:46:47 *🎥 Video Transcription and Application* - Utilizing agents to extract and summarize video transcriptions from TH-cam, - Demonstration of integrating video transcripts into LLM for querying, - Examples of practical use and the potential of these features inside LLM environments. 00:47:15 *📂 Document Management in GitHub Repositories* - Managing and downloading files from GitHub repositories, - Using a script to convert GitHub to file archives efficiently, - Exploring directory contents and ensuring full repository downloads for comprehensive access. 00:51:21 *⬇️ Data Connection and Website Download Configuration* - Demonstrating how to download specific levels of website documentation, - Configuring data limits for efficient information retrieval, - Exploring document embedding and search functionality. 00:56:33 *🧠 Developing Prototypes with Flowise and Rivet* - Discussing Flowise AI as a visual low-code interface for workflows, - Comparing prototype development tools: Flowise and Rivet, - Highlighting ease of use for rapid prototyping and integration with model testing. 01:02:29 *⚙️ Configuring Rivet for Llama and Plugin Integration* - Setting up Rivet for seamless execution using Llama and plugins, - Configuring node types for plugin compatibility, - Leveraging Rivet for structured workflow with prompt-response dynamics. 01:08:51 *🛠️ Rivet’s Functional Capabilities and Demonstration* - Demonstrating dynamic content updates and formatting within Rivet, - Utilizing plugins for diverse model access and seamless data processing, - Exploring Rivet's flexibility in composing agents and workflows effectively.
Hola Cesar, una pregunta. Permite Anything LLM levantar un servidor como hace LM Studio para poder beneficiarse de ese "pseudoRag" que has montado con Anything LLM y los documentos en vectorial? Muchas gracias y excelente video.
Buenas, un buen trabajo, te vas un poco a veces por los cerros de Ubeda de lo que es el contexto del directo, pero aún así creo que lo explicas todo bastante bien y se ve que controlas de lo que hablas. Así que enhorabuena por el trabajo....😂😂😂 Una duda personal, entre Anything LLM y Open Webui, cual crees que es más eficiente y da mejores resultados? Propuesta: Seria interesante que hablaras de AutoGPT, considero que ese programa le vendría bien conocerlo a la mayoría de los que estamos aquí. Con respecto a AutoGPT me surge la duda de si usar Auto-GPT 5.1 con la Gui de Neuronic, o usar directamente uno con Gui integrada como podría ser el tractr/auto-gpt:4.0. Ya nos dirás cual es tu experiencia al respecto, si los probaste, o sino animate un día, considero que es un programa muy interesante. Bueno, te mando un saludo y se agradecen tus comentarios.
Los directos siempre son un reto, porque ando haciendo una tarea y leyendo las dudas y comentarios de las personas que están en directo y... a veces acabamos totalmente en Úbeda! La parte buena, es que a veces descubrimos cosas nuevas que pueden interesar a otra gente. En cuanto a AnythingLLM y OpenWebUI creo que depende mucho de lo que quieras hacer con ellos. AnythingLLM tiene la parte de agentes (pero nunca me han llegado a funcionar super bien con modelos locales). OpenWebUI tiene las librerías de templates y documentos muy fáciles (y tengo la sensación de que las últimas versiones tienen muchas funcionalidades extra). Por mi parte, para comparar salidas de modelos estoy probando otro UI sobre Ollama que se llama Msty. Me apunto AutoGPT para probarlo y compartir impresiones. He probado varios frameworks de agentes y uno de los retos es encontrar ejemplos que interesen (y que no sean super complejos)
@@LaHoraMaker lo primero, gracias por responder. En segundo lugar, he probado autogpt e investigado más a fondo, y considero que le queda mucho trabajo por detrás que hacer aún para que sea realmente útil. Por ahora pcoo más que para jugar con el vale. Aunque está en constante actualización y podría ser interesante de cara a un futuro próximo. Pero Autogen Studio 2 si que parece que ya tiene más trabajo hecho (dado que está Microsoft por detrás) y da la impresión de que podria ser la base de GPT 5. Con lo cual te cambio la idea de traer AUTGPT para traer AUTOGEN, que además nos será más fácil de entender y usar a los que no sabemos tanto de programación o workflows agenticos de los que estamos por aquí, ya que es low code. En cuanto a los directos, no era una critica, sino más bien una critica constructiva, tu hazlo como buenamente puedas y quieras, que para eso es tu canal. Un saludo y espero ver cosas interesantes por aquí... 😉
Hola César, ¿qué tal? Antes que nada me gustaría felicitarte por tu labor, ya son varios vídeos tuyos los que he visto y los encuentro de gran valor divulgativo, estoy aprendiendo mucho. Sin embargo, tengo una consulta específica que no he logrado resolver a día de hoy. Se me ha encargado generar una base de datos que contenga todos los conocimientos pertenecientes a artículos, libros y podcasts de un experto en neurociencia con el fin de que una ia se alimente de estos y pueda manejar información de neurociencia que pertenezca a las conclusiones de este experto. El caso es que tengo un quebradero de cabeza porque no sé cómo hacerlo. He intentado el RAG pero he descubierto que hay un máximo de tokens por interacción, cuando el objetivo final de esta ia es que con una sola pregunta pueda responder basándose en la información de todos los documentos (que son alrededor de 1000000 de palabras, lo que equivale a muchísimos tokens). Entonces contemplé el fine-tuning, pero no sé si es algo accesible para mí o se debería contratar un servicio. No sé si es una tarea que pueda solventarse con RAG ya que no llego a entender del todo cómo funciona el tema de los tokens, en el sentido de cómo lee los documentos, si lo hace todo del tirón, si va en busca de palabras clave para poder abarcar mucho más texto sin tener que analizarlo todo... Mi pregunta es, sin hacerte perder tiempo, si se te ocurre alguna forma de abarcar esta tarea, o cuál es la mejor. Mil gracias de antemano.
Hola saludos, simplemente una opinion para que lo tengas en cuenta por ejemplo: en cloud de antrop. nos dice que cuando subes un archivo sea lo mas preciso con el pront ya que "siempre se vuelve a leer el archivo entero" para poder dar una mejor respuesta. con respecto a tu aplicacion claramente (1000000 de palabras) es demasiado una base de inicio que considero es que puedas generar distintos temas resumidos por ejemplo : 300pag,200pag,300pg... ect que cada uno hable dentro de cierto contexto y cuando tengas que resivir una respuesta basada en el pensamiento de este (experto en neurociencia ) puedas conseguir dicha respuesta, teniendo en cuenta que justamente un RAG es para que el LLM "Aprenda" de tus documentos en una forma directo. simplemente es una opinion que tal vez te oriente y puedas probar. saludos!!!
@@remota2acosta756 Aplicaré tus consejos ya que la información fragmentada y resumida es lo que parece que mejor funciona a día de hoy en un RAG. Muchas gracias por tu gran respuesta y por tomarte el tiempo de contestarme, eres un crack!! ❤
Hola! Estoy retomando los comentarios que se me quedaron en el tintero estas vacaciones. En cuanto a la generación de contenidos, con el RAG vas a poder avanzar mucho. El reto fundamental es como extraer la información de forma precisa y luego recuperarla ante distintas preguntas. Existen frameworks específicos para este tipo de tareas como LlamaIndex o Haystack. Con estos podras leer los documentos y almacenarlos en una base de datos vectorial. De hecho, podrás también decidir cuántos fragmentos recuperar hasta completar el tamaño de tu ventana de contexto (8k para los modelos más pequeños y 128k para modelos más grandes). De cara a hacer fine-tuning, hay herramientas específicas como augmentoolkit para generar conjuntos de datos a partir de documentos base: github.com/e-p-armstrong/augmentoolkit (Eso si, no son triviales del todo de usar) Espero que te resulte útil!
he intentado hacer lo mismo pero con llama3 y LMStudio y no me ha citado los txt. alguna pista? es posible que no tenga agentes mi ia a traves del servidor de LMStudio?
Buenas, yo quiero que solo me responda lo que hay en los documentos y que si no lo hay me diga que no tiene la respuesta, es posible esto? porque le subi todos documentos tecnicos y cuando le pregunte como hacer un sandwich me respondio... estoy perdido la verdad.
Gran pregunta. Según los modelos, pueden funcionar mejor o peor detectando cuando el contexto y la pregunta no tienen mucho que ver. Supongo que para este caso de uso, tendrías que indicarle en el prompt qué parte es la pregunta y cuál la información de contexto.
Anything LLM te descarga todo o hay que descargar los modelos aparte? lo he ejecutado y en llm preferences y embedder no me carga ningún modelo al elegir ollama como provider (en la ventana chat model selection y embedding selection aparece en ambas --loading available models --)
me paso exactamente lo mismo, incluso ingrese la url de ollama local (que me aparece corriendo sin ningun problema) y no aparecen modelos ni embed disponibles para elegir, continue usando la configuracion de anything pero lo ideal seria seguir este video que esta genial por lo demas, gracias!, ¿alguien conoce este error?.
Yo instale Ollama y por defecto viene Solar. Luego, desde PowerShell, me descargué el modelo embebed que menciona, con el comando: ollama pull nomic-embed-text:latest Luego ya aparecerá para seleccionar en embebed si mantienes Ollama ejecutado. PowerShell si se puede cerrar.
Puedes llamar desde Langchain a LM Studio con el módulo de OpenAI. Lo único que tienes que definie el parametro openai_api_base='localhost:1234/v1" para que conecte con el servidor local. api.python.langchain.com/en/latest/llms/langchain_openai.llms.base.OpenAI.html
Anything LLM tiene conector para Confluence como origen de los datos y puede conectar con Azure OpenAI como backend. La propia herramienta también tiene una API que permite ofrecer las capacidades configuradas vía AnythingLLM, aunque no la he probado todavía: docs.useanything.com/features/api Así que sería posible conectar este chatbot para que tirara de las fuentes de Confluence con este sistema.
¿En qué sistema operativo lo estás probando? En Windows, incluye Ollama que debería detectar automáticamente tu GPU. Por otra parte, ¿has probado a conectar Anything LLM a tu LM Studio local?
Si a mi no me funciono el embedding con Ollama, tuve que correrlo con Llm studio, prueba a ver, y el modelo ollama3 si pude correrlo con Ollama, que dio problemas con los puertos al inicio
@@LaHoraMaker Hola , lo primero gracias por contestar y enhorabuena por tu canal . Estoy usando W10 y como LLMProvider los modelos que proporciona por defecto AnythingLLM , en concreto Llama2 7B , mi procesador tiene una GPU integrada y es esa la que Anything está usando , eso es lo que veo al monitorizar los recursos del sistema mientras lanzo preguntas , para salir de dudas desconecté la RTX3060 del equipo y el Anything se comporta igual , este comportamiento me recuerda a LLM Studio cuando no activas la opción de uso del 100% de la GPU Nvidia . Probaré a usar como servidor LLMStudio a ver si de esta manera solvento el problema y comentaré resultados. Un saludo
@@LaHoraMaker Solucionado , con Ollama como Servidor como muestras en el video , cargandole Llama3 8b todo ok , parece que el problema es que usando como LLMProvider el propio Anything corre los modelos sobre la CPU o eso parece .....
Gracias Cesar, no conocia ninguna de las aplicaciones, yo trabajo con FlowiseAI, para la creacion y puesta en produccion de flujos para llms. Estaría bien hacer algun flujo con ollama y como usar memorias, embedins y demas en Rivet Gracias de nuevo
He visto cientos de videos que prometen eso he probado todo y el porcentaje de éxito de la recuperación 60% si acaso Y eso estoy hablando de documentos sencillos cuando hablamos de documentos complejos ni te cuento Termina uno pagando servicios como la llamaparsw de llamaindex y usando modelos de pago porque si el proceso de Chungking y en Bing es malo pues el modelo te va a responder mal
me volvi loco con esta aplicacion, la verdad probé varios modelos entre ellos Llama3.1, tiene un nivel de error enorme, no es confiable, le cargue varios CSV, PDF, terrible el error, no se si hay alguna version paga o que pero mi experiencia es mala o tal vez los documentos deben cumplir cierto requisito, no se, espero saber el comentario de otros usuarios
![[UNCUT]"ทนายตั้ม" แฉยับ! ความลับสวรรค์ ใครคือ "บิ๊กเทวดา" ของบอสพอล l คนดังนั่งเคลียร์ l 15 ต.ค. 67](http://i.ytimg.com/vi/ru9fpSaUwdA/mqdefault.jpg)
Gracias a Javi nos dimos cuenta en el minuto 9:27 que no estabamos compartiendo la pantalla! Puedes saltar directamente a ese punto para ver cómo se configura Anything LLM para conectar con cualquier fuente!
Realmente excelente tu video, desde que vi tu canal veo explicas de una manera fácil y con ejemplos prácticos y reales, gracias!!
Excelente. Muy útil. Se agradece el esfuerzo y la generosidad de compartir vuestro conocimiento. Que continúen los vídeos.
Gracias nuevamente. Saludos desde Buenos Aires, Argentina.
Eres lo máximo,,,, todos tus videos son interesantes. Saludos desde Perú.!
Saludos y gracias. Me alegro mucho de que te gusten los videos.
Justo estaba pensando lo extraño que era que no tuvieses la pantalla puesta y has contestado al instante la pregunta de Javi. Ha parecido magia, muy bueno todo fenómeno.
Perfecto lo que estuve buscando hace mucho tiempo!!!!! Gracias miles Maestro
Buenas Maestro, me guardo el vídeo que lo acabo de ver. Tiene pintaza
Ya me dirás a ver qué te parece!
Muy bueno y muy claro!
En la empresa donde trabajo estamos buscando desarrollar un chatbot que le sirva de soporte a los empleados de mesa de entrada (quienes reciben las llamadas y consultas) para poder dar respuesta sobre procesos muy secuenciados y procedimentados a los clientes.
Para que tener un poco mas de contexto: La empresa es una incubadora de emprendedores que presta ayuda a pequeñas empresas en lo referido a aplicación a prestamos, grants, seguros necesarios para la accion, constitución de la empresa, etc.
Crees que utilizar LLM Studio con Ollama + Anything LLM puede ser una buena opcion para lograr esto? Hay alguna otra opcion que creas viable u optima?
En lo referido a los Inputs: se puede usar una base de datos MySQL? Audios de llamadas transcriptos?
Desde ya muchas gracias!
Que buen video, muchas gracias!!
Gracias a ti por comentar!
MUCHAS GRACIAS MUY INTERESANTE¡¡
Muchas gracias por tu comentario Fernando. Me alegro que te gustara el video.
saludos desde le Peru !!!!
Saludos Walter, desde Madrid!
Muy interesante. Gracias, César.
🎯 Key points for quick navigation:
00:00:08 *🚀 Overview of Anything LLM*
- Introduction to Anything LLM, a solution for connecting various LLMs with data sources.
- Benefits include running agents, querying documents, and connecting to different platforms like TH-cam.
00:02:08 *🧩 Installation and Features*
- Installation process on different operating systems and the integration of local and remote services.
- Discussion on the tool's features, including embeddings, transcription, and model integration.
00:05:06 *🛠️ Configuration and Usage*
- Explanation of workspace setup and configuration options, including setting up local services like Olama.
- Discussion on choosing embedding models and how they affect performance based on document language.
00:11:10 *📄 Document Integration*
- Guide on adding documents and generating embeddings for more effective querying.
- Example of integrating documents from DSPy and utilizing them in the workspace for reference.
00:19:06 *🔗 Connectivity with Local Tools*
- Connectivity with local tools like LLM Studio, allowing for embedded document management.
- Explanation on setting up LLM Studio as a server for enhanced local processing and efficiency.
00:22:56 *🖥️ Local LLM Performance*
- Discussing the setup and compatibility of local models with OpenAI and others,
- Comparison of models and setup for better performance evaluation,
- Explanation of loading models onto GPU to enhance processing speed.
00:28:02 *🚀 Using LLM Studio and Server Setup*
- Transitioning LLM Studio to a server setup for local use,
- Demonstrating the steps to activate server mode and its benefits,
- Details on changing models and server access permissions.
00:33:11 *🔀 Switching Between Local and Remote Models*
- Flexibility of switching between local models and remote services like Grok,
- Performance considerations and efficiency contrasts between different setups,
- Demonstrating practical applications and tests in real-time.
00:37:47 *📊 GROK Demonstration and API Usage*
- Introduction to Grok, highlighting its high-speed capability,
- Practical examples showing the performance of answering queries using Grok,
- Discussion on the services and documentation access through Grok.
00:42:24 *📂 Using Agents and Advanced Features*
- Exploring the agent functionalities within LLM, such as RAG and web browsing,
- Overview of data integration features like Document Connectors and multi-source imports,
- Demonstration of using agents to summarize and interact with various datasets.
00:46:47 *🎥 Video Transcription and Application*
- Utilizing agents to extract and summarize video transcriptions from TH-cam,
- Demonstration of integrating video transcripts into LLM for querying,
- Examples of practical use and the potential of these features inside LLM environments.
00:47:15 *📂 Document Management in GitHub Repositories*
- Managing and downloading files from GitHub repositories,
- Using a script to convert GitHub to file archives efficiently,
- Exploring directory contents and ensuring full repository downloads for comprehensive access.
00:51:21 *⬇️ Data Connection and Website Download Configuration*
- Demonstrating how to download specific levels of website documentation,
- Configuring data limits for efficient information retrieval,
- Exploring document embedding and search functionality.
00:56:33 *🧠 Developing Prototypes with Flowise and Rivet*
- Discussing Flowise AI as a visual low-code interface for workflows,
- Comparing prototype development tools: Flowise and Rivet,
- Highlighting ease of use for rapid prototyping and integration with model testing.
01:02:29 *⚙️ Configuring Rivet for Llama and Plugin Integration*
- Setting up Rivet for seamless execution using Llama and plugins,
- Configuring node types for plugin compatibility,
- Leveraging Rivet for structured workflow with prompt-response dynamics.
01:08:51 *🛠️ Rivet’s Functional Capabilities and Demonstration*
- Demonstrating dynamic content updates and formatting within Rivet,
- Utilizing plugins for diverse model access and seamless data processing,
- Exploring Rivet's flexibility in composing agents and workflows effectively.
Hola Cesar, una pregunta. Permite Anything LLM levantar un servidor como hace LM Studio para poder beneficiarse de ese "pseudoRag" que has montado con Anything LLM y los documentos en vectorial?
Muchas gracias y excelente video.
Hola Josema, si y no... Tiene su API pero no es compatible con la de OpenAI. docs.anythingllm.com/features/api
@@LaHoraMaker Muchas gracias por la respuesta. Saludos!
9:26 con pantalla ja ja gracias buen video tomatu like
Buenas, un buen trabajo, te vas un poco a veces por los cerros de Ubeda de lo que es el contexto del directo, pero aún así creo que lo explicas todo bastante bien y se ve que controlas de lo que hablas. Así que enhorabuena por el trabajo....😂😂😂
Una duda personal, entre Anything LLM y Open Webui, cual crees que es más eficiente y da mejores resultados?
Propuesta: Seria interesante que hablaras de AutoGPT, considero que ese programa le vendría bien conocerlo a la mayoría de los que estamos aquí.
Con respecto a AutoGPT me surge la duda de si usar Auto-GPT 5.1 con la Gui de Neuronic, o usar directamente uno con Gui integrada como podría ser el tractr/auto-gpt:4.0.
Ya nos dirás cual es tu experiencia al respecto, si los probaste, o sino animate un día, considero que es un programa muy interesante.
Bueno, te mando un saludo y se agradecen tus comentarios.
Los directos siempre son un reto, porque ando haciendo una tarea y leyendo las dudas y comentarios de las personas que están en directo y... a veces acabamos totalmente en Úbeda!
La parte buena, es que a veces descubrimos cosas nuevas que pueden interesar a otra gente.
En cuanto a AnythingLLM y OpenWebUI creo que depende mucho de lo que quieras hacer con ellos. AnythingLLM tiene la parte de agentes (pero nunca me han llegado a funcionar super bien con modelos locales). OpenWebUI tiene las librerías de templates y documentos muy fáciles (y tengo la sensación de que las últimas versiones tienen muchas funcionalidades extra). Por mi parte, para comparar salidas de modelos estoy probando otro UI sobre Ollama que se llama Msty.
Me apunto AutoGPT para probarlo y compartir impresiones. He probado varios frameworks de agentes y uno de los retos es encontrar ejemplos que interesen (y que no sean super complejos)
@@LaHoraMaker lo primero, gracias por responder.
En segundo lugar, he probado autogpt e investigado más a fondo, y considero que le queda mucho trabajo por detrás que hacer aún para que sea realmente útil. Por ahora pcoo más que para jugar con el vale. Aunque está en constante actualización y podría ser interesante de cara a un futuro próximo.
Pero Autogen Studio 2 si que parece que ya tiene más trabajo hecho (dado que está Microsoft por detrás) y da la impresión de que podria ser la base de GPT 5. Con lo cual te cambio la idea de traer AUTGPT para traer AUTOGEN, que además nos será más fácil de entender y usar a los que no sabemos tanto de programación o workflows agenticos de los que estamos por aquí, ya que es low code.
En cuanto a los directos, no era una critica, sino más bien una critica constructiva, tu hazlo como buenamente puedas y quieras, que para eso es tu canal.
Un saludo y espero ver cosas interesantes por aquí... 😉
Hola, tengo una duda. Si quiero vincularlo con Poe, es posible? porque hay un apartado, pero sólo recomienda Modal
Hola César, ¿qué tal? Antes que nada me gustaría felicitarte por tu labor, ya son varios vídeos tuyos los que he visto y los encuentro de gran valor divulgativo, estoy aprendiendo mucho. Sin embargo, tengo una consulta específica que no he logrado resolver a día de hoy. Se me ha encargado generar una base de datos que contenga todos los conocimientos pertenecientes a artículos, libros y podcasts de un experto en neurociencia con el fin de que una ia se alimente de estos y pueda manejar información de neurociencia que pertenezca a las conclusiones de este experto. El caso es que tengo un quebradero de cabeza porque no sé cómo hacerlo. He intentado el RAG pero he descubierto que hay un máximo de tokens por interacción, cuando el objetivo final de esta ia es que con una sola pregunta pueda responder basándose en la información de todos los documentos (que son alrededor de 1000000 de palabras, lo que equivale a muchísimos tokens). Entonces contemplé el fine-tuning, pero no sé si es algo accesible para mí o se debería contratar un servicio. No sé si es una tarea que pueda solventarse con RAG ya que no llego a entender del todo cómo funciona el tema de los tokens, en el sentido de cómo lee los documentos, si lo hace todo del tirón, si va en busca de palabras clave para poder abarcar mucho más texto sin tener que analizarlo todo... Mi pregunta es, sin hacerte perder tiempo, si se te ocurre alguna forma de abarcar esta tarea, o cuál es la mejor. Mil gracias de antemano.
Hola saludos, simplemente una opinion para que lo tengas en cuenta por ejemplo: en cloud de antrop. nos dice que cuando subes un archivo sea lo mas preciso con el pront ya que "siempre se vuelve a leer el archivo entero" para poder dar una mejor respuesta. con respecto a tu aplicacion claramente (1000000 de palabras) es demasiado una base de inicio que considero es que puedas generar distintos temas resumidos por ejemplo : 300pag,200pag,300pg... ect que cada uno hable dentro de cierto contexto y cuando tengas que resivir una respuesta basada en el pensamiento de este (experto en neurociencia ) puedas conseguir dicha respuesta, teniendo en cuenta que justamente un RAG es para que el LLM "Aprenda" de tus documentos en una forma directo. simplemente es una opinion que tal vez te oriente y puedas probar.
saludos!!!
@@remota2acosta756 Aplicaré tus consejos ya que la información fragmentada y resumida es lo que parece que mejor funciona a día de hoy en un RAG. Muchas gracias por tu gran respuesta y por tomarte el tiempo de contestarme, eres un crack!! ❤
Hola! Estoy retomando los comentarios que se me quedaron en el tintero estas vacaciones. En cuanto a la generación de contenidos, con el RAG vas a poder avanzar mucho. El reto fundamental es como extraer la información de forma precisa y luego recuperarla ante distintas preguntas. Existen frameworks específicos para este tipo de tareas como LlamaIndex o Haystack. Con estos podras leer los documentos y almacenarlos en una base de datos vectorial. De hecho, podrás también decidir cuántos fragmentos recuperar hasta completar el tamaño de tu ventana de contexto (8k para los modelos más pequeños y 128k para modelos más grandes).
De cara a hacer fine-tuning, hay herramientas específicas como augmentoolkit para generar conjuntos de datos a partir de documentos base: github.com/e-p-armstrong/augmentoolkit (Eso si, no son triviales del todo de usar)
Espero que te resulte útil!
que crack
Gracias por comentar Juan Pablo!
Muy bueno gracias amigo
Gracias Cesar !!!
Muchas gracias
he intentado hacer lo mismo pero con llama3 y LMStudio y no me ha citado los txt. alguna pista? es posible que no tenga agentes mi ia a traves del servidor de LMStudio?
Interesante contenido
Buenas, yo quiero que solo me responda lo que hay en los documentos y que si no lo hay me diga que no tiene la respuesta, es posible esto? porque le subi todos documentos tecnicos y cuando le pregunte como hacer un sandwich me respondio... estoy perdido la verdad.
Gran pregunta. Según los modelos, pueden funcionar mejor o peor detectando cuando el contexto y la pregunta no tienen mucho que ver. Supongo que para este caso de uso, tendrías que indicarle en el prompt qué parte es la pregunta y cuál la información de contexto.
Anything LLM te descarga todo o hay que descargar los modelos aparte? lo he ejecutado y en llm preferences y embedder no me carga ningún modelo al elegir ollama como provider (en la ventana chat model selection y embedding selection aparece en ambas --loading available models --)
me paso exactamente lo mismo, incluso ingrese la url de ollama local (que me aparece corriendo sin ningun problema) y no aparecen modelos ni embed disponibles para elegir, continue usando la configuracion de anything pero lo ideal seria seguir este video que esta genial por lo demas, gracias!, ¿alguien conoce este error?.
Yo instale Ollama y por defecto viene Solar. Luego, desde PowerShell, me descargué el modelo embebed que menciona, con el comando:
ollama pull nomic-embed-text:latest
Luego ya aparecerá para seleccionar en embebed si mantienes Ollama ejecutado. PowerShell si se puede cerrar.
Hola, se puede abrir lm studio a travez de langchain?
Puedes llamar desde Langchain a LM Studio con el módulo de OpenAI. Lo único que tienes que definie el parametro openai_api_base='localhost:1234/v1" para que conecte con el servidor local.
api.python.langchain.com/en/latest/llms/langchain_openai.llms.base.OpenAI.html
@@LaHoraMaker genial, aunque ahora debo convertirlo a typescrib, gracias
podrias hacer un tutorial para chat de voz y que vaya tan rapido como LLM Studio? gracias
yo estoy teniendo problema con Lm studios intentando conectarme con el sdk desde mis programas, a ver si con AnythingLLM lo consigo
¿Qué tal te ha funcionado AnythingLLM?
Muy buen video. Estoy tratando de nutrir un bot en azure con mis documentos de atlassian y consumirlos desde microsoft teams, es posible?
Anything LLM tiene conector para Confluence como origen de los datos y puede conectar con Azure OpenAI como backend. La propia herramienta también tiene una API que permite ofrecer las capacidades configuradas vía AnythingLLM, aunque no la he probado todavía: docs.useanything.com/features/api
Así que sería posible conectar este chatbot para que tirara de las fuentes de Confluence con este sistema.
Me interesa herramientas low code tipo flowiseai
como se podria hacer con pytho?
Parece que no corre con la GPU y no veo opción de modificar este parametro como en LLM Studio
¿En qué sistema operativo lo estás probando? En Windows, incluye Ollama que debería detectar automáticamente tu GPU.
Por otra parte, ¿has probado a conectar Anything LLM a tu LM Studio local?
Si a mi no me funciono el embedding con Ollama, tuve que correrlo con Llm studio, prueba a ver, y el modelo ollama3 si pude correrlo con Ollama, que dio problemas con los puertos al inicio
@@LaHoraMaker
Hola , lo primero gracias por contestar y enhorabuena por tu canal .
Estoy usando W10 y como LLMProvider los modelos que proporciona por defecto AnythingLLM , en concreto Llama2 7B , mi procesador tiene una GPU integrada y es esa la que Anything está usando , eso es lo que veo al monitorizar los recursos del sistema mientras lanzo preguntas , para salir de dudas desconecté la RTX3060 del equipo y el Anything se comporta igual , este comportamiento me recuerda a LLM Studio cuando no activas la opción de uso del 100% de la GPU Nvidia .
Probaré a usar como servidor LLMStudio a ver si de esta manera solvento el problema y comentaré resultados.
Un saludo
@@LaHoraMaker Solucionado , con Ollama como Servidor como muestras en el video , cargandole Llama3 8b todo ok , parece que el problema es que usando como LLMProvider el propio Anything corre los modelos sobre la CPU o eso parece .....
Gracias Cesar, no conocia ninguna de las aplicaciones, yo trabajo con FlowiseAI, para la creacion y puesta en produccion de flujos para llms.
Estaría bien hacer algun flujo con ollama y como usar memorias, embedins y demas en Rivet
Gracias de nuevo
He visto cientos de videos que prometen eso he probado todo y el porcentaje de éxito de la recuperación 60% si acaso
Y eso estoy hablando de documentos sencillos cuando hablamos de documentos complejos ni te cuento
Termina uno pagando servicios como la llamaparsw de llamaindex y usando modelos de pago porque si el proceso de Chungking y en Bing es malo pues el modelo te va a responder mal
me volvi loco con esta aplicacion, la verdad probé varios modelos entre ellos Llama3.1, tiene un nivel de error enorme, no es confiable, le cargue varios CSV, PDF, terrible el error, no se si hay alguna version paga o que pero mi experiencia es mala o tal vez los documentos deben cumplir cierto requisito, no se, espero saber el comentario de otros usuarios
Soy yo el único que piensa que nos estas compartiendo la pantalla y no lo estas haciendo? Edito: vale, ya, jaja
Así fue hasta el minuto 9! Pero gracias a Javi, pudimos solucionarlo antes de que fuera demasiado tarde!
Se oye demasiado bajo
¿En qué momento del video se escucha demasiado bajo? ¿O es todo el video en general?
@@LaHoraMaker Desde el principio.
@@pagutierrezn Lo siento, pero se oye perfectamente.
comprate un microfono