RAG + LLAMA 3
ฝัง
- เผยแพร่เมื่อ 26 พ.ย. 2024
- 🦙 RAG + LLAMA 3 🪅
🔗 Link Repo: github.com/dfb...
🌐 Llama 3 Official Website: llama.meta.com...
🤖 Ollama Link: ollama.com/lib...
🪅Documentation Embeddings: docs.ragas.io/...
🧿Fastembed: github.com/qdr...
⛓Embedding model: huggingface.co...
Me corrió todo a la perfección!!
Utilicé un pdf en español por lo que cambié a un modelo embeddding multilingüe, modificando el siguiente codigo:
embedding = FastEmbedEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
Por si alguno le sirve, saludos!
Ese modelo que tal es para los embedding?
@@pacashanaya va bien!
@@pablobandeira5461 , amigo lo he probado y te dire que tienes toda la razón corre de maravilla y con archivos pesados, en mi caso uso LlamaIndex:
gemma = Ollama(model="gemma2:2b", request_timeout=360.0, temperature=1)
Settings.llm = gemma
Settings.chunk_size = 1024
Settings.chunk_overlap = 100
Settings.embed_model=FastEmbedEmbedding(
model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
)
@@pablobandeira5461 , aunque solo hay un pequeño problema, que cuando recibe nueva información, ya se olvido la otra información que subi.
@@pacashanaya eso te va a pasar con cualquier modelo que subas, no es un error. Lo que deberías hacer es ir sumando memoria al prompt con las preguntas y respuestas pasadas. Saludos.
Excelente! Muy detallado
Gracias Jesus espero te sirva
He comparado tu trabajo con otros de la web y me sorprende la exactitud de las respuestas en relación a otros ejemplos similares. Pudieras agregar algún ejemplo utilizando una interfaz con streamlit.
De antemano, gracias por tu contenido.
Hola espero estés bien. Dale genial espero te sirva. Respecto a lo de agregar streamlit claro lo tengo presente para un próximo video. Saludos!
felicitaciones por el video, saludos desde chile
Muchas gracias Jaime un saludo
lo acabo de terminar y todo perfecto, mil gracias por el ejercicio practico
Gracias Elder espero te sirva. Saludos
Gracias David!
No hay de que Pablo espero te sirva
Gracias!!! Buen trabajo!!!
Hay un error en el enlance del punto 1, dentro de "pasos.md". Redirecciona, pero da error 404.
@@metadonapalatropa139 muchas gracias, ya lo corregí, espero te sirva
Magnifico video
En mi caso tengo ollama con una api corriendo en un chatbot en wp ¿como podria hacer para configurar que las respuestas sean de este modelo con RAG? ¿Podria cambiar solo el enlace al que apunta la API?
Hola Ariel espero estés bien en ese caso habría que tener la base de datos vectorial y las operaciones se comparación. Por lo demás el modelo podría ser ese u otro
Cuales son los req de hard mínimos para que el rag corra con una performance parecida a la del video?
Hola Alejandro en el video estoy usando una maquina con 16GB en GPU y 20 GB de RAM y el procesador Ryzen 9. Espero te sirva
@@davidbu8248 super útil. Muchas gracias