Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]
ฝัง
- เผยแพร่เมื่อ 4 ธ.ค. 2023
- Today we test out Ollama, we talk about different things that we can do with and we check out how easy is it to run your own ChatGPT with Docker.
Files I use:
github.com/pablokbs/peladoner...
ollama.ai/
--
Repo con todos los archivos que uso: github.com/pablokbs/peladonerd
Merchandising Pelado Nerd: merch.peladonerd.com
Micrófono: Rode VideoMicro + Zoom H1N
Cámara: Sony A7 Mark III
Lente: Sony 28-70mm 3.5
Laptop: Macbook Pro 16'' 2019
Puedes encontrar todos mis links en peladonerd.com - วิทยาศาสตร์และเทคโนโลยี
![จังหวะนี้ - เม้ก อภิสิทธิ์ [ Official MV ] จอนนี่มิวสิค](http://i.ytimg.com/vi/4gQRZCkRyiU/mqdefault.jpg)
Pequeño detalle, dependiendo el modelo también se le puede hablar en español! Yo lo hice en inglés mas que nada por costumbre, pero prueben en español que funciona 👍
Interesante
Excelente video bro..
Justo lo iba a preguntar jaja excelente 👍
y pa kubernetes? puedo meter esto en kube>?
a mi me funcionó perfectamente hablandole en español, me entendio todo 👌
Aquí los likes para una segunda parte haciendo fine tunning del modelo
Necesitooo
Wow Pelado, estaba investigando justo ayer como montar OLLAMA, este vídeo me va a venir genial! Vaya crack
Excelente! ya jugando con el chiche. Gracias por mostrar lo importante: qué hace, cómo lo instalo, cómo lo uso, cómo lo pruebo. Lo que realmente valoro de tus contenidos es que ayuda a pensar en cómo acercarme a las tecnologías: por dónde comenzar, qué buscar, cómo conectar con otras tecnologías que hay (ej aquí con docker) y disparar ideas para investigar y armar cosas. Y lo que más me gusta de todo: lenguaje sencillo y directo. Eso lo hace tan accesible y motiva a querer probarlo y aprender más para construir cosas. Gracias nuevamente por compartir y ser generoso con tus conocimientos!
Que buen video Pelado, creo que esta linea de contenido seguira creciendo, gracias por compartir ;)
Podrias sacarte una segunda parte revisar el fine-tuning
Grande Pelado... algo nuevo para jugar en el homelab... genial los conocimientos que brindas
Muchísimas gracias, no conocía el proyecto. Genial el vídeo. Los pelaos dominarán el mundo sí o sí
Wao Pelado , realmente gracias ya estoy aprendiendo mas acerca de ollama, alternativas y posibles usos
excelente aporte!! estaba buscando algo así con su propia API, muchas gracias!
Fantástico pelado, gracias por acercar estos recursos!!
Gran video, muy interesante 🤔. Sigue así crack.
Excelente tu video y tu explicación. Muchas Gracias.
Buenísimo, muchas gracias ❤
Lo voy a instalar en Debian que me encanta.
buen video pelado!
una pregunta out of context, que marca son tus remeras?
saludos
¡Gracias pelado!
¡Súper bueno el vídeo y el contenido! ❤❤❤❤✨✨✨👏👏👏🇵🇾🇵🇾
Gracias por este video. Se podrán entrenar o se usan ya como vienen?
excelente video, cuando quieres varios modelos, requieres varios volumenes?
!!!Excelente video, una consulta se podria montar ese docker y correr el servicio en Openshift?
Excelente video, gracias pelado por compartir lo ultimo de la tecnologia con la comunidad.
Pregunta: Tienes pensado presentar EMACS en el futuro del canal?
Hola Pelao.. felicitaciones! Genial el poder lograr re entrenar un modelo de estos con nuestra propia biblioteca de documentos. Sobre todo para evitar que esta información sea enviada a modelos de compañías como Microsoft o Google que podrían usar la información que se les comparte para el reentrenamiento de sus modelos. Súper si esto fuese lograble de una manera tan sencilla como lo expusiste acá.
pregunte esto mas arriba, tenes algún link como para entrenar el modelo, así con mi propia biblioteca. Te agradecería
como lograste entrenar el modelo con tus propios documentos?
Muy bueno, lo instalaré para jugar un poco
Tremendo esto Pablo! A analizarlo y hacer PoCs!!!!
Hermoso la sencillez, pero revienta la PC, se necesita mucho computo, y eso que utilizaste llama2, pero no la opción de 70B, que pesa 39 GB....
Gracias por compartir amigo, una consulta se necesita de una GPU para hacer la inferencia?
Tremendo video!
Buenisimo pelado ... gracias como siempre. 🇺🇾
Pd. 1 buena la data de usarlo en Spanish directo
Pd. 2 Ojota con Luggi que tiene la mala costumbre de manotear cosas
Muy valioso este video!
Se ve impresionante!, espero la version de Windows para poderlo usar con GPU, excelente contenido
Estaría interesantísimo si se puede hacer un ModelFile que por ejemplo lea los archivos de codigo de un proyecto. Para hacer como un mentor de código !
Pelado, excelente video! Tengo la duda de cuál es el grado de seguridad si uso Ollama para trabajar con mis archivos confidenciales. Es Ollama apto para hacer uso de mi propia AI con informacion confidencial y que dicha informacion solo forme parte de mi historial y no que la suba a la nube de la AI?? Gracias
Gracias pela querido, muchísimas gracias.
Buenas! Primer video tuyo que veo. Me interesé por Ollama. Queria saber si puedo usar Ollama para mi propio negocio. Soy desarrollador, y tengo conocimiento tecnico en programación. Quería saber si puedo entrenar a Ollama con el conocimiento de mi negocio, y así ofrecerlo como parte de mis servicios web (por ejemplo, en un e-commerce). Gracias!
Excelente video pelado!
Sabes si se le puede alimentar con informacion para que te ayude? quiero darle la documentacion de algunos frameworks que uso y me de consejos para usarlos mejor
Lo que he visto que se utiliza, por ejemplo en aplicaciones para preguntarle a documentos, es que tú guardas toda la información de la documentación en una base de datos por vectores, haces tu consulta a la base de datos, por ejemplo una pregunta relacionada con la p de JavaScript, le devuelves todos esos vectores que te dio la base de datos a tu modelo y le dices "oye, de acuerdo a la siguiente información responde a la pregunta del usuario", le pasas toda la información que obtuviste de la base de datos y te debería de responder conforme a lo que estaba en la base de datos función ma
Buen video. Estaría bueno complementar con los consumos de wattage al usar ollama, he estado investigando y no he encontrado alguien que lo haya hecho y sacado costos para tenerlo 24/7 😢
Hoy montamos Ollama en Kubernetes (AKS) con una compañera de trabajo. Y levantó bien, pudimos hacer preguntas a travez de Json (Port-Forward mediante) porque no tiene UI. Deberías hacerte un video de como montarlo en K8s y como ponerle una interfaz allí tambien.
Buen video !
No me quedo claro el tema del consumo de ram... que pasaria si tengo una pc que tiene 8 de ram, y simultaneamente tengo abierto cosas pesadas como el android studio, postman, 2 procesos simultaneos, y el buscaminas... Como reaccionaria la pc?
Me gustó bastante, será que se puede entrenar con nuestros datos ?
Gracias, muy util, puedo montar UN Modelo de estos para hacer analitica de una Empresa? No hay fuga de datos como saberlo? Y ya hay otro mas potente?
Que crack, será que esta explosión de LLM impacta mucho el área de SRE? Además de chatbots? 🤔
Genio Peladoooo
Buenisimo tu video, consegui hacerlo funcionar y ahora si quisiera añadirle un certificado ssl, que lineas tengo que añadir al .yml?
que buen vídeo, podrías hacer un vídeo de migraciones de sistemas que ya están muriendo como proxmox o algo parecido
Recomiendo revisrar langchain y base de datos vectoriales
Exelente video!! Donde encuentro documentación o la forma de entrenar estos modelos para personalizarlos aun más?
Eso sería muy util realmente.
Like y reply para ver si @PeladoNerd hace caso a este comentario.
@PeladoNerd
queremos entrenar (no Gym :) sino la AI
Gracias pelado!
Por cierto una pregunta, se podria correr un juego en un docker? xD
Mi bro, una consulta, como podemos modificar el reponse de esa api que levanta ollama ? o es uno predeterminado como tal ?
Y estos modelos custom se pueden usar también en el chatbot-ollama? O aún no hay soporte para eso, al menos el custom que cree no me aparece en la lista de la interfaz visual, solo los modelos que instale.
Muy buen video
bknnnnnnnn gracias pelaoooo!
Hola me gusto tu video, tengo una pregunta entonces haci como haces en el video, que el modelo simula ser mario puede ser cualquier personaje?
Si claro, lo que quieras
Se podría correr la misma demo con docker o K8s en una GPU? Se supone que es lo que hace OpenAI en su backend, no?
me mata el final de tus videos!
Como va llama para preguntas serias sobre programación, librerías etc?
buenisimo el video! Podrias explicar como integrarlo con mi propia data? para que le pueda dar mis apuntes por ejemplo, la IA internalice toda esa info, y me provea las respuesta pero desde mi data cuando le realice una pregunta. Gracias y aguanten los pelados!
Lo probé y ollama es potente
Hay alguna forma de hacer que las instrucciones queden en un color distinto al de las respuestas? ( o usando los codigos de color de bash por ejemplo?) Saludos!
me parecio buenisimo, es posible desde windows levantarlo en virtualbox??
para usarlo con ubuntu?
, mi pc es de 16gb de ram y un pentiun gold 4.1,
necesito una GPU de la nasa para correrlo???
Esa IA se podría conectar con stable Diffusion, para automatizar la generación de imágenes?
Excelente 100 %
esto ya se hizo en el canal de twitch de eldpit!!!!
Pelado, te tiro un desafío: Hacete un video de como montar un clúster kubernetes en 2 o mas raspberry y que corran modelos ollama.
Se puede configurar para que use la GPU de NVIDIA, o solo funciona con la CPU??
jajajaja no mms pelado si nintendo ve esto te va a caer la ley, excelente video gracias pelado
No man que te paso estas re flaco, felicitaciones por el update de facha
Acabas de convertirte en mi nuevo dios...
no es necesario ejecutar el comando "ollama serve" para que funcione? y como hiciste para que te responda con emojis? Saludos!
Se le puede conctar con una DB de un sistema X, por ejemplo CRM y que me diga quienes fueron los ultimos 10 clientes o qué cliente es el que mas gastó? O con una base de un Back Office y que me diga cuántas facturas de proveedores se me vencen este mes?
Hola, ¿como hacer fine tuning a Mixtral 7B? Y usar en Olama?
Aparte de la RAM hace falta una potente tarjeta gráfica y que pcu mínimo necesita ?
Buen video 👏👏
Tengo una duda. ¿Los modelos solamente funcionan si el input está en inglés?
nel, ya lo dijeron
@@ericalvarezbaltierr justo el mensaje de abajo lo pone el 🤦🏻♂️
Pregunta, cómo se puede tunear o reajustar el modelo hacia algo específico?
excelente contenido junto con los sad servers
Gracias por el contenido, esta muy bueno!! Mi consulta sería, se puede usar con otro idioma, me refiero, español o portugués? O caso contrario, solo con ingles?
Deberias buscar un modelo en español
@@PeladoNerd hay modelo en español?, si no se puede pasar por algún traductor en el terminal ?
Hay en español pero el rendimiento siempre va a ser muchisimo mayor en ingles
@@jms2182 me acabo de dar cuanta traspira mi CPU ....
Que gran video, una consulta: alguien me puede decir que extension es el Modelfile? por favor
Es muy interesante, podrías explicar como podríamos crear una interfaz personalizada para usar Ollama?
Enos años 90 había una IA que sintetizaba voz en español, tenía un rostro humano que reaccionaba emocionalmente a los contextos, una interfaz retro futurista muy atractiva y recordaba nuestras conversaciones... todo pesaba sólo 720K y se cargaba desde un Floppy en Amiga 500 (1MB de Ram 7,4MHZ CPU)
Se llamaba "Alan uno" por si quieres ejecutarlo en un emulador de Amiga
Me gustaría aprender a hacer algo parecido con la potencia de Llama
Hola discula puede que suene tonto preguntar pero estas apis tienene restriciones o politicas ejemplo chatgpt tiene algunos temeas los cuales no lo habla de manera habierta oh en temas de seguridad tiene restricciones como la de generar script o malware etc
pregunta como se lleva con la etica por que por ejemplo a chatGPT el de openAI hay cosas que le pregunto y por etica no me las puede responder !!!!
la gran pregunta, tiene su propia api?
Buenas, mi servidor corre con ZimaOs, por lo que no puedo correr el comando para descargar los modelos, cómo los puedo descargar se manera manual para despus guardarlo en el directorio al que pertenecen?
tengo un error Error response from daemon: error while creating mount source path con el docker compose que proporcionaste :( pero ya instale tambien Ollama en una MAC Help Sensei
hola, podrias hacer un cursito de Podman?
Muy pero muy buen contenido, ahora por que no en español si los modelos son bilingües? Por lo demas muy bueno ya implementado en mi server y con los webhooks de meta ya tengo mi chat boot para Whatsapp
tiene API requets? necesito hacer peticiones para un proyecto
En docker se siente que no corre al 100%, se demora bastante.
Mi pc:
Procesador 12th Gen Intel(R) Core(TM) i7-12700KF, 3610 Mhz, 12 procesadores principales, 20 procesadores lógicos
Memoria física instalada (RAM) 64,0 GB
Placa de video GTX 3080
O sea, es lo mismo que LM Studio?
Este modelo off line tem alguma restrição de políticas. pois trabalho com nicho adulto e tenho muita dificuldade para trabalhar.
Como siempre el final xD
Estaria genial que intentes realizar un asistente virtual al estilo de el de la película why him, que es un asistente que hace bromas se ríe y es sarcástica y mal sonante
yo baje un modelo el instalador bajo pero luego a la hora de descargar me aparecio peticion invalida cored dumper o algo asi no se a q se deve,bueno tengo un dinosaurio de 4 g i procesador 1.5
se puede para servidores Linux?
Cuando vas a hacer un video sobre karpenter
Dale es gracioso el chiste de los átomos.
Solo por curiosidad preguntale utilizando Mistral o Llama2 en que mundiales participo Maradona. En ambos modelos de movida te dice que Argentina no gano el mundial de 1986.
Realmente no piensa. Es un sistema estadístico por proximidad de palabras relacionadas unas con otras.
"Tengo el cooler bastante liviano". Sin comentarios
Habria alguna manera de vincular la base de datos para que responde en relacion a eso
Tienes q entrenarlo. Aquí están usándolo con modelos previamente entrenados.
llm studio?
Porque ese mistral solo pesa 4GB? Veo en su pág oficial que pesa mas de 20GB
excelente, este tambien esta censurado como chatgpt ?
tienes no censurados !
qu eno era que se podía usar la gpu?
Igual lo ha dicho en el vídeo, pero me pregunto si se puede uno montar un servidor local al que se le hagan llamadas desde otro ordenador. Si es así igual se puede usar para tener un asistente de creación y corrección de código en local sin tener que pagar por ap de chatgpt. Si estoy diciendo alguna chorrada corríjanme.
podes probar con el modelo de codellama