Requisitos de Hardware GPU: VRAM: Para el modelo llama3 8b, se recomienda tener al menos 5.6 GB de VRAM. Si optas por el modelo llama3 8b-instruct-fp16, necesitarás alrededor de 15.6 GB de VRAM. CPU: Se sugiere un procesador moderno, como un Intel de 10ª generación o AMD Ryzen 4 o superior, para asegurar un rendimiento adecuado. Memoria RAM: Un mínimo de 16 GB de RAM es necesario para ejecutar los modelos de manera eficiente. Tener menos RAM puede resultar en un rendimiento lento. Almacenamiento: Dependiendo de cuántos modelos desees instalar, necesitarás espacio en disco. Por ejemplo, la interfaz web ocupa alrededor de 2 GB, y cada modelo puede ocupar entre 50 GB a más de 100 GB, dependiendo del tamaño del modelo. Sistema Operativo: Ollama es compatible con sistemas como Windows, macOS y Linux, así que asegúrate de tener uno de estos sistemas operativos instalado. Con este hardware adecuado, podrás ejecutar Ollama y sus modelos de manera efectiva en tu máquina local.
Es exelente. Sabes si podria instalarlo en mi proyecto para hacer un chat bot de whatsapp usando mis datos y evitando pagar la api de openIa? Gracias por tu aporte. siempre aprendo en tu canal
Excelente video man! Oiga! no habia mirado el numerito de los me gusta y las vistas! Como ha crecido el canal eh? recuerdo cuando era el unico que comentaba :P :D Grande Fatz! siga educandonos, por favor! EDIT: no que lama 3 acaba de salir? y usted ya nos está enseñando a usarlo?... lo siento, lo olvidaba... FAZT Code :D
Fazt, saludos y agradecimientos por tus valiosos aportes. Tengo una consulta sobre el rendimiento de la computadora. ¿Cuál es más eficiente en términos de código: usar el editor Cursor o la extensión en Visual Studio Code? Además, ¿cuál de estas opciones consume menos recursos y afecta menos el rendimiento de mi equipo?
No me funciona ,pongo consultas en el chat pero solo sale la tipica ruedecita girando en el cartel del modelo llama3:8b al lado del simbolo de home....
baje todo lo que dijiste, llama 3, codellama, mistral y variossss...pero al ejecutarlo osea al usarlo en vscode va lentísimo. mi laptop asus core i9 con 32Gb de ram. y en todo es muy rápida, nose si la IA consume todo y no seria viable. no quiero ni pensar como seria con una laptop de menos especificaciones.
Hola Fazt... Tengo una duda, cuando termina el instalador de Ollama, no se ejecuta la terminal para instalar el modelo Llama3 ¿Existe una forma manual para ejecutar dicha terminal?
tengo problemas al descargar la extensión, simplemente se queda en blanco, no puedo ver nada de la extensión, ya intente deshabilitarla, reinicar el vsc y hasta reiniciar el pc y nada
Excelente compa, tengo una pregunta tu que sabes más, si tú dices que llama3 fue entrenado con la información del 2022, y por eso no te muestra las nuevas características de react o cualquier otro framework, la pregunta es como puedes actualizar el modelo ? Se puede ir a Github y descargar las últimas versiones y cargarlas en el modelo y con eso podríamos tener actualizado el modelo ? O es más complicado que eso?
Buenas, gracias por la herramienta muy buena, yo tenia la duda de si al igual que github copilot, que depura el código y no lo almacena en sus servidores. En resumen si nuestro código no se hace publico utilizando esta herramienta. Saludos.
Grande fazt, podrías subir un vídeo de cómo conectar node con el modelo y así poder interactuar con el directamente desde el código y usarlo en proyectos? Por favor sería de gran utilidad.
Muchas gracias, a mi no me funciona, me imagino que puede ser por el tema de la exigencia a la tarjeta grafica. El CodeGpt esta genial, pero solo permite 5 preguntas en las demas IA
Gracias! Estaba en esto de hace tiempo pero había un par de cosas que no me funcionaban. Que bien que la semana que viene den autocompletado. Llama3 va mejor incluso que codegemma para código no? mola que con una 1070 que tiene unos 8vram, si configuro windows a procesar en "económico" no se calienta a 82grados como cuando lo pongo en alto rendimiento. Un poco más lento pero más vida pal pc que esta viejito aunque aguanta :)
Justo iba a preguntar eso jaja parece que estoy friendo huevos en el cpu, ni con los juegos pasa de 70 °C y no vi ningún comando que limite el uso de recursos o algo
Al utilizar Llama 3 mi CPU hace todo el proceso y mi GPU no hace nada, haciendo que sea lento y las respuestas dilatan en cargar, alguna sugerencia porfavor para utilice mi GPU, tengo una GTX 1650
Existen dos variantes: Llama 3 8B, si tienes un sistema con recursos limitados y Llama 3 70B, mientras cuente con un rendimiento excepcional, pero con mayores demandas de hardware. Aquí están los detalles sobre estos modelos y los requisitos de hardware para ejecutarlos localmente: 1. Llama 3 8B: - Requisitos mínimos de hardware: + RAM: Al menos 16 GB + GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA + Disco Duro: 4 GB 2. Llama 3 70B: - Requisitos mínimos de hardware: + RAM: 64 GB o más + GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA + Disco Duro: 20 GB
no pues, chatgpt es la interfaz, solo existe una, lo que se puede conectar es a los modelos de openai como gpt 4, para eso necesitas el api key, pero no es gratis te cobran por token dependiendo de que modelos elijas te sale mas barato o caro
De lo que he probado, con Ryzen 3 3200G, funciona sí, pero usa 100% del CPU, para la RAM en cuanto al proceso ollama_llama_server usa 4.6 GB, de la GPU integrada es muy poco el uso 400MB aprox. Tengo 16GB de RAM a 3200MHz Resumiendo, al menos con mi procesador la temperatura se va a 82 °C con disipador stock, no recomendable jaja a menos que le bajes la energía máxima al procesador a costa de que tarde más en responder o tener un disipador muy bueno. Podrías probar a ver cómo funciona el en Ryzen 5, no pierdes nada. Solo cuestión de ver las temperaturas, posiblemente con una gráfica mejore el uso del CPU.
@@ZeroCool22 TH-cam no deja poner links, pero hay un hay un post de GitHub. Los modelos van: - Modelo 7B - 4GB VRAM - Modelo 13B - 8GB VRAM - Modelo 30B - 16GB VRAM - Modelo 65B - 32GB VRAM
Fazt excelente video, gracias por compartir tu conocimiento y enseñar las cosas paso a paso. Te sigo hace tiempo, con este video aprendí a crear mi primera página HTML th-cam.com/video/rbuYtrNUxg4/w-d-xo.html Desde ahí me sigo capacitando y aprendiendo cada vez tecnologías nuevas, ese hecho ha cambiado mi vida y me ha abierto puertas a trabajar para empresas.
hola :D me sale esto v3.5.120 Unable to connect to the extension services Requirement Required System VSCODE ^1.82.0 1.93.1 Vscode Node >=18.0.0 20.15.1 App Default Port 54112 Troubleshooting
Fazt es mi pastor y nada me faltará!
Fazt es mi pastor y mi código compilará.
🤣🤣🤣
Sobre delicados repositorios me hará descansar
Cuando camine por el valle de los bugs, no temere porque fazt es mi pastor, y mi proyecto se deployara
Se pasan 😂
Espectacular extensión GPT Code + Llama3. Muchas gracias!
Justamente compré una ASUS con i9 gen 13 la semana pasada para usar Ollama. Esto es genial. Gracias.
Confío en ti porque tenés credibilidad
no entiendo
Fazt: No se preocupen, la descarga es muy rápida
Yo al ver su conexión de más de 1 Gbps :|
Requisitos de Hardware
GPU:
VRAM: Para el modelo llama3 8b, se recomienda tener al menos 5.6 GB de VRAM. Si optas por el modelo llama3 8b-instruct-fp16, necesitarás alrededor de 15.6 GB de VRAM.
CPU:
Se sugiere un procesador moderno, como un Intel de 10ª generación o AMD Ryzen 4 o superior, para asegurar un rendimiento adecuado.
Memoria RAM:
Un mínimo de 16 GB de RAM es necesario para ejecutar los modelos de manera eficiente. Tener menos RAM puede resultar en un rendimiento lento.
Almacenamiento:
Dependiendo de cuántos modelos desees instalar, necesitarás espacio en disco. Por ejemplo, la interfaz web ocupa alrededor de 2 GB, y cada modelo puede ocupar entre 50 GB a más de 100 GB, dependiendo del tamaño del modelo.
Sistema Operativo:
Ollama es compatible con sistemas como Windows, macOS y Linux, así que asegúrate de tener uno de estos sistemas operativos instalado.
Con este hardware adecuado, podrás ejecutar Ollama y sus modelos de manera efectiva en tu máquina local.
Excelente video, muchas gracias, tus tutoriales son excelentes, van al grano bien explicados y sin exagerar en detalles, muchas gracias.
excelente me funciono, ya tengo copilot pero con esta nueva ia podre complementar mejor mi forma de desarrollar.
Muy buen tips mi hermano, tambien soy creador de contenido, tus contenidos son excelentes, GRACIAS
Yo uso Codeium y si tiene autocompletado, y un chat integrado en VS Code, usa GPT-3 👍👍👍
es mejor, sin gastar tantos recursos. o incluso el editor del cursor.sh
@@eduardodudu5695 yo uso Cursor
@@eduardodudu5695 que les parece mejor codeium o code whisperer de aws
Codeium es amor, codeium es vida.
Aunque ayer note que fallaba un poco
@@jomoju para ser gratuito esta genial
Justamente había visto la noticia del lanzamiento de llama 3 y pensé en si fazt haría algún tutorial sobre eso... increíble fazt, un grande!
Tus aportes son realmente útiles, gracias por compartir
Excelente video, primera vez usando ia en mi vs code
Gracias fazt, tengo entendido que te llamas igual que yo, pero, de grande quiero ser como tú, gracias por tus aportes compa
Super interesante. Voy a probar hacerlo. Gracias por compartir tus conocimientos.
MUCHAS GRACIAS AMIGO , ME SERVIRÁ MUCHO PARA PRACTICAR PYTHON , MIL GRACIAS
Yo uso la extensión de black box, tiene autocompletado, pero me parece genial llama 3. Lo probaré
Gracias fazt! como siempre un grande
Agradable aporte, para nosotros los humildes.
Parcero te imaginas el poder del modelo de llama3 que tiene 400B. Es una locura!!
Es exelente. Sabes si podria instalarlo en mi proyecto para hacer un chat bot de whatsapp usando mis datos y evitando pagar la api de openIa?
Gracias por tu aporte. siempre aprendo en tu canal
Una consulta, algo que note es que no se guarda la conversacion? o como se hace?
Lo que tú digas, voy a probarlo de una vez.!!!!
120 MB/s vs mis poderosos 4 MB/s
Excelente video man! Oiga! no habia mirado el numerito de los me gusta y las vistas! Como ha crecido el canal eh? recuerdo cuando era el unico que comentaba :P :D Grande Fatz! siga educandonos, por favor!
EDIT: no que lama 3 acaba de salir? y usted ya nos está enseñando a usarlo?... lo siento, lo olvidaba... FAZT Code :D
¿Cuanta ram o gpu necesito para que se ejecute correctamente?
Excelente video.
Fazt, saludos y agradecimientos por tus valiosos aportes.
Tengo una consulta sobre el rendimiento de la computadora. ¿Cuál es más eficiente en términos de código: usar el editor Cursor o la extensión en Visual Studio Code? Además, ¿cuál de estas opciones consume menos recursos y afecta menos el rendimiento de mi equipo?
Estos modelos podrian ser compartidos para que aprenda las buenas prácticas de un grupo de desarrollo.
Gracias por el aporte Crack!
me reventó el vs code noooo y lo tenia tuneado, ahora a instalar de nuevo
Consulta, cual son los requisitos minimo y si mi procesador es NPU, no necesito tarjeta gráfica???
Muchas gracias Fazt!
excelente dato, gracias sensei
puedes probrar instalando otros providers ?? gracias
Fatz Code Se pueden instalar varios modelos y vos vas cambiando el modelo desde el VSCode?
Yo utilizo Codium, muy similar también.
Muchas gracias Fazt
No me funciona ,pongo consultas en el chat pero solo sale la tipica ruedecita girando en el cartel del modelo llama3:8b al lado del simbolo de home....
no se ejecuta la ventana de vienvenida de ollama
Que tema utiliza para ese video de vs code?
Y puedo usarlo en webstorm?
Eres un crack! De siempre
baje todo lo que dijiste, llama 3, codellama, mistral y variossss...pero al ejecutarlo osea al usarlo en vscode va lentísimo. mi laptop asus core i9 con 32Gb de ram. y en todo es muy rápida, nose si la IA consume todo y no seria viable. no quiero ni pensar como seria con una laptop de menos especificaciones.
Puedes usar IA en tu codigo siempre que estes conectado a wifi
Hola Fazt...
Tengo una duda, cuando termina el instalador de Ollama, no se ejecuta la terminal para instalar el modelo Llama3
¿Existe una forma manual para ejecutar dicha terminal?
help no me funciona al instalar la extencion dice que algo a salido mal que vuelva intentarlo... y se queda hay for ever como el chavismo en venezuela
tengo problemas al descargar la extensión, simplemente se queda en blanco, no puedo ver nada de la extensión, ya intente deshabilitarla, reinicar el vsc y hasta reiniciar el pc y nada
ollama ya tiene llama3 cool !, que modeloz uso?
Excelente compa, tengo una pregunta tu que sabes más, si tú dices que llama3 fue entrenado con la información del 2022, y por eso no te muestra las nuevas características de react o cualquier otro framework, la pregunta es como puedes actualizar el modelo ? Se puede ir a Github y descargar las últimas versiones y cargarlas en el modelo y con eso podríamos tener actualizado el modelo ? O es más complicado que eso?
Si quisiera usar un gpt que me de datos actualizados cuál recomiendas ?
Buenas, gracias por la herramienta muy buena, yo tenia la duda de si al igual que github copilot, que depura el código y no lo almacena en sus servidores. En resumen si nuestro código no se hace publico utilizando esta herramienta. Saludos.
Grande fazt, podrías subir un vídeo de cómo conectar node con el modelo y así poder interactuar con el directamente desde el código y usarlo en proyectos? Por favor sería de gran utilidad.
Wow muchas gracias!!!
gracias por la informacion Fazt
una pregunta, si tengo una gpu de amd siempre puede funcionar?
hola, no me funcionó, se queda cargando la respuesta pero no pasa nada... como puedo solucionar esto?
muchas gracias
Fazt, podrías hacer un ejemplo de implementación de Llama 3 con algún SDK, para análisis de datos y así
a mi solo me instala Ollama pero no me permite ejecutarlo ni usar la terminal
Muchas gracias, a mi no me funciona, me imagino que puede ser por el tema de la exigencia a la tarjeta grafica. El CodeGpt esta genial, pero solo permite 5 preguntas en las demas IA
Gracias mi Sensei
Cuál pc tienes?
¿Se puede entrenar un modelo con tu proyecto particular para que sean mucho más específicas las respuestas del chat ?
oye amigo Fazt podria usarlo pero con neovim?
Gracias! Estaba en esto de hace tiempo pero había un par de cosas que no me funcionaban. Que bien que la semana que viene den autocompletado. Llama3 va mejor incluso que codegemma para código no? mola que con una 1070 que tiene unos 8vram, si configuro windows a procesar en "económico" no se calienta a 82grados como cuando lo pongo en alto rendimiento. Un poco más lento pero más vida pal pc que esta viejito aunque aguanta :)
Justo iba a preguntar eso jaja parece que estoy friendo huevos en el cpu, ni con los juegos pasa de 70 °C y no vi ningún comando que limite el uso de recursos o algo
Puedo usarlo para redactar Commits automáticamente?
Lo que me preocupa es el consumo de memoria y procesador. Tienes este detalle?
Si claro aquí lo dejo github.com/open-webui/open-webui/discussions/736#discussioncomment-8474297
Estaria bueno un minitutorial de una rest api con AdonisJS
Está genial, lo malo es que me cuesta mucho la tarjeta grafica para que me corra el llama 3 jaja
Al utilizar Llama 3 mi CPU hace todo el proceso y mi GPU no hace nada, haciendo que sea lento y las respuestas dilatan en cargar, alguna sugerencia porfavor para utilice mi GPU, tengo una GTX 1650
Al instalarse dentro del sistema no requiere de internet entonces?
así es una ves instalado ya no requiere internet
Gracias bro. Y cuanto tiene que tener la máquina para que te corra esto (CPU, ram, etc..)
Te dejo el Post de Github donde especifican todo esto :) github.com/open-webui/open-webui/discussions/736
Viéndolo antes que lo ponga solo para miembros:(
Que tema usas en vscode?
Este se llama tokyo night dark
@@FaztCode gracias
Gracias bro
Con gusto :)
y con esta implementacion, te autocompleta el codigo, asi como lo hace copilot?
Aun no, pero esta semana actualizan la extensión para que también permita autocompletar
@@FaztCode ah buena noticia. Lo dejare descargando para probarlo. Muy buen video Fatz
Que genial fazt, una pregunta sabes cuales son los requisitos de hardware para ejecutar llama3?
Existen dos variantes: Llama 3 8B, si tienes un sistema con recursos limitados y Llama 3 70B, mientras cuente con un
rendimiento excepcional, pero con mayores demandas de hardware. Aquí están los detalles sobre estos modelos y los
requisitos de hardware para ejecutarlos localmente:
1. Llama 3 8B:
- Requisitos mínimos de hardware:
+ RAM: Al menos 16 GB
+ GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA
+ Disco Duro: 4 GB
2. Llama 3 70B:
- Requisitos mínimos de hardware:
+ RAM: 64 GB o más
+ GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA
+ Disco Duro: 20 GB
Se puede entrenar un modelo de Llama?
Para eso busca información como, como hacer un ajuste fino en un modelo preentrenado.
Me corre a una palabra por minuto, pero gracias.
jaja si lamentablemente aun estos modelos consumen muchos recursos de hardware, con una buena grafica se tienen que usar
Se podrá utilizar este asistente en una página web?
Si podrias desplegarlo en un VPS y consumirlo desde alli al estilo de la API de OpenAI
name theme, please?
CodeGPT se puede conectar a ChatGPT?
no pues, chatgpt es la interfaz, solo existe una, lo que se puede conectar es a los modelos de openai como gpt 4, para eso necesitas el api key, pero no es gratis te cobran por token dependiendo de que modelos elijas te sale mas barato o caro
@@luiggymacias5735 O sea que en este caso no te sirve ser usuario de pago en ChatGPT, para integrarlo digo
es de meta?🤔
en mi maquina esta super lento
Si hasta la fecha los modelos inteligentes requieren alguna tarjeta grafica o un buen procesador para que vaya fluido
Requerimientos:
Modelos Pequeños (7B - 13B parámetros): RAM 16-32 GB, CPU Intel i7/i9 o AMD Ryzen 7/9, GPU opcional de 8 GB VRAM (NVIDIA RTX 3060).
Modelos Medianos (30B - 65B parámetros): RAM 32-64 GB, CPU Intel i9 o AMD Ryzen 9, GPU de 16 GB VRAM (NVIDIA RTX 3080/3090).
Modelos Grandes (175B parámetros y superiores): RAM 64-128 GB, CPU Intel Xeon o AMD Threadripper, múltiples GPUs con 24 GB VRAM cada una (NVIDIA A100, RTX 3090).
si tengo una tarjeta de video integrada AMD Ryzen 5 3400G ¿sirve igual? ¿cuanto de ram se necesita? saludos
De lo que he probado, con Ryzen 3 3200G, funciona sí, pero usa 100% del CPU, para la RAM en cuanto al proceso ollama_llama_server usa 4.6 GB, de la GPU integrada es muy poco el uso 400MB aprox. Tengo 16GB de RAM a 3200MHz
Resumiendo, al menos con mi procesador la temperatura se va a 82 °C con disipador stock, no recomendable jaja a menos que le bajes la energía máxima al procesador a costa de que tarde más en responder o tener un disipador muy bueno.
Podrías probar a ver cómo funciona el en Ryzen 5, no pierdes nada. Solo cuestión de ver las temperaturas, posiblemente con una gráfica mejore el uso del CPU.
@@kf_11 gracias por tu respuesta
@@kf_11 Yo tengo:
Ryzen 5900x
GPU: Nvidia 1080 TI (11gb de VRAM)
RAM: 32GB.
Cual modelo me recomendás probar?
@@ZeroCool22 TH-cam no deja poner links, pero hay un hay un post de GitHub. Los modelos van:
- Modelo 7B - 4GB VRAM
- Modelo 13B - 8GB VRAM
- Modelo 30B - 16GB VRAM
- Modelo 65B - 32GB VRAM
@@ZeroCool22 En tu caso se podría al 13B
va a explotar mi computadora, no se si lo vale
Necesito un super pc?
no sirve si no es en tiempo real, porque despues del 2022, muchas cosas opiamente se actualizaron
Fazt excelente video, gracias por compartir tu conocimiento y enseñar las cosas paso a paso.
Te sigo hace tiempo, con este video aprendí a crear mi primera página HTML
th-cam.com/video/rbuYtrNUxg4/w-d-xo.html
Desde ahí me sigo capacitando y aprendiendo cada vez tecnologías nuevas, ese hecho ha cambiado mi vida y me ha abierto puertas a trabajar para empresas.
hola :D me sale esto v3.5.120
Unable to connect to the extension services
Requirement
Required
System
VSCODE
^1.82.0
1.93.1
Vscode Node
>=18.0.0
20.15.1
App Default Port
54112
Troubleshooting
asu a ti te corre muy rápido xd
en mi pc demora demasiado
Mi vieja GPU aparentemente no es compatible (AMD rx 570) asi que va a puro CPU 🥵
Que dizes tio !!
Si fazt está conmigo, ¿Quien contra mi?
La verdad es una herramienta muy simplona, y funciona solo en ingles y la verdad bastante mal, hasta con lmstudio. Nada interesante.
lo malo es que solo se enfocan en lengujajes conocidos
Debe ser por el entrenamiento que usan
Si tu pc es una mierda ni lo piense
pta q lento xd