Otro video genial, Drogos. Creo que lo mejor de las APU con hardware de IA (sea iGPU o NPU) es que puedes ponerle 32 o 64 GB de Ram si quieres y olvidarte de limitar modelos o ser incapaz de siquiera intentar correrlos como pasa en tarjetas RTX de 8 GB o menos. Por potencia de la APU se puede demorar un montón, pero de que puedes, puedes. Además de que para aprender está genial, porque si o si necesitas un CPU y te puedes ahorrar la GPU por un tiempo. También si alguien ha programado acelerando con GPU, sabe el quebradero de cabeza que es optimizar el uso de memoria cuando no tienes mucha; me pasó con modelos de compresión y reconstrucción de imágenes, donde aumentar un poco el tamaño de las matrices (resolución de las imágenes) hacía inviable usar mi 2060 6GB y tuve que tirar de CPU y 32 GB de DDR4 2666 (xd), que sí me permitieron hacer lo que quería aunque tuve que dejar el PC horas funcionando. Las NPU pueden ser la clave para la estandarización de instrucciones y librerías y así no depender de Cuda, sobre todo cuando las NPU tengan TOPS comparables a una gráfica modesta pero contemos con DDR5 más barata o rápida y de mayores densidades. Se vale soñar.
@@GibGiab-gc7qm No es tan simple. Mi respuesta es el 2do párrafo, el 1ro es contexto.🤷🏻♂ Recordemos cómo funciona la memoria (Ram y vRam) en un equipo gaming normal: si se ejecuta el juego en la GPU dedicada, alocará la mayor cantidad de memoria de la tarjeta como "de video", pero si esa cantidad de memoria se excede (como en una 4060 si usas más de 8GB) se utiliza parte de la memoria "del sistema" para cargar el resto de archivos del juego, la Ram (DDR5 4 o 5) es mucho más lenta que la Vram (GDDR6/X), de ahí los tirones y baja de rendimiento cuando excedemos la memoria de video de nuestra tarjeta gráfica (de hecho es lo que hablan en el 6:53). En el caso de gaming en APUs pasa más o menos lo mismo. Si juegas con un 5700G (por ejemplo) que te deja *alocar* hasta 4GB como Vram, verás que muchas veces se excede ese consumo de memoria, entonces pasa eso de que la memoria del sistema empieza a cargar archivos para que la GPU (integrada en este caso) la ocupe como Vram faltante. Pero acá nuestra Vram y Ram son literalmente la misma (los sticks que van en la Motherboard), por lo que las memorias designadas como "de video" y "de sistema" son igual de rápidas, entonces casi* no hay pérdida de rendimiento. La memoria designada de video (alocada) es solo una costumbre que se tiene para que el juego/programa sepa exactamente dónde están los archivos que necesita a la mano, y no se pierdan entre los múltiples accesos aleatorios de la memoria de sistema (no alocada). Entonces, si tenemos 32GB de memoria y por alguna razón usamos más de 16GB en un juego, el juego usará los otros 16GB restantes para suplir la demanda de memoria con una caída de rendimiento muy pequeña al ser físicamente la misma meoria (sticks), porque están programados para funcionar así (de hecho pasa mucho en las consolas como PS5 y XBSX que reparten sus pozos de memoria designados como "video" y "sistema" muy dinámicamente). Por lo que *todo depende de si la API (ROCm en este caso) restringe totalmente la memoria de ejecución a solo la Vram,* pero si deja usar memoria "de sistema" para suplir la falta de Vram, como hace la API de DirectX en el caso de videojuegos, se podría aprovechar mucho más que esos 16GB en modelos de IA. No lo tengo claro (he usado CUDA, no ROCm) pero si AMD quiere usar sus MI300/X para pelear en IA con Nvidia, no veo por qué restringirían tan fuertemente el uso de memoria o heredar la forma que esas SuperAPUs manejan la alocación de memoria a las de consumidor, más aún viendo de lo que son capaces sus próximas APUs móviles (Strix Halo). Como digo, se vale soñar, no es virtualmente imposible.
@@Just_An_Ignacio Recién estoy leyendo tu comentario y me acabas de hacer el día, me alegra ver que hay gente muy conocedora de estos temas aquí en el canal y que no pasa desapercibido este esfuerzo que se le invierte a hacer estos videos, aunque no tengan demasiadas visitas
@@Piano4Everyone está genial de vez en cuándo variar las pruebas de rendimiento en gaming y reseñas de gadgets por videos más técnicos o específicos. Seguro hay gente de la comunidad que tiene muchas opiniones y experiencias super interesantes que aportar, pero que normalmente no las comparten porque no vienen a cuento en los otros videos, pero en estos sí. Además, este tipo de videos pueden ayudar a que la gente se informe o se motive a investigar más a fondo sobre las tecnologías y el funcionamiento del hardware que compramos; cuanta más gente informada, más sana será la industria a la larga.
Uh chale, vine por oro y me dieron a Piano! F. jajajaja. Broma hermano!!!! QUE SEXY TE VISTE CON TANTA TEORÍA! Está soltero amigo? jajajaja. Broma! Que maravillosa info! Aunque me temo que este video tendrá 100 views. :(
Probaste el ryzen 7 9700x? como para hacer una comparativa con este. Yo estoy por armarme una pc pensando mas que nada en correr LLMs y estoy entre este 8700g y el 9700x
El 9700x no trae NPU y la GPU integrada es la misma del Ryzen 7700x que es mucho menos potente que los que están en serie 8000G, en Ryzen 7000 y 9000 todo el tema de IA sería con GPU, ya sea que pongas una Radeon o una GeForce.
@@DrogaDigital entonces lo recomendable para correr LLM en LM Studio seria la 8700g con 64gb de ram a 5200mhz no? en la siguiente comparativa dice que el 8700 puede usar hasta 32gb de ram para video lo que es una cantidad importante.
@@adryvdj5798 Te recomiendo usar el 8700G, recién añadieron un engine basado en Vulkan para reemplazar a OpenCL, funciona muchísimo mejor que hacer todo lo del video (además ya no se puede puede porque ZLUDA ahora es incompatible con LM Studio y además no tienes que buscar la version específica, con solamente usar la versión principal de la pagina de LM studio basta)
Hola amigos quiero armar un pc con gráficos integrados mientras ahorro para una gráfica en un plazo de 2 años MINIMO Con componentes de CALIDAD que no se vayan a dar rápido y que en más de 2 años pueda meterle una buena gráfica sin tener que cambiar nada Me gustaría que me digan que opciones hay o que más necesitaría comprarle al pc por ahora mi pensado es PROCESADOR : Ryzen 7 8700g BOARD : 581 GIGABYTE B650M AORUS Elite AX pcie 5.0 FUENTE : Corsair Fuente de alimentación SFX totalmente modular de 1000 W - ATX 3.0, PCIe 5.0, ALMACENAMIENTO : SAMSUNG 990 PRO con disipador de calor SSD de 2 TB, PCIe Gen4 M.2 2280 Les agradezco si me dicen que más necesito.si los componentes que tengo pensado son buenos o malos Y si son compatibles o no
Bueno, es una aplicación específica de inteligencia artificial dado que estos APUS incluyen unos módulos llamados NPU (neural processing units) para acelerar flujos de trabajo de IA, es hardware dedicado. En próximas.fechas Windows va a utilizar más esa parte de manera integral con Copilot plus así que las implementaciones que viste en este vídeo son solo para casos especiales cuando alguien quiera correr un modelo de lenguaje en específico. Para usos de todo mundo, lo importante de este APU es su gráfica integrada (Radeon 780M) que se ha dejado ver también en handhelds como el ROG Ally.
Probablemente si, por mucho. Pero a medida que las iGPU y NPU mejores, esto será cada vez más viable. La ventaja es que no tienes limitaciones de memoria, que suele ser algo con lo que tenías que vivir con tu GPU.
en conclusión vale mas la pena comprar una rtx que alguna amd para evitarte los dolores de cabeza que supone hacer compatible el hardware de amd. e probado lm studio y lo malo del software es que no te dice cuánta vram consumira los modelos que descargas, supuestamente te sugiere en las busquedas los modelos que son compatibles con tu gpu pero no es verdad y terminas instalando modemos muy grandes para que no terminen de funcionar en tu hardware. ojala solucionen ese gran problema que tiene el software 👎🏻
Tu primera conclusión es incorrecta, lo que hicimos fue darle soporte a algo que todavía no lo tiene, nomas porque se puede, no tienes que hacer nada de lo que hice si quieres usar una GPU Radeon, solo descargas la versión correspondiente (la de ROCm) y listo. Ahora con lo de LM Studio, tal vez estas configurando y entendiendo mal las cosas, veras el modelo y el espacio que te dice que ocupa al menos en mi caso siempre es correcto, lo que creo que no estas tomando en cuenta es la ventana de contexto (cuantos Tokens estas asignando) si tu metes un modelo que pesa 15.5GB en una RTX 4080, solo te va a quedar 0.5 GB disponibles para ventana de contexto, y algunos modelos traen ventanas de 8000 tokens o asi, entonces suele ser insuficiente meter un modelo que tenga el tamaño muy cercano al límite de la capacidad de tu GPU, también si quieres usar RAG o cosas así vas a necesitar más memoria vram disponible.
DrogaDigital es un equipo más grande que solo Ed y Hoodman, Yulia y Benja estarán saliendo más a cuadro con contenido más enfocado a otros productos que Hoodman y yo hemos dejado algo relegados, Yulia con Accesorios y Piano/Benja con implementación y novedades de IA
Es Piano, o Benjamín, parte del equipo de DrogaDigital desde hace más de un año. Tenemos algunos shorts y TikToks con el, y actualmente es el encargado de correr las pruebas de hardware.
Creo que se te escapó el punto importante... en este momento, con un video integrado de AMD puedes hacer MAS cosas que con una gráfica como la rtx4060 si plemente porque no tienes el límite de la VRAM (8gb para la RTX, contra hasta 16gb para el APU)
@@DrogaDigital y como? compartiendo ram a la igpu? ese es tu punto importante?? definitivamente te hace falta saber como funciona la arquitectura ada en terminos de IA por que ese es el gran potencial que tienen esas gpu. el hecho de que amd no se ponga las pilas en IA habla muy muy mal de la marca, si tu solución es buscar guías, información y arreglar problemas que amd debia solucionar desde hace tiempo estas mal 👎🏻
No entendiste el video. Lo que hicimos fue aprovechar que AMD hace sus cosas open source para darle soporte a algo que todavia no lo tiene (pero que AMD eventualmente va hacerlo) obviamente hay que hacer maromas para esto, básicamente fue un: ¿Se puede? ¿Por que no hacerlo? Sin embargo si tu usas una GPU AMD Radeon con LM Studio descargando la versión correspondiente (la de ROCm), no vas a tener que hacer absolutamente nada de lo que hice. Simplemente conectar, configurar y listo. Tal cual como en NVIDIA. Que ojo, no estoy diciendo que no esté mal ciertas cosas, para mi debería haber soporte de ROCm desde que se lanza el hardware, y es por eso que digo en el video justamente que AMD tiene que seguir poniéndose las pilas para no quedarse (mas) rezagado.
@@yaelsoto2742pues para poder ejecutar modelos grandes de IA prefiero gastarme $350 en una APU y otros $100 en 32GB de Ram que $800 en la tarjeta más barata que me de 16GB de memoria utilizable (en mi país nunca he visto stock de 4060 Ti 16GB) o limitar todo mi trabajo por solo tener una GPU de 8GB. Y la arquitectura Lovelace no hace magia con su Caché L2 y su *capacidad* (porque depende de la API y programación de tus modelos) de comprimir archivos en la Vram. Se me hace que alguien ha tomado demasiada sopa de pollo.
Me alegra ver que hoodman por fin se hizo el bypass
jaja
Que raro se puso el Dr. hoodman
Bajó de peso
Rejuveneció 😅
O es vídeo usando IA
😅
Ah carai!! hice una aparición especial en la miniatura... que honor
Jajajaaj efectivamente tío alpaka
Hola Benjamín. Hiciste una buena introducción a este mundillo de la IA para presupuestos más humildes. Por supuesto te dejo un buen like compañero!
Otro video genial, Drogos. Creo que lo mejor de las APU con hardware de IA (sea iGPU o NPU) es que puedes ponerle 32 o 64 GB de Ram si quieres y olvidarte de limitar modelos o ser incapaz de siquiera intentar correrlos como pasa en tarjetas RTX de 8 GB o menos. Por potencia de la APU se puede demorar un montón, pero de que puedes, puedes. Además de que para aprender está genial, porque si o si necesitas un CPU y te puedes ahorrar la GPU por un tiempo. También si alguien ha programado acelerando con GPU, sabe el quebradero de cabeza que es optimizar el uso de memoria cuando no tienes mucha; me pasó con modelos de compresión y reconstrucción de imágenes, donde aumentar un poco el tamaño de las matrices (resolución de las imágenes) hacía inviable usar mi 2060 6GB y tuve que tirar de CPU y 32 GB de DDR4 2666 (xd), que sí me permitieron hacer lo que quería aunque tuve que dejar el PC horas funcionando.
Las NPU pueden ser la clave para la estandarización de instrucciones y librerías y así no depender de Cuda, sobre todo cuando las NPU tengan TOPS comparables a una gráfica modesta pero contemos con DDR5 más barata o rápida y de mayores densidades. Se vale soñar.
16 gb no mas mano
Lo siento..
Para mi y para ti
@@GibGiab-gc7qm No es tan simple. Mi respuesta es el 2do párrafo, el 1ro es contexto.🤷🏻♂
Recordemos cómo funciona la memoria (Ram y vRam) en un equipo gaming normal: si se ejecuta el juego en la GPU dedicada, alocará la mayor cantidad de memoria de la tarjeta como "de video", pero si esa cantidad de memoria se excede (como en una 4060 si usas más de 8GB) se utiliza parte de la memoria "del sistema" para cargar el resto de archivos del juego, la Ram (DDR5 4 o 5) es mucho más lenta que la Vram (GDDR6/X), de ahí los tirones y baja de rendimiento cuando excedemos la memoria de video de nuestra tarjeta gráfica (de hecho es lo que hablan en el 6:53).
En el caso de gaming en APUs pasa más o menos lo mismo. Si juegas con un 5700G (por ejemplo) que te deja *alocar* hasta 4GB como Vram, verás que muchas veces se excede ese consumo de memoria, entonces pasa eso de que la memoria del sistema empieza a cargar archivos para que la GPU (integrada en este caso) la ocupe como Vram faltante. Pero acá nuestra Vram y Ram son literalmente la misma (los sticks que van en la Motherboard), por lo que las memorias designadas como "de video" y "de sistema" son igual de rápidas, entonces casi* no hay pérdida de rendimiento. La memoria designada de video (alocada) es solo una costumbre que se tiene para que el juego/programa sepa exactamente dónde están los archivos que necesita a la mano, y no se pierdan entre los múltiples accesos aleatorios de la memoria de sistema (no alocada).
Entonces, si tenemos 32GB de memoria y por alguna razón usamos más de 16GB en un juego, el juego usará los otros 16GB restantes para suplir la demanda de memoria con una caída de rendimiento muy pequeña al ser físicamente la misma meoria (sticks), porque están programados para funcionar así (de hecho pasa mucho en las consolas como PS5 y XBSX que reparten sus pozos de memoria designados como "video" y "sistema" muy dinámicamente). Por lo que *todo depende de si la API (ROCm en este caso) restringe totalmente la memoria de ejecución a solo la Vram,* pero si deja usar memoria "de sistema" para suplir la falta de Vram, como hace la API de DirectX en el caso de videojuegos, se podría aprovechar mucho más que esos 16GB en modelos de IA. No lo tengo claro (he usado CUDA, no ROCm) pero si AMD quiere usar sus MI300/X para pelear en IA con Nvidia, no veo por qué restringirían tan fuertemente el uso de memoria o heredar la forma que esas SuperAPUs manejan la alocación de memoria a las de consumidor, más aún viendo de lo que son capaces sus próximas APUs móviles (Strix Halo). Como digo, se vale soñar, no es virtualmente imposible.
@@Just_An_Ignacio Recién estoy leyendo tu comentario y me acabas de hacer el día, me alegra ver que hay gente muy conocedora de estos temas aquí en el canal y que no pasa desapercibido este esfuerzo que se le invierte a hacer estos videos, aunque no tengan demasiadas visitas
@@Piano4Everyone está genial de vez en cuándo variar las pruebas de rendimiento en gaming y reseñas de gadgets por videos más técnicos o específicos. Seguro hay gente de la comunidad que tiene muchas opiniones y experiencias super interesantes que aportar, pero que normalmente no las comparten porque no vienen a cuento en los otros videos, pero en estos sí.
Además, este tipo de videos pueden ayudar a que la gente se informe o se motive a investigar más a fondo sobre las tecnologías y el funcionamiento del hardware que compramos; cuanta más gente informada, más sana será la industria a la larga.
No vale la pena, al ser dual channel el ancho de banda es limitado.
excelente video benjamin
Excelente vídeo del buen Piano.
Más vídeos de el piano que se toca sólo 🙏💪👏
Es el Hoodman del multiverso piano!! 😮
Uh chale, vine por oro y me dieron a Piano! F. jajajaja. Broma hermano!!!! QUE SEXY TE VISTE CON TANTA TEORÍA! Está soltero amigo? jajajaja. Broma! Que maravillosa info! Aunque me temo que este video tendrá 100 views. :(
a caray? ah rejuvenecido el doctor hoodman.
el hotman 🥵 del multiverso
Jajajajaja
Muy interesante el articulo
Si es cierto, que le pasó al Doc, Sele pasó el bronceado que hasta se encogió, eso sí la voz le quedó más de hombre.
Que interasante. un tema que muy poco se toca en los canales de youtube. DrogaDigital elevando el nivel del canal.
Gracias! Ya sabes que nos gusta hablar de cosas variadas e intéresantes aquí en el canal
tqm benjas
Sí apoyo ese tutorial 🤩👍
Probaste el ryzen 7 9700x? como para hacer una comparativa con este. Yo estoy por armarme una pc pensando mas que nada en correr LLMs y estoy entre este 8700g y el 9700x
El 9700x no trae NPU y la GPU integrada es la misma del Ryzen 7700x que es mucho menos potente que los que están en serie 8000G, en Ryzen 7000 y 9000 todo el tema de IA sería con GPU, ya sea que pongas una Radeon o una GeForce.
@@DrogaDigital entonces lo recomendable para correr LLM en LM Studio seria la 8700g con 64gb de ram a 5200mhz no? en la siguiente comparativa dice que el 8700 puede usar hasta 32gb de ram para video lo que es una cantidad importante.
@@adryvdj5798 Te recomiendo usar el 8700G, recién añadieron un engine basado en Vulkan para reemplazar a OpenCL, funciona muchísimo mejor que hacer todo lo del video (además ya no se puede puede porque ZLUDA ahora es incompatible con LM Studio y además no tienes que buscar la version específica, con solamente usar la versión principal de la pagina de LM studio basta)
Buen aporte y Por lo menos no dijo disco duro solido😂
Excelente
Ed corsa estrenando cambio de look
Mini Hoodman. Veamos
Que diferente se ve Ed sin barba 🤔😅
Hola amigos quiero armar un pc con gráficos integrados mientras ahorro para una gráfica en un plazo de 2 años MINIMO
Con componentes de CALIDAD que no se vayan a dar rápido y que en más de 2 años pueda meterle una buena gráfica sin tener que cambiar nada
Me gustaría que me digan que opciones hay o que más necesitaría comprarle al pc por ahora mi pensado es
PROCESADOR :
Ryzen 7 8700g
BOARD :
581
GIGABYTE B650M AORUS Elite AX pcie 5.0
FUENTE :
Corsair Fuente de alimentación SFX totalmente modular de 1000 W - ATX 3.0, PCIe 5.0,
ALMACENAMIENTO :
SAMSUNG 990 PRO con disipador de calor SSD de 2 TB, PCIe Gen4 M.2 2280
Les agradezco si me dicen que más necesito.si los componentes que tengo pensado son buenos o malos
Y si son compatibles o no
Estoy seguro que algún día a tualisare la cpu y la mobo estoy seguro
Al final sería genial terminar con una nota de Piano 🎹
Me vi todo el video porque compre ese procesador, no entendi absolutamente nada pero no es tu culpa, no entiendo mucho de APU 😅
Bueno, es una aplicación específica de inteligencia artificial dado que estos APUS incluyen unos módulos llamados NPU (neural processing units) para acelerar flujos de trabajo de IA, es hardware dedicado.
En próximas.fechas Windows va a utilizar más esa parte de manera integral con Copilot plus así que las implementaciones que viste en este vídeo son solo para casos especiales cuando alguien quiera correr un modelo de lenguaje en específico.
Para usos de todo mundo, lo importante de este APU es su gráfica integrada (Radeon 780M) que se ha dejado ver también en handhelds como el ROG Ally.
@@DrogaDigital Gracias por responder buen hombre! saludos
Interesante, el modelo se demora mucho en responder con apu vs tarjeta grafica?
Probablemente si, por mucho. Pero a medida que las iGPU y NPU mejores, esto será cada vez más viable. La ventaja es que no tienes limitaciones de memoria, que suele ser algo con lo que tenías que vivir con tu GPU.
Falto que muestres las generacion de imágenes por tiempos o mostrar cuántos palabras x minuto arroja usando lo que hiciste 😢
Ed sin barba se ve más joven 😅
Buena para el becario.
¿es el hermanito del Dr Hoodman?
Que raro se ve Ed sin Barba.
osea podria hacer lo mismo con la serie rx vega
en conclusión vale mas la pena comprar una rtx que alguna amd para evitarte los dolores de cabeza que supone hacer compatible el hardware de amd. e probado lm studio y lo malo del software es que no te dice cuánta vram consumira los modelos que descargas, supuestamente te sugiere en las busquedas los modelos que son compatibles con tu gpu pero no es verdad y terminas instalando modemos muy grandes para que no terminen de funcionar en tu hardware. ojala solucionen ese gran problema que tiene el software 👎🏻
Tu primera conclusión es incorrecta, lo que hicimos fue darle soporte a algo que todavía no lo tiene, nomas porque se puede, no tienes que hacer nada de lo que hice si quieres usar una GPU Radeon, solo descargas la versión correspondiente (la de ROCm) y listo.
Ahora con lo de LM Studio, tal vez estas configurando y entendiendo mal las cosas, veras el modelo y el espacio que te dice que ocupa al menos en mi caso siempre es correcto, lo que creo que no estas tomando en cuenta es la ventana de contexto (cuantos Tokens estas asignando) si tu metes un modelo que pesa 15.5GB en una RTX 4080, solo te va a quedar 0.5 GB disponibles para ventana de contexto, y algunos modelos traen ventanas de 8000 tokens o asi, entonces suele ser insuficiente meter un modelo que tenga el tamaño muy cercano al límite de la capacidad de tu GPU, también si quieres usar RAG o cosas así vas a necesitar más memoria vram disponible.
Doc te cansaste de que Yampol te copie el haircut y te cambiaste de stilo??
Gracias a Benja SU por compartir un mini curso de IA APU's y si que es un rollito complejo
Con lo que vale una 7600 se compra una 3070 tal vez vaya mas lento pero no hay que hacer tantos pasos tan complicados
Para la 7600 no hay que hacer nada de lo que hice en el video
Tutorial 🎉
no entendi ni una chingada
Hoodman Lego
Saludos adictos digitales, Que transita por Toluca.
quien es este we
DrogaDigital es un equipo más grande que solo Ed y Hoodman, Yulia y Benja estarán saliendo más a cuadro con contenido más enfocado a otros productos que Hoodman y yo hemos dejado algo relegados, Yulia con Accesorios y Piano/Benja con implementación y novedades de IA
Busco una pc para editar con todo el paquete de adobe, busco algo costo beneficio, que características del pc debo tener?
Chale soy el cuarto comentario xd
Jajaja tu Nick es EXTRAORDINARIO 9 PUNTOS PIBE 🤓💪
Este quien es?
Quien eres tu ? me la estoy pasando bien raro
Es Piano, o Benjamín, parte del equipo de DrogaDigital desde hace más de un año. Tenemos algunos shorts y TikToks con el, y actualmente es el encargado de correr las pruebas de hardware.
comentario 24
Y esta versión de Hoodman región 4 k pedo?
Pos ola we :u
En resumen si tienes gpu NVIDIA vas de maravilla, si tienes AMD tienes que hacer maroma y teatro para que funcione. 👍
Creo que se te escapó el punto importante... en este momento, con un video integrado de AMD puedes hacer MAS cosas que con una gráfica como la rtx4060 si plemente porque no tienes el límite de la VRAM (8gb para la RTX, contra hasta 16gb para el APU)
@@DrogaDigital y como? compartiendo ram a la igpu? ese es tu punto importante?? definitivamente te hace falta saber como funciona la arquitectura ada en terminos de IA por que ese es el gran potencial que tienen esas gpu. el hecho de que amd no se ponga las pilas en IA habla muy muy mal de la marca, si tu solución es buscar guías, información y arreglar problemas que amd debia solucionar desde hace tiempo estas mal 👎🏻
No entendiste el video.
Lo que hicimos fue aprovechar que AMD hace sus cosas open source para darle soporte a algo que todavia no lo tiene (pero que AMD eventualmente va hacerlo) obviamente hay que hacer maromas para esto, básicamente fue un: ¿Se puede? ¿Por que no hacerlo?
Sin embargo si tu usas una GPU AMD Radeon con LM Studio descargando la versión correspondiente (la de ROCm), no vas a tener que hacer absolutamente nada de lo que hice. Simplemente conectar, configurar y listo. Tal cual como en NVIDIA.
Que ojo, no estoy diciendo que no esté mal ciertas cosas, para mi debería haber soporte de ROCm desde que se lanza el hardware, y es por eso que digo en el video justamente que AMD tiene que seguir poniéndose las pilas para no quedarse (mas) rezagado.
@@yaelsoto2742pues para poder ejecutar modelos grandes de IA prefiero gastarme $350 en una APU y otros $100 en 32GB de Ram que $800 en la tarjeta más barata que me de 16GB de memoria utilizable (en mi país nunca he visto stock de 4060 Ti 16GB) o limitar todo mi trabajo por solo tener una GPU de 8GB. Y la arquitectura Lovelace no hace magia con su Caché L2 y su *capacidad* (porque depende de la API y programación de tus modelos) de comprimir archivos en la Vram.
Se me hace que alguien ha tomado demasiada sopa de pollo.
A esperar soporte de AMD, para los que no tenemos una gráfica 😅
que te pasa en la boca :o
China los lleva años luz no digan mamadas
Depende hay sectores donde superan al resto del mundo otros donde les falta en tecnología