Montezuma's Revenge - ¿Hito del Aprendizaje Reforzado? | Data Coffee #8
ฝัง
- เผยแพร่เมื่อ 7 ก.ย. 2024
- Montezuma's Revenge se ha ganado su popularidad por ser uno de los juegos más dificiles de resolver para un algoritmo de aprendizaje reforzado. Recientemente, Uber Labs ha mostrado un trabajo de su IA Go-Explore, en el que afirman haber superado este juego con creces!!! ¿Quieres saber cómo funciona?
¡Dale al play!
-- LINKS --
ARTÍCULO: Go-Explorer! (Uber)
/ r_montezumas_revenge_s...
REDDIT - Discusión sobre Go-Explore
/ r_montezumas_revenge_s...
PAPER - Sticky actions
arxiv.org/pdf/...
ARTÍCULO - Learning Montezuma’s Revenge (OpenAI)
blog.openai.co...
ARTÍCULO - Obstacle Tower (Unity)
blogs.unity3d....
-- ¡MÁS DOTCSV! ---
💸 Patreon : / dotcsv
👓 Facebook : / ai.dotcsv
👾 Twitch!!! : / dotcsv
🐥 Twitter : / dotcsv
📸 Instagram : / dotcsv
-- ¡MI TECNOLOGÍA! ---
** Aquí no está toda mi tecnología, sólo aquella que realmente recomiendo. Usando estos links de Amazon yo me llevaré una comisión por tu compra :) **
[Tecnología básica para TH-cam]
💻 Portátil - MSI GP72 7RDX Leopard : amzn.to/2CDwvgY
📸 Cámara - Canon EOS 750D : amzn.to/2CDPqbi
👁🗨 Objetivo 1 - EF 50 mm, F/1.8 : amzn.to/2CH7npx
👁🗨 Objetivo 2 - EF-S 18-135mm : amzn.to/2DuhL5t
👁🗨 Objetivo 3 - EF 24 mm, F/2.8 : amzn.to/2AYAFQm
🎤 Microfono - Blue Yeti Micro : amzn.to/2RItA0I
💡 Foco Luz - Foco LED Neewer : amzn.to/2AYCM6K
🌈 Luz Color - Tira ALED Light : amzn.to/2B2iY2l
[Mis otros cacharros]
📱 Smartphone - Google Pixel 2 XL : amzn.to/2RMuY2v
- ¡MÁS CIENCIA! --
🔬 Este canal forma parte de la red de divulgación de SCENIO. Si quieres conocer otros fantásticos proyectos de divulgación entra aquí:
scenio.es/colab...
#Scenio
📸 Sígueme en Instagram para más contenido tras las cámaras : instagram.com/dotcsv/
💸 ...y apoya el canal en Patreon!!! : www.patreon.com/dotcsv
Muy interesante y muy objetivo la forma de analizar lo publicado. Hace poco descubrí el canal, ¡y es excelente! Saludos desde México.
Eres venezolano bro?
Sos el mejor comunicador de IA en español, te felicito.
ACTUALIZACIÓN (04/02/2019) : Justo el mismo día que he publicado este vídeo, se ha hecho público el paper de Go-Explore que echábamos en falta : arxiv.org/pdf/1901.10995.pdf
Lo se, el café ha quedado larrrrgo... ¡Tan largo como interesante! Y además hemos aprendido unas cuantas cosas interesantes del mundillo del Aprendizaje Reforzado. Si también quieres participar en la elección del próximo Data Coffee, y/o valoras la calidad de este contenido en TH-cam, pues... ¿Por qué no te planteas unirte a Patreon? :) www.patreon.com/dotcsv
¡Muchas gracias!
nada, son 30 minutos de alegría para nosotros, no se moleste en dejarlo en 3 partes, no hay necesidad
Sería interesante si hablaras sobre la nueva IA AlphaStar en la que DeepMind está trabajando. Tiene mucho sobre que hablar.
Una duda... Si el entorno no presenta perturbaciones aleatorias, el algoritmo está "sobreentrenado", si es que existe eso en aprendizaje por refuerzo? Porque claro, yo veo la pantalla simplificada, hago 4-5 posibles movimientos y me quedo con el que me de más recompensa, cuando vuelva a ese mismo punto solamente repito lo que ya he memorizado. O no?
Tu para coffe break vas bien
Esta bueno!!!
Directo al patreon! Creo que te mereces tambien una compesacion economica por lo que haces
Secundo la moción, de los mejores canales que conozco
Cuanto cuesta el patreon?
Por fin aprendizaje supervisado! Se esperaba desde hace tiempo
Reforzado*.
Si te interesa puedes mirar su otro canal (NotCSV).
Estoy fascinado de tu canal y tus videos, sigue así
Madre mía, ciertamente este vídeo es tan exquisito en aspectos técnicos de IA, que debe equivaler en puntuación a la asistencia a una conferencia, o incluso un Master. Yo lo pienso poner en el currículum.
Muchas gracias Carlos por la currada.
Me surgen dudas. El algoritmo saca dos millones de puntos.
¿En cuanto tiempo?
¿Si reinicias desde cero el algoritmo, no hace exactamente los mismos movimientos?
¿Cuenta con libre albedrío?
¿Podría sacar más puntos, reiniciando su conocimiento y volviéndolo a intentar?
Perdona, quizás sean tonterías. Pero me interesa mucho.
Gracias nuevamente por el vídeo.
27:30 pensé que era un chiste referente a la pandemia y después vi la fecha de publicación.
Antes de conocer este canal no usaba mucho youtube, ahora parezco una adicta, me motiva mucho para seguir aprendiendo y avanzando, de verdad muchas gracias por darte el tiempo, hasta me he creado una cuenta en switch a ver si me da tiempo de ver los directos ! Mil gracias
cada tanto vuelvo a estos videos para recordar lo mucho que avanzó la IA en estos años
Wow !! Excelente!! recuerdo tardes enteras de pequeño tratando de avanzar en este juego. Tremendo video asociado a él. Incluso no alcanzas a mostrar todas las dinámicas que trae este juego, por ejemplo en algún punto debes encontrar una "antorcha" para poder iluminar las siguientes pantallas. Recuerdo que luego de jugar tanto tiempo, continuábamos a oscuras, a tientas (sin ir a buscar dicha antorcha), ya que conocíamos de memoria el juego. Pero todo esto luego de muchísimo tiempo. Es increíble lo que puede realizar este algoritmo. Gracias por tu video y la tremenda info, y gracias por llevarme unos momentos nuevamente a mi niñez.
Muy bueno el vídeo, de verdad uno de los pocos canales que se meten con detalles técnicos en AI, soy un nuevo seguidor. Felicitaciones
No entiendo.Quiero entender y me encanta .Recuerdo el que os sorprendió por la inesperada estrategia de los muñecos rojos a partir del minuto 7 mas o menos de coger un cubo que trepaban y surfeaban hasta meterse en el escondite de los azules en el juego del escondite.Es algo fantastico que magistralmente explicaste para un profano como yo.
Que tema tan interesante , por eso digo que no debería haber crítica mala , se está haciendo historia con todo esto.
amo tu canal hermano, que calidad de contenido. Soy de Honduras, estudiando actualmente en Cornell University un Master en Ingenieria en Sistemas. En agosto empiezo un doctorado y mi investigacion se orientara en AI aplicada en sistemas de manufactura. Tus videos realmente son una fuente inmensa de inspiracion, expertiz tecnica, y guia. Un abrazo!
Buah! que gustazo! Por favor continua subiendo "Muchitos" vídeos mas tan interesantes como este !!!
Llevo 5 segundos y ya es un pedazo d video
A mi me parece que es un video entero xD
@@ziskador a los 5 segundos aun era un pedazo de video
@@Rahgechanel Cierto...
Es sorprendente la de términos del campo del control/automatización que se emplean en IA, el modelado de los sistemas, el determinismo, el feedback, vamos, como que me he enterado de todo sin problema! Muy guay el vídeo!
Como siempre brutal el vídeo. Y el final
dejare esto por si sale el link
.
Casi tuve un orgasmo cerebral con este video xD
Ya no tengo palabras para expresarte lo bueno que es el contenido de tu canal, no me cansaré de felicitarte ;) espero que sigas adelante, el mejor canal de inteligencia artificial de TH-cam.
Jajajaja dice que se ha mantenido en “cuarentena” que visionario tio!!!
Guau te felicito por el esfuerzo que le dedicaste a este video y que de seguro no fue fácil, pero si te confieso que desde el inicio a fin fue todo fue excelente. Fueron 30 minutos muy gratificantes.
Ya tienes mi like.
Saludos cordiales.
Hasta ahora conozco tu canal! estoy devorando tus videos, me parece increible tu aporte como divulgador, GRACIAS por hacer comprensible ese mar de conceptos. Feliz año nuevo
No había visto tus ultimos videos y estan geniales, los veo todos. de verdad mereces patreon, vas a dejar una muy buena huella en youtube,
Sos lo mas!!!!
Totalemente de acuerdo, creo que sos el unico que hace semejante laburo en espanol!
Miles de gracias!!!
Gran video como siempre. El mismo video explicado en python seria la leche :-)
Impresionante informe. Muchas gracias por compartir tu conocimiento
Simplemente excelente !!! Saludos desde Rosario - Argentina
Luego del productivo Twitch jajaj, buen vídeo, esperando el siguiente 💪💪
Muy buen video, cuando tenga como apoyarte lo voy hacer, me saco unas cuantas risas y aprendí cosas nuevas
JAJAJAJAJAJ tuve que ver éste video hace dos semanas! Reducir la imagen a pixeles es la solución perfecta a mi problema!
Gracias por compartirlo, en serio!
Nunca pensé que reducir una imagen en paint me causara tanta alegría.
Magnífico video y muy informativo. Sin embargo, al verte jugar al Montezuma's Revenge me ha surgido una duda. ¿Es posible que un algoritmo utilizado para resolver un determinado juego plataformero, por ejemplo, pueda resolver otro del mismo tipo recordando mecánicas de jugabilidad similares? Lo pregunto porque mientras jugabas hablaste de conocimiento previo que por una cuestión de lógica te ayudaría a resolver algo similar. Algo muy acertado claramente. Pero, ¿qué tan cierto o factible es este comportamiento en el machine learning?
Reitero mis felicitaciones por el tremendo trabajo que realizas.
¡Saludos!
Excelente calidad audio-visual y profundización en la materia, muy motivador. Mucho ánimo, vas a llegar muy lejos.
Genial trabajo. Me ha gustado mucho y además mi hija se ha dormido escuchándote
Muy genial el video, lo estoy recomendando por todos lados. Gracias, gracias, gracias.
Excelente trabajo!!
Al parecer se podría mejorar el sistema de aprendizaje logrando identificar las recompensas intermedias con más facilidad. Hacer esto con un algoritmo simple es otro tema 🤣🤣🤣
Me encantan todos los que he visto, me apasiona el tema de las ia y cada video que veo siento es la puerta a un universo del conocimiento
Eres un auténtico crack! Haces que mi pobre cabeza exploté con mucha frecuencia, aún así, ahí he dejado una vez más mi refuerzo positivo Haha 👍
Excelente vídeo, toma tu señal positiva de recompensa.
Muy buen video! Muy claro , me tiene muy emocionado este tema de IA
Lo maximo, seria genial poder ver un video sobre el modelo de DreamerV2
El video es largo pero es, sin embargo, entretenido. Buen trabajo! Me alegro que hayas hablado del aprendizaje reforzado
Excelente vídeo. Me tardé para verlo me he aprendido bastante. Tal vez la infrmación complementario del nivel podría codificarse como un vector y alimentarse también a la red.
toma tu señal positiva! Gracias por compartirnos tu conocimiento de AI . Mi profesión no tiene nada que ver con estos aspectos, pero que bien me la paso escuchando y viendo tus explicaciones. Otra vez muchas gracias :)
Estoy pensando seriamente en apoyar económicamente a este canal. Buen video.
Qué buen video , super interesante.
Me encantan tus viedos tienes buena informacion!!!
Buenísimo como siempre. El final 🤣🤣👍. Tan solo el principio un poco desagradable 😫, pero es solo una anécdota 👍👍👍💪
No tengo la menor idea cómo llegué acá!!! Pero me quedé pegado de principio a fin. No tengo ni idea de AI, me gustaría estudiar algo de programación y luego algo de AI. Pero estudio medicina y hasta que no termine, no tengo la menor chance de entrar en el ignoto universo de los algoritmos. Ya medicina me resulta bastante difícil y avanzo a duras penas, por lo que se me hace difícil en el corto mediano plazo que me introduzca en estos conocimientos, aun así, me resulta súper motivante saber aunque sea superficialmente algo de cómo vienen las cosas por la AI y su posible aplicación en medicina, en particular en entornos hostiles como la Antártida, o en lugares aislados por su lejanía a los centros urbanos
Enserio hay personas que le dan dislike a tus vídeos? Wow que tontos. Gracias por subir videos.
De los pocos que hablan de estos temas y genial!
Excelente explicación! Creo que te mereces un nuevo Patreon @
Hay una obsesión absurda en no dar información a los algoritmos de IA, cuando en realidad el ser humano, cuya inteligencia tratan de simular, no podría aprender sin toda la información extra que recibe. Quizás lo que se trata de ocultar es que, incluso recibiendo información extra, las limitaciones materiales siempre van a suponer un obstáculo insalvable a cualquier intento de crear una IA de propósito general. Es imposible simular un cerebro humano. Necesitaríamos codificar una cantidad de información que está muy por encima de nuestras posibilidades, en un orden de magnitud muy elevado, y recordemos que el agotamiento de los recursos energéticos globales tiene también un impacto sobre las posibilidades de desarrollo futuras de este ámbito.
Dot CSV, donde se puede estudiar machine learning hasta terminar implementando estructuras?
Buen trabajo Carlos!
Excelente canal y excelente video! Quizás me pasó solo a mi, pero al principio del vídeo se cortó el sonido por unos segundos. Saludos!
Media hora de sabiduría!!!!!! Al patreon que voy
recompensado con pulgar arriba.
Enserio esto fue hace 4 años ? parece que fue aller, 🙂, Muy buen contenido, y sirve mucho para el repaso.
Ya se me había olvidado que existías, menos mal que me llegó la notificación, bendita campanita
Muchas gracias por tus videos, son excelentes. Una pregunta, es necesario hacer una maestría para poder aprender sobre inteligencia artificial? O puedo estudiar por mi cuenta?
20:00 igual que el BUEN HÁBITO DE PROGRAMAR, no importa que tan largo queda el video mientras todo quede lo más claro posible
(código limpio, legible, comentado , aunque escribas en más lineas lo que pudiste escribir en una, si es más clara para otro programador, mejor)
increible trabajo!!!! eres un crack!!!!
El juego de Ender de alguna forma toca eso del aprendizaje basado en videojuegos.
Mis sesgos mentales, que aseguraron la supervivencia de mis antepasados, me harán decir algo muy choteado como: "Aquí es donde la realidad supera a la ficción".
Muchas Gracias. Saludos desde Valencia. :))))))
P.D. Que susto me has dado al final mamoncio :))))))
Muy interesante. 🤔 Se agradece tener este tipo de contenido en español. 👌
Sería genial... Hacer esto con juego retro (BOULDER DASH)...Saludos desde Chile...
El aprendizaje reforzado al parecer funciona mejor dentro de un espacio limitado en un entorno 2D en donde sus mecánicas de movilidad se limiten a izquierda-derecha-arriba y abajo, pero según entiendo también ha sido probado dentro de un entorno 3D en donde no solo se limita a 4 punto sino con una mecánica omnidireccional, a pesar de eso, en un entorno 3D también se mueve en 4 direcciones, imagino que se basa más en un sistema de colisión que determina que "esto es una pared", "esto es una puerta", también deberá generar cálculos para centrar la cámara, etc... ¿qué pasaría si el juego en cuestión no se basa en movimiento sino en opciones, decisiones? cómo determinaría el el algoritmo cuál es la opción correcta? ¿podría éste algoritmo en un futuro jugar solo de principio a fin *Detroit Become Human* por ejemplo?
Seria interesante ver mas videos sobre aprendizaje reforzado
Gracias amigo, no se tu nombre pero desde Uruguay te mando un gran saludo y te deseo un próspero 2021.
Ojala no dejes de subir videos, te convertirás en el Javier Santaolalla de la inteligencia artificial
Agradezco tanto este tipo de videos!
Magnífico trabajo Carlos!! 👏👏
28:43 cuidado con lo de Challenge, que ya te paso en el otro vídeo.
Chelench
JAJAJAAJAJ joder...
No, es broma, lo puse para ver quién llegaba hasta el final del vídeo... 🕵
@@DotCSV Yo doy fe que he llegado. Vídeo muy interesante y las risas han sido abundantes cuando vi/escuché el efecto de caída las dos veces jaja
Amé este juego de chico.
Era muy adictivo
Excelente contenido, como siempre! 👍👍👍
wowwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww tremendo.
+10 puntos ^^ genial conocer más sobre este paradigma
wooo vaya recompensa de curiosidad para mi cerebro
Coño, que bien le ha sentado la rehabilitación a Simón, A TIPO FIJO!!!
Ojala me leas.
La solucion del sampling 11x8 para versiones en 3d, seria la implementacion de un doble sampling. Y puedo comentar mas pero me gustaría saber tu opinion primeramente.
Me enamore de este hombre bello.. jaja, vamos a tomar algo 😃
Buenisimo!!! Muchas gracias. Tienes un nuevo suscriptor
nunca dejas/dejes de sorprendrnos. chapó
Gracias por tu aporte.
Muy buen video, me gustaría saber también como funciona la IA de OpenAI para tener tanto nivel en dota 2
12:04 los algoritmos no gruñen cuando se frustran jugando juegos con mala jugabilidad. Punto para los humanos.
27:31 esta haciendo una premonicion del presente
Pedazo trabajo compañero.
El mejor intro
Con todos estos datos quizas podria enseñarle a mi gato a prepararse un cafe
Mientras más extenso el video mejor uwu
Hola, son geniales tus videos.
Me gustaria que recomiendes algunos libros para empezar en el tema de la IA
que interesante tema
Fuaaa unas ganas de tomar cafee
Agradezco tus videos... Saludos desde Cuba ojalá pudiera apoyar el canal... Soy estudiante de ciencias de la computacion y viendo tus videos me he decidido a aprender inteligencia artificial así q gracias...
18:38 Pero si yo me conozco Pueblo Paleta, mejor que mi propia ciudad natal 😅
Cuando nos enseñas a programar un algoritmo de aprendizaje reforzado que juegue Mario Bros?
excelente video¡¡¡¡
Buen interesante el vídeo, imperdible , gracias (y)