Pepe Cantoral, Ph.D.
Pepe Cantoral, Ph.D.
  • 113
  • 456 334
¡TRADUCTOR INGLÉS a ESPAÑOL desde CERO con PyTorch!
Traductor Inglés-Español con un Transformer desde Cero
Video previo implementación de transfomer:
th-cam.com/video/XefFj4rLHgU/w-d-xo.html
Videos previos acerca de teoría de Transformers
Parte 1 - th-cam.com/video/Bh22yyEJFak/w-d-xo.html
Parte 2 - th-cam.com/video/Nj5DVykeFhM/w-d-xo.html
Parte 3 - th-cam.com/video/AFcqsswq3C8/w-d-xo.html
En este video, explico cómo implementar un traductor de inglés a español utilizando nuestro modelo de Transformer construido desde cero con PyTorch. A pesar de que el rendimiento del traductor es limitado, este tutorial permite muy buen entendimiento de los pasos fundamentales de la implementación del Transformer, siguiendo el enfoque del artículo "Attention is All You Need". Aprende sobre codificación, decodificación y multi-head attention mientras construimos este traductor paso a paso.
Código del video:
github.com/JACantoral/DL_fundamentals/blob/main/DL_fundamentals_transformer_model.ipynb
Para descargar los datos:
tatoeba.org/en/downloads
มุมมอง: 1 255

วีดีโอ

¡Cómo programar un Transformer desde CERO! (From Scratch!)
มุมมอง 1.9K5 หลายเดือนก่อน
Código del video: github.com/JACantoral/DL_fundamentals/blob/main/DL_fundamentals_transformer_model.ipynb Videos previos acerca de Transformers Parte 1 - th-cam.com/video/Bh22yyEJFak/w-d-xo.html Parte 2 - th-cam.com/video/Nj5DVykeFhM/w-d-xo.html Parte 3 - th-cam.com/video/AFcqsswq3C8/w-d-xo.html Embeddings Desde cero - th-cam.com/video/8f9H-7i2RAw/w-d-xo.html Teoria - th-cam.com/video/LagcbjDkq...
Transformers - ¡Attention is all you need! Parte 3
มุมมอง 9245 หลายเดือนก่อน
Video Previo - Explicación detallada de attention: th-cam.com/video/Nj5DVykeFhM/w-d-xo.html Primer video de la serie de transformers - Attention is all you need: th-cam.com/video/Bh22yyEJFak/w-d-xo.html Code: github.com/JACantoral/DL_fundamentals/blob/main/Simple_Attention_Numpy.ipynb En este video, explico el mecanismo de atención, un componente esencial en el modelo de transformer, utilizando...
Transformers - ¡Attention is all you need! Parte 2
มุมมอง 1.5K5 หลายเดือนก่อน
Transformers Parte 1 th-cam.com/video/Bh22yyEJFak/w-d-xo.html Embeddings: th-cam.com/video/LagcbjDkqJE/w-d-xo.html Embeddings desde cero: th-cam.com/video/8f9H-7i2RAw/w-d-xo.html En esta segunda parte de la serie de Transformers, explico con mucho detalle en el mecanismo de self attention, el mecanismo fundamental en Transformers. Además también explico positional encoding.
Transformers - Attention is all you need - Parte 1
มุมมอง 2.4K6 หลายเดือนก่อน
Playlist NLP th-cam.com/play/PLWzLQn_hxe6Ym2y17FreTcn6robjZ9LMk.html Modelo de Lenguage th-cam.com/video/myKMg2aqOho/w-d-xo.html Sequence to Sequence th-cam.com/video/iKgAGnMUsHk/w-d-xo.html Attention en modelos redes neuronales recurrentes th-cam.com/video/pyshwfclcPM/w-d-xo.html En este video, explico el paper "Attention Is All You Need" que introdujo el modelo Transformer, una arquitectura q...
¿Cómo entrenar embeddings desde cero?
มุมมอง 2K7 หลายเดือนก่อน
Video previo embeddings: th-cam.com/video/LagcbjDkqJE/w-d-xo.html En un video anterior, expliqué qué son los embeddings y su relevancia en el procesamiento de lenguaje natural. En este video, damos un paso más allá: explico cómo programar nuestros propios embeddings desde cero utilizando PyTorch. Comprender a fondo los embeddings no solo es interesante como ejercicio académico, sino también cru...
¡Python DECORATORS! ¡Cómo funcionan los decoradores de Python!
มุมมอง 5868 หลายเดือนก่อน
En este video explico el concepto de los @decoradores@ en Python (Decorators), los cuales permiten escribir código más limpio y modular. Los decoradores son funciones que reciben otra función, le agregan funcionalidad, y devuelven otra función sin modificar la función original. Video previo: th-cam.com/video/xmMAeOrlZWE/w-d-xo.html
¡Las funciones de Python son OBJETOS!
มุมมอง 4788 หลายเดือนก่อน
En esta guía, presento cinco funcionalidades que demuestran cómo las funciones, al ser tratadas como objetos, pueden transformar tu manera de programar en Python. 1. Pasar Funciones como Argumentos: Descubre la elegancia de la programación funcional pasando funciones a otras funciones. 2. Almacenar Funciones en Estructuras de Datos: Cómo organizar y gestionar tus funciones en estructuras de dat...
ChatGPT y Gemini: ¡Conversación con los modelos más avanzados de IA!
มุมมอง 4469 หลายเดือนก่อน
En este video tengo una conversación con ChatGPT (GPT 4) y Gemini Advanced acerca de su rol en el desarrollo de la humanidad: ChatGPT: "Como modelo de inteligencia artificial, no soy parte de la humanidad en el sentido tradicional. No tengo emociones, conciencia o experiencias de vida propias. Mi existencia y mis respuestas se basan en datos, algoritmos y patrones de lenguaje derivados de la in...
¡Atención! (Sequence to sequence with attention): ¡Traductor Inglés a Español! (Parte 2)
มุมมอง 6299 หลายเดือนก่อน
Video previo modelos Secuencia a Secuencia: th-cam.com/video/iKgAGnMUsHk/w-d-xo.html Este video se centra en uno de los avances más fascinantes en el campo del Procesamiento del Lenguaje Natural (PLN): el modelo Secuencia a Secuencia (Seq2Seq) con mecanismo de Atención, utilizando como ejemplo un traductor de inglés a español. - Introducción al mecanismo de Atención: qué es, cómo funciona, y po...
Sequence to Sequence (Seq2Seq): ¡Traductor Inglés a Español! (Parte 1)
มุมมอง 7319 หลายเดือนก่อน
En este video, nos sumergiremos en los fundamentos teóricos detrás del modelo Sequence to Sequence (Secuencia a Secuencia), una arquitectura revolucionaria en el campo del Procesamiento del Lenguaje Natural (PLN). En este video cubriremos: - Los principios básicos de los modelos Seq2Seq y cómo funcionan. - La estructura y componentes de los modelos Seq2Seq, incluyendo los codificadores y decodi...
Modelo de Lenguage: Generador de texto con Red Neuronal Recurrente.
มุมมอง 96110 หลายเดือนก่อน
En este video explico de forma breve qué es un modelo de Lenguage y como podemos crear uno usando una Red Neuronal Recurrente. Un modelo de lenguage es un modelo que obtiene la distribución de probabilidad del sigueinte toke (p.e. una palabra) dada una secuencia de tokens previos. El modelo de lenguage más famoso es probablemente ChatGPT.
!Tres personas que conocí en persona en 2023!
มุมมอง 32010 หลายเดือนก่อน
En este video comparto la experiencia de conocer en persona a tres individuos a los cuales admiro mucho. - Andrew Ng Deep Learning Coursera (www.coursera.org/specializations/deep-learning) Machine Learning 2008 (th-cam.com/video/UzxYlbK2c7E/w-d-xo.htmlfeature=shared) - Jeremy Howard TH-cam channel (www.youtube.com/@howardjeremyp) FastAI (www.fast.ai/) - Sean Walker TH-cam Channel (www.youtube.c...
¡LSTM: Todo lo que necesitas saber!
มุมมอง 5Kปีที่แล้ว
En este video nos adentraremos en las redes neuronales Long Short-Term Memory (LSTM). Si te has preguntado alguna vez cómo las LSTMs superan los desafíos de las RNNs tradicionales, estás en el lugar correcto. contenido: Introducción a las LSTMs y su importancia en el manejo de datos secuenciales. Explicación detallada de la arquitectura LSTM, acompañada de diagramas y ecuaciones. Demostración p...
¿Qué son Word EMBEDDINGS? ¡Explorando Embeddings con GloVe y Python!
มุมมอง 4.6Kปีที่แล้ว
Bienvenidos a este nuevo video en el que vamos a explorar el emocionante mundo de los "Word Embeddings" o incrustaciones de palabras. Pero no nos detendremos en la teoría; ¡Vamos a llevarlo a la práctica utilizando GloVe! Puntos Clave: Introducción a los "Word Embeddings" y su importancia en el Procesamiento del Lenguaje Natural (PLN) O Natural Language Processing. Implementación de funciones P...
Modelos secuenciales y REDES NEURONALES RECURRENTES
มุมมอง 4.2Kปีที่แล้ว
Modelos secuenciales y REDES NEURONALES RECURRENTES
BATCH NORMALIZATION en Redes Convolucionales: Python y PyTorch
มุมมอง 562ปีที่แล้ว
BATCH NORMALIZATION en Redes Convolucionales: Python y PyTorch
¡BATCH NORMALIZATION! - Python vs. PyTorch
มุมมอง 569ปีที่แล้ว
¡BATCH NORMALIZATION! - Python vs. PyTorch
BATCH NORMALIZATION: ¿Qué es y para qué sirve?
มุมมอง 2.4Kปีที่แล้ว
BATCH NORMALIZATION: ¿Qué es y para qué sirve?
ImageNet: El Proyecto que Cambió la Inteligencia Artificial | Pláticas Plug & Play # 5
มุมมอง 676ปีที่แล้ว
ImageNet: El Proyecto que Cambió la Inteligencia Artificial | Pláticas Plug & Play # 5
¡La forma más FÁCIL de instalar drivers de NVIDIA, TensorFlow y PyTorch en Ubuntu 22.04 LTS!
มุมมอง 6Kปีที่แล้ว
¡La forma más FÁCIL de instalar drivers de NVIDIA, TensorFlow y PyTorch en Ubuntu 22.04 LTS!
¿Cómo instalar Ubuntu 22.04?
มุมมอง 1.3Kปีที่แล้ว
¿Cómo instalar Ubuntu 22.04?
Dr. Carlos Alberto Escobar Díaz: Going the Distance! | Pláticas Plug & Play # 4
มุมมอง 449ปีที่แล้ว
Dr. Carlos Alberto Escobar Díaz: Going the Distance! | Pláticas Plug & Play # 4
5 cosas que tienes que saber de los diccionarios de Python | Python is Cool!
มุมมอง 282ปีที่แล้ว
5 cosas que tienes que saber de los diccionarios de Python | Python is Cool!
Ing. Sandra Román: Pasantías/Ing. de Software/Consejos para Entrevistas | Pláticas Plug & Play # 3
มุมมอง 550ปีที่แล้ว
Ing. Sandra Román: Pasantías/Ing. de Software/Consejos para Entrevistas | Pláticas Plug & Play # 3
5 cosas que tienes que saber de las listas de Python | Python is Coll!
มุมมอง 426ปีที่แล้ว
5 cosas que tienes que saber de las listas de Python | Python is Coll!
MSc. Rafael Espinosa: Las matemáticas en la era de IA | Pláticas Plug & Play # 2
มุมมอง 683ปีที่แล้ว
MSc. Rafael Espinosa: Las matemáticas en la era de IA | Pláticas Plug & Play # 2
Dr. Rick Swenson: El rol de IA en la Ingeniería y Educación | Pláticas Plug & Play #1
มุมมอง 747ปีที่แล้ว
Dr. Rick Swenson: El rol de IA en la Ingeniería y Educación | Pláticas Plug & Play #1
I'm back!
มุมมอง 458ปีที่แล้ว
I'm back!
Breadth First Search en Python
มุมมอง 1.3Kปีที่แล้ว
Breadth First Search en Python

ความคิดเห็น

  • @cesarcondor2985
    @cesarcondor2985 3 วันที่ผ่านมา

    En 2024 aún tus video sigue siendo uno de los mejores y que mejor explica las redes neuronales. Gracias, porque no solo enseñar sino que insertas el gusto por este tema en cada lección.

  • @JoelPasapera
    @JoelPasapera 5 วันที่ผ่านมา

    como puedo evitar el sobre ajuste del modelo?

  • @NIKZERO23
    @NIKZERO23 7 วันที่ผ่านมา

    Todo pa el cv.

  • @cesarcondor9015
    @cesarcondor9015 15 วันที่ผ่านมา

    2024 y tu video sigue motivando a personas adentrarse al mundo de las redes neuronales. Gracias

  • @joseluissanchogomez4729
    @joseluissanchogomez4729 16 วันที่ผ่านมา

    Muchas gracias por el vídeo. Se nota preocupación por tu parte por entender todo y transmitirlo. Buen profe, seguro.

  • @alejandrocan3445
    @alejandrocan3445 21 วันที่ผ่านมา

    Muy bueno!!

  • @KarenAManrique
    @KarenAManrique 24 วันที่ผ่านมา

    Muy facil de entender! muchas gracias!

  • @germanramosruiz6967
    @germanramosruiz6967 29 วันที่ผ่านมา

    Me encantan... mil gracias!

  • @alejandrocan3445
    @alejandrocan3445 หลายเดือนก่อน

    Gracias!! sumamente util y claro :)

  • @AlanDarioMoreno
    @AlanDarioMoreno หลายเดือนก่อน

    Loco, te amo <3

  • @jamesrojas9387
    @jamesrojas9387 หลายเดือนก่อน

    Por casualidad encontré este canal y me ha sido de mucha utilidad para entender desde los fundamentos las redes neuronales. Has hecho un gran trabajo en este canal es de los mas completos y que abordan los temas con mayor profundidad. Muchas gracias por compartir

  • @Lapandilla_fc
    @Lapandilla_fc หลายเดือนก่อน

    explicas de la mierda

  • @Wmorrisonw
    @Wmorrisonw หลายเดือนก่อน

    Sos un crack, muy buena explicación. Gracias.

  • @Arddash
    @Arddash หลายเดือนก่อน

    Profe, es que no hace falta pedir que nos suscribamos a su canal cuando la calidad de los videos es tan buena como los suyos. Excelente edición, dicción, gráficos, pizarrón digital, etc. Mil gracias de verdad por tanta dedicación y cuidados en el material. Estoy muy contento con su materia!

  • @Herbert136
    @Herbert136 หลายเดือนก่อน

    Gokú, eres tu?

  • @rsalazar9784
    @rsalazar9784 หลายเดือนก่อน

    Cracks, alguien presta servicios en el desarrollo de modelo LTSM, como detección de personas peleando....

  • @carlostortoza2904
    @carlostortoza2904 หลายเดือนก่อน

    Gracias, estaba buscando algo como esto, gracias Ídolo

  • @gocodeart
    @gocodeart หลายเดือนก่อน

    Hola Pepe, esto lo subes algun githup o control de versiones o para seguirlo debo hacerlo desde cero? slds.

  • @moisesgomez208
    @moisesgomez208 หลายเดือนก่อน

    Me da un error en el final por la función def build_graph

  • @albertot.3556
    @albertot.3556 หลายเดือนก่อน

    Hola Pepe, excelente video y explicación!. Gracias! Tengo una pregunta : Cuando programas una capa de una RNN o LSTM usando Keras, tienes que especificar el número de elementos, que no necesariamente tienen que tener el mismo tamaño que los datos de entrada. Si yo quiero aprender seis secuencias en paralelo para las cuáles tengo digamos 30 instantes de tiempo anteriores, tengo como entrada una matriz de 30*6, como es posible entonces crear una red en la que mi primera capa RNN tiene por ejemplo 50 elementos? No sé si me explico bien ...😅. O dicho de otra manera, si tengo una secuencia de por ejemplo 30 instantes temporales, mi primera capa de de RNN no debería de ser de 30 elementos? Muchas gracias!

  • @respanol1970
    @respanol1970 หลายเดือนก่อน

    Buen video, pero es importante puntualizar que la mayoría de los algoritmos de word embeddings son probabilísticos y, por lo tanto, inherentemente incapaces de producir los mismos resultados en experimentos repetidos, a menos que sus procesos aleatorios se hagan deterministas, lo cual, sin embargo, puede distorsionar los resultados experimentales .

  • @respanol1970
    @respanol1970 หลายเดือนก่อน

    Excelente Pepe, gracias por ilustrarnos.

  • @BriemPollard
    @BriemPollard หลายเดือนก่อน

    ¡Gracias por el video sobre la búsqueda A*! Siempre me ha fascinado cómo los algoritmos optimizan procesos complejos. Por cierto, me he metido en programación y encontré cursos en CodigoHeroe, todo en español, ¡genial!

  • @dporras13
    @dporras13 หลายเดือนก่อน

    Muy buenos los 3 videos de la serie

  • @felipela2227
    @felipela2227 หลายเดือนก่อน

    mucho tiempo tipeando y poco explicando 😮‍💨

  • @felipela2227
    @felipela2227 2 หลายเดือนก่อน

    La verdad que no es muy didáctico el video.

  • @cesarluisquispeparedes4548
    @cesarluisquispeparedes4548 2 หลายเดือนก่อน

    Hola, correr bien si monto linux ubuntu 24.04 en vez de tener qindows11 en una laptop gamer hp victus R7 con NVIDIA GeForce RTX 3050 ¿?

  • @albertot.3556
    @albertot.3556 2 หลายเดือนก่อน

    Hola Pepe !! Muchas gracias por tus vídeos, la verdad es que son una joya. Tengo una pregunta.. cuando en Keras por ejemplo creo una RNN o una LSTM y establezco el número de neuronas en esa capa, ¿Lo que realmente estoy estableciendo es el número de timesteps hacia atrás con los que actualizar los pesos W con el gradiente ?

  • @elielberra2867
    @elielberra2867 2 หลายเดือนก่อน

    Gracias por compartir este video! Este canal se merece tener muchas más visitas, el contenido es de muy buena calidad y tus explicaciones son muy claras y didácticas!

  • @RobertoAdriánOrtegaLazos
    @RobertoAdriánOrtegaLazos 2 หลายเดือนก่อน

    Que increible persona eres! Gracias por tanta inspiracion!

  • @kevindsilvaperez1291
    @kevindsilvaperez1291 2 หลายเดือนก่อน

    Cómo eliges el bias?

  • @kevindsilvaperez1291
    @kevindsilvaperez1291 2 หลายเดือนก่อน

    Gracias Pepe por estos videos

  • @JamazVu
    @JamazVu 2 หลายเดือนก่อน

    si ya se sabia que SD tenia costo de 8 porque retrocer a explorar SC con 9 ? no se supone que siempre se elije el mejor f (menor costo)? me mareó esa parte, ya que incluso luego de explorar SC, regresas a SDE

  • @oskarguarneros4067
    @oskarguarneros4067 2 หลายเดือนก่อน

    Esta super chido que de manera más didactica a través de ejemplos visuales complementes los conceptos Doc.., como siempre super bien explicado e interesante ... ¡thanks for the effort in explaining! ✌🏻

  • @AngheloDaniel
    @AngheloDaniel 2 หลายเดือนก่อน

    Gracias por su trabajo profesor Cantoral Alumno MNA

  • @FranciscoAriasProfe
    @FranciscoAriasProfe 2 หลายเดือนก่อน

    Excelente explicación profesor. Saludos.

    • @PepeCantoralPhD
      @PepeCantoralPhD 2 หลายเดือนก่อน

      Muchas gracias! Saludos

  • @FranciscoAriasProfe
    @FranciscoAriasProfe 2 หลายเดือนก่อน

    Muy buena explicación, gracias por compartir.

    • @PepeCantoralPhD
      @PepeCantoralPhD 2 หลายเดือนก่อน

      Muchas gracias por tu comentario! Hasta pronto

  • @oskarguarneros4067
    @oskarguarneros4067 2 หลายเดือนก่อน

    Super bien explicado Master!!! 🫡

    • @PepeCantoralPhD
      @PepeCantoralPhD 2 หลายเดือนก่อน

      Muchas gracias! Saludos

  • @nataliasalazar6233
    @nataliasalazar6233 2 หลายเดือนก่อน

    Grande crack

    • @PepeCantoralPhD
      @PepeCantoralPhD หลายเดือนก่อน

      Muchas gracias! Agradezco mucho tu comentario! Muchos saludos

  • @-samba-
    @-samba- 2 หลายเดือนก่อน

    Después de varios intentos fallidos, instale Ubuntu en la primera opción, con los drivers nvidia, en la instalación lo conecte a la Red para que hiciera la instalación con las actualizaciones, después actualice Ubuntu, soluciones el problema de snap store con la actualización, y cuando estaba todo actualizado, instale lambdalabs, y se instalo sin problemas, desactive las actualizaciones automáticas, y a esperar que se mantenga, si alguien a instalado nvidia flux con lambdalabs, se agradecería me dijera como, por cierto, gracias por el video, fue de mucha ayuda, llevaba meses con esta tarea, 😂

  • @JoseManuelPérezGonzález-s3r
    @JoseManuelPérezGonzález-s3r 2 หลายเดือนก่อน

    Profesor, una pregunta, como se inicializan (o con qué valores) se inicializa el vector de bias (b)? Son random al igual que W? y en el layer 2... los b2 cómo son calculados? son diferentes del b1?

  • @SenyXServices
    @SenyXServices 2 หลายเดือนก่อน

    Soy estudiante de IA me recomiendas instalar aun: Install Lambda Stack ? para mis practicas de la escuela? justo a Ubuntu 22.04? me refiero mas que nada para no tener problemas de que no agarra algo o hay que instalar tal cosa o asi

  • @pec94
    @pec94 2 หลายเดือนก่อน

    10/10 estos videos

    • @PepeCantoralPhD
      @PepeCantoralPhD 2 หลายเดือนก่อน

      Muchas gracias por tu comentario! Me motiva mucho!

  • @nottfenrir858
    @nottfenrir858 2 หลายเดือนก่อน

    un heroe

  • @thecrazylooser7
    @thecrazylooser7 2 หลายเดือนก่อน

    Buen video pero no entendí. Tendré que volverlo a ver.

  • @carlosdanielhuancafarfan
    @carlosdanielhuancafarfan 2 หลายเดือนก่อน

    vengo tarde

  • @dianacarolinaortizmateus1524
    @dianacarolinaortizmateus1524 3 หลายเดือนก่อน

    Excelente video, pero seria suoer excelente si nos compartieras ese código!

  • @unomas-jo7ou
    @unomas-jo7ou 3 หลายเดือนก่อน

    gracias por este video estoy leyendo(siguiendo) el libro Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow y me imaginaba algo así pero nada como que alguien que sabe te lo destripe y mejor aun en tu idioma, de verdad que buen video ya me quedo muy claro.

    • @PepeCantoralPhD
      @PepeCantoralPhD 2 หลายเดือนก่อน

      Muchas gracias por tu comentario! Muchos saludos!

  • @reyipa
    @reyipa 3 หลายเดือนก่อน

    Excelente video profe!

    • @PepeCantoralPhD
      @PepeCantoralPhD 2 หลายเดือนก่อน

      Muchas gracias! Muchos saludos y nos vemos en NLP!

  • @eldiegoetc9257
    @eldiegoetc9257 3 หลายเดือนก่อน

    Muchas gracias, este fue el video con el que me quedo claro el lema del bombeo}

    • @PepeCantoralPhD
      @PepeCantoralPhD 2 หลายเดือนก่อน

      Wow! De verdad aprecio mucho tu comentario, saludos!