Pepe Cantoral, Ph.D.
Pepe Cantoral, Ph.D.
  • 113
  • 377 007
¡TRADUCTOR INGLÉS a ESPAÑOL desde CERO con PyTorch!
Traductor Inglés-Español con un Transformer desde Cero
Video previo implementación de transfomer:
th-cam.com/video/XefFj4rLHgU/w-d-xo.html
Videos previos acerca de teoría de Transformers
Parte 1 - th-cam.com/video/Bh22yyEJFak/w-d-xo.html
Parte 2 - th-cam.com/video/Nj5DVykeFhM/w-d-xo.html
Parte 3 - th-cam.com/video/AFcqsswq3C8/w-d-xo.html
En este video, explico cómo implementar un traductor de inglés a español utilizando nuestro modelo de Transformer construido desde cero con PyTorch. A pesar de que el rendimiento del traductor es limitado, este tutorial permite muy buen entendimiento de los pasos fundamentales de la implementación del Transformer, siguiendo el enfoque del artículo "Attention is All You Need". Aprende sobre codificación, decodificación y multi-head attention mientras construimos este traductor paso a paso.
Código del video:
github.com/JACantoral/DL_fundamentals/blob/main/DL_fundamentals_transformer_model.ipynb
Para descargar los datos:
tatoeba.org/en/downloads
มุมมอง: 308

วีดีโอ

¡Cómo programar un Transformer desde CERO! (From Scratch!)
มุมมอง 64621 วันที่ผ่านมา
Código del video: github.com/JACantoral/DL_fundamentals/blob/main/DL_fundamentals_transformer_model.ipynb Videos previos acerca de Transformers Parte 1 - th-cam.com/video/Bh22yyEJFak/w-d-xo.html Parte 2 - th-cam.com/video/Nj5DVykeFhM/w-d-xo.html Parte 3 - th-cam.com/video/AFcqsswq3C8/w-d-xo.html Embeddings Desde cero - th-cam.com/video/8f9H-7i2RAw/w-d-xo.html Teoria - th-cam.com/video/LagcbjDkq...
Transformers - ¡Attention is all you need! Parte 3
มุมมอง 342หลายเดือนก่อน
Video Previo - Explicación detallada de attention: th-cam.com/video/Nj5DVykeFhM/w-d-xo.html Primer video de la serie de transformers - Attention is all you need: th-cam.com/video/Bh22yyEJFak/w-d-xo.html Code: github.com/JACantoral/DL_fundamentals/blob/main/Simple_Attention_Numpy.ipynb En este video, explico el mecanismo de atención, un componente esencial en el modelo de transformer, utilizando...
Transformers - ¡Attention is all you need! Parte 2
มุมมอง 530หลายเดือนก่อน
Transformers Parte 1 th-cam.com/video/Bh22yyEJFak/w-d-xo.html Embeddings: th-cam.com/video/LagcbjDkqJE/w-d-xo.html Embeddings desde cero: th-cam.com/video/8f9H-7i2RAw/w-d-xo.html En esta segunda parte de la serie de Transformers, explico con mucho detalle en el mecanismo de self attention, el mecanismo fundamental en Transformers. Además también explico positional encoding.
Transformers - Attention is all you need - Parte 1
มุมมอง 897หลายเดือนก่อน
Playlist NLP th-cam.com/play/PLWzLQn_hxe6Ym2y17FreTcn6robjZ9LMk.html Modelo de Lenguage th-cam.com/video/myKMg2aqOho/w-d-xo.html Sequence to Sequence th-cam.com/video/iKgAGnMUsHk/w-d-xo.html Attention en modelos redes neuronales recurrentes th-cam.com/video/pyshwfclcPM/w-d-xo.html En este video, explico el paper "Attention Is All You Need" que introdujo el modelo Transformer, una arquitectura q...
¿Cómo entrenar embeddings desde cero?
มุมมอง 1K2 หลายเดือนก่อน
Video previo embeddings: th-cam.com/video/LagcbjDkqJE/w-d-xo.html En un video anterior, expliqué qué son los embeddings y su relevancia en el procesamiento de lenguaje natural. En este video, damos un paso más allá: explico cómo programar nuestros propios embeddings desde cero utilizando PyTorch. Comprender a fondo los embeddings no solo es interesante como ejercicio académico, sino también cru...
¡Python DECORATORS! ¡Cómo funcionan los decoradores de Python!
มุมมอง 4333 หลายเดือนก่อน
En este video explico el concepto de los @decoradores@ en Python (Decorators), los cuales permiten escribir código más limpio y modular. Los decoradores son funciones que reciben otra función, le agregan funcionalidad, y devuelven otra función sin modificar la función original. Video previo: th-cam.com/video/xmMAeOrlZWE/w-d-xo.html
¡Las funciones de Python son OBJETOS!
มุมมอง 3654 หลายเดือนก่อน
En esta guía, presento cinco funcionalidades que demuestran cómo las funciones, al ser tratadas como objetos, pueden transformar tu manera de programar en Python. 1. Pasar Funciones como Argumentos: Descubre la elegancia de la programación funcional pasando funciones a otras funciones. 2. Almacenar Funciones en Estructuras de Datos: Cómo organizar y gestionar tus funciones en estructuras de dat...
ChatGPT y Gemini: ¡Conversación con los modelos más avanzados de IA!
มุมมอง 3284 หลายเดือนก่อน
En este video tengo una conversación con ChatGPT (GPT 4) y Gemini Advanced acerca de su rol en el desarrollo de la humanidad: ChatGPT: "Como modelo de inteligencia artificial, no soy parte de la humanidad en el sentido tradicional. No tengo emociones, conciencia o experiencias de vida propias. Mi existencia y mis respuestas se basan en datos, algoritmos y patrones de lenguaje derivados de la in...
¡Atención! (Sequence to sequence with attention): ¡Traductor Inglés a Español! (Parte 2)
มุมมอง 3424 หลายเดือนก่อน
Video previo modelos Secuencia a Secuencia: th-cam.com/video/iKgAGnMUsHk/w-d-xo.html Este video se centra en uno de los avances más fascinantes en el campo del Procesamiento del Lenguaje Natural (PLN): el modelo Secuencia a Secuencia (Seq2Seq) con mecanismo de Atención, utilizando como ejemplo un traductor de inglés a español. - Introducción al mecanismo de Atención: qué es, cómo funciona, y po...
Sequence to Sequence (Seq2Seq): ¡Traductor Inglés a Español! (Parte 1)
มุมมอง 4254 หลายเดือนก่อน
En este video, nos sumergiremos en los fundamentos teóricos detrás del modelo Sequence to Sequence (Secuencia a Secuencia), una arquitectura revolucionaria en el campo del Procesamiento del Lenguaje Natural (PLN). En este video cubriremos: - Los principios básicos de los modelos Seq2Seq y cómo funcionan. - La estructura y componentes de los modelos Seq2Seq, incluyendo los codificadores y decodi...
Modelo de Lenguage: Generador de texto con Red Neuronal Recurrente.
มุมมอง 5755 หลายเดือนก่อน
En este video explico de forma breve qué es un modelo de Lenguage y como podemos crear uno usando una Red Neuronal Recurrente. Un modelo de lenguage es un modelo que obtiene la distribución de probabilidad del sigueinte toke (p.e. una palabra) dada una secuencia de tokens previos. El modelo de lenguage más famoso es probablemente ChatGPT.
!Tres personas que conocí en persona en 2023!
มุมมอง 2486 หลายเดือนก่อน
En este video comparto la experiencia de conocer en persona a tres individuos a los cuales admiro mucho. - Andrew Ng Deep Learning Coursera (www.coursera.org/specializations/deep-learning) Machine Learning 2008 (th-cam.com/video/UzxYlbK2c7E/w-d-xo.htmlfeature=shared) - Jeremy Howard TH-cam channel (www.youtube.com/@howardjeremyp) FastAI (www.fast.ai/) - Sean Walker TH-cam Channel (www.youtube.c...
¡LSTM: Todo lo que necesitas saber!
มุมมอง 2.9K8 หลายเดือนก่อน
En este video nos adentraremos en las redes neuronales Long Short-Term Memory (LSTM). Si te has preguntado alguna vez cómo las LSTMs superan los desafíos de las RNNs tradicionales, estás en el lugar correcto. contenido: Introducción a las LSTMs y su importancia en el manejo de datos secuenciales. Explicación detallada de la arquitectura LSTM, acompañada de diagramas y ecuaciones. Demostración p...
¿Qué son Word EMBEDDINGS? ¡Explorando Embeddings con GloVe y Python!
มุมมอง 2.6K8 หลายเดือนก่อน
Bienvenidos a este nuevo video en el que vamos a explorar el emocionante mundo de los "Word Embeddings" o incrustaciones de palabras. Pero no nos detendremos en la teoría; ¡Vamos a llevarlo a la práctica utilizando GloVe! Puntos Clave: Introducción a los "Word Embeddings" y su importancia en el Procesamiento del Lenguaje Natural (PLN) O Natural Language Processing. Implementación de funciones P...
Modelos secuenciales y REDES NEURONALES RECURRENTES
มุมมอง 2.4K9 หลายเดือนก่อน
Modelos secuenciales y REDES NEURONALES RECURRENTES
BATCH NORMALIZATION en Redes Convolucionales: Python y PyTorch
มุมมอง 4729 หลายเดือนก่อน
BATCH NORMALIZATION en Redes Convolucionales: Python y PyTorch
¡BATCH NORMALIZATION! - Python vs. PyTorch
มุมมอง 4219 หลายเดือนก่อน
¡BATCH NORMALIZATION! - Python vs. PyTorch
BATCH NORMALIZATION: ¿Qué es y para qué sirve?
มุมมอง 1.6K9 หลายเดือนก่อน
BATCH NORMALIZATION: ¿Qué es y para qué sirve?
ImageNet: El Proyecto que Cambió la Inteligencia Artificial | Pláticas Plug & Play # 5
มุมมอง 5829 หลายเดือนก่อน
ImageNet: El Proyecto que Cambió la Inteligencia Artificial | Pláticas Plug & Play # 5
¡La forma más FÁCIL de instalar drivers de NVIDIA, TensorFlow y PyTorch en Ubuntu 22.04 LTS!
มุมมอง 4.5K10 หลายเดือนก่อน
¡La forma más FÁCIL de instalar drivers de NVIDIA, TensorFlow y PyTorch en Ubuntu 22.04 LTS!
¿Cómo instalar Ubuntu 22.04?
มุมมอง 91410 หลายเดือนก่อน
¿Cómo instalar Ubuntu 22.04?
Dr. Carlos Alberto Escobar Díaz: Going the Distance! | Pláticas Plug & Play # 4
มุมมอง 41510 หลายเดือนก่อน
Dr. Carlos Alberto Escobar Díaz: Going the Distance! | Pláticas Plug & Play # 4
5 cosas que tienes que saber de los diccionarios de Python | Python is Cool!
มุมมอง 26310 หลายเดือนก่อน
5 cosas que tienes que saber de los diccionarios de Python | Python is Cool!
Ing. Sandra Román: Pasantías/Ing. de Software/Consejos para Entrevistas | Pláticas Plug & Play # 3
มุมมอง 51610 หลายเดือนก่อน
Ing. Sandra Román: Pasantías/Ing. de Software/Consejos para Entrevistas | Pláticas Plug & Play # 3
5 cosas que tienes que saber de las listas de Python | Python is Coll!
มุมมอง 35310 หลายเดือนก่อน
5 cosas que tienes que saber de las listas de Python | Python is Coll!
MSc. Rafael Espinosa: Las matemáticas en la era de IA | Pláticas Plug & Play # 2
มุมมอง 62910 หลายเดือนก่อน
MSc. Rafael Espinosa: Las matemáticas en la era de IA | Pláticas Plug & Play # 2
Dr. Rick Swenson: El rol de IA en la Ingeniería y Educación | Pláticas Plug & Play #1
มุมมอง 69311 หลายเดือนก่อน
Dr. Rick Swenson: El rol de IA en la Ingeniería y Educación | Pláticas Plug & Play #1
I'm back!
มุมมอง 44311 หลายเดือนก่อน
I'm back!
Breadth First Search en Python
มุมมอง 1.1Kปีที่แล้ว
Breadth First Search en Python

ความคิดเห็น

  • @julio2918
    @julio2918 16 ชั่วโมงที่ผ่านมา

    Excelente canal.

  • @juanagabrielalopez4895
    @juanagabrielalopez4895 2 วันที่ผ่านมา

    Excelente vídeo, la explicación está muy completa, gracias!

  • @juantapia8056
    @juantapia8056 4 วันที่ผ่านมา

    chester benington enseñando programacion

  • @goacq7022
    @goacq7022 6 วันที่ผ่านมา

    Es usted todo un maestro!!!. Gracias por compartir sus conocimientos.

  • @JoelPasapera
    @JoelPasapera 8 วันที่ผ่านมา

    Muy interesanteee, podrias hacer un modelo para reconocer patrones repetitivos de una tabla ? Estoy haciendo un proyecto para encontrar patrones repetitivos del oro, con columnas: fecha,hora,precio de apertura,precio maximo, precio minimo, precio de cierre,volatilidad en pips . Lo que quiero es encontrar patrones repetitivos y hacerlo con pytorch, podrias hacer un video con al menos una idea general o similar para guiarme ?

  • @juanlangley8271
    @juanlangley8271 12 วันที่ผ่านมา

    Muy buena e interesante tu serie de videos!! Estoy explorando el análisis de series de tiempo con transformers, es un mundo apasionante, estaría bueno ver tu punto de vista del tema, time2vec, autoformers, informers, iformers, timesnet, etc..

  • @dafmdev
    @dafmdev 12 วันที่ผ่านมา

    Una duda porque no se usa torch.sqrt o torch.log en vez de math.sqrt y math.log?

  • @migue9450
    @migue9450 13 วันที่ผ่านมา

    Eso fue fascinante!

  • @gustavoderganelias3529
    @gustavoderganelias3529 13 วันที่ผ่านมา

    Excelente eres un crack!

  • @reynaldopereira7613
    @reynaldopereira7613 14 วันที่ผ่านมา

    genial

  • @reinerromero7265
    @reinerromero7265 14 วันที่ผ่านมา

    😃😃 muchas gracias

  • @gustavojuantorena
    @gustavojuantorena 14 วันที่ผ่านมา

    Excelente serie de videos!! Gracias

  • @karne_tv
    @karne_tv 15 วันที่ผ่านมา

    Una rtx a6000 y no pudiste meterla en un gabinete decente ?

  • @PaoloReyes
    @PaoloReyes 16 วันที่ผ่านมา

    39:18 Y aqui hace sentido el optimizer.zero_grad()

  • @LuisMorales-bc7ro
    @LuisMorales-bc7ro 16 วันที่ผ่านมา

    Muy buen contenido Pepe! Como comentario: estaria cool que agregaras una liga a un notebook en collab para poder partir del codigo que tienes Saludos!

  • @joseleonardosanchezvasquez1514
    @joseleonardosanchezvasquez1514 17 วันที่ผ่านมา

    Gracias, todo super

  • @dafmdev
    @dafmdev 17 วันที่ผ่านมา

    Donde me uno para apoyar con dinero a este buen hombre. Algún Patreon? Por favor no dejes de hacer videos

  • @mauriciolugo6239
    @mauriciolugo6239 17 วันที่ผ่านมา

    genialllll ... muy buen video

  • @jhonkevinfloresrojas3848
    @jhonkevinfloresrojas3848 17 วันที่ผ่านมา

    Es hermoso, al fin yt me recomendó algo relevante.

  • @fuisljhfkjhwqlhje2
    @fuisljhfkjhwqlhje2 18 วันที่ผ่านมา

    Gracias. Gran explicación

  • @1LeoVaz
    @1LeoVaz 19 วันที่ผ่านมา

    pedazo de contenido para ES 💥👏

  • @reinerromero7265
    @reinerromero7265 20 วันที่ผ่านมา

    😄 Nos ha desafiado a todos !! ... Excelente trabajo, felicitaciones y muchísismas gracias.

  • @erickson135
    @erickson135 20 วันที่ผ่านมา

    woooh! que perla de información, muchas gracias

  • @gama3181
    @gama3181 21 วันที่ผ่านมา

    y como obtenemos los embeddings de x capa del modelo ?

  • @IATotal
    @IATotal 21 วันที่ผ่านมา

    Gracias! excelentes videos!

  • @carlosdanielojeda3016
    @carlosdanielojeda3016 21 วันที่ผ่านมา

    Mi ídolo Andrew y tu bro

  • @carlosdanielojeda3016
    @carlosdanielojeda3016 21 วันที่ผ่านมา

    Está pequeña parte de mi vida se llama felicidad

  • @carlosdanielojeda3016
    @carlosdanielojeda3016 21 วันที่ผ่านมา

    Si quisiera ayuda o algunas clases para un problema específico como podría contactarte,bro , tus clases son muy excelentes

  • @reynaldopereira7613
    @reynaldopereira7613 21 วันที่ผ่านมา

    es el dia 😍😍

  • @GozLoz-j8i
    @GozLoz-j8i 21 วันที่ผ่านมา

    Llego el dia

  • @fabio336ful
    @fabio336ful 21 วันที่ผ่านมา

    El video más esperadooooooooo 🎉

  • @SebastianMingo
    @SebastianMingo 22 วันที่ผ่านมา

    Excelente explicación, muchas gracias, me están ayudando mucho tus videos, saludos!

  • @ElCluadio
    @ElCluadio 22 วันที่ผ่านมา

    Esperando el próximo video 🎉

  • @LuisMorales-bc7ro
    @LuisMorales-bc7ro 23 วันที่ผ่านมา

    Gracias por compartir!!

  • @angeltena8294
    @angeltena8294 24 วันที่ผ่านมา

    Me ha encantado el análisis tan detallado del paper, gran trabajo, enhorabuena.

    • @PepeCantoralPhD
      @PepeCantoralPhD 22 วันที่ผ่านมา

      Muchas gracias! Saludos

  • @LeonardoEnriqueMorenoFlores
    @LeonardoEnriqueMorenoFlores 26 วันที่ผ่านมา

    Utilice la función del más similar con una distancia del coseno > 0.25 para la palabra "natural" y me encontró "procesamiento, pytorch, herramienta, lenguaje, rama, subcategoría"

    • @PepeCantoralPhD
      @PepeCantoralPhD 22 วันที่ผ่านมา

      Qué gusto Leonardo! Muchas gracias por tu comentario, depende del dataset de entrenamiento pero es muy interesante que muestra las relaciones de natural con procesamiento de lenguaje. Muchos saludos

  • @LeonardoEnriqueMorenoFlores
    @LeonardoEnriqueMorenoFlores 26 วันที่ผ่านมา

    Una consulta cuales otras técnicas de creación de embeddings recomendarías estudiar?

  • @LeonardoEnriqueMorenoFlores
    @LeonardoEnriqueMorenoFlores 26 วันที่ผ่านมา

    Hola Pepe una consulta en la función los más similares estoy utilizando para la distancia del coseno un valor mayor 0.5 cuál sería el valor apropiado?

  • @elviomariocortez4941
    @elviomariocortez4941 27 วันที่ผ่านมา

    Excelente video. Muchas gracias por compartir conocimiento

  • @lautar
    @lautar 28 วันที่ผ่านมา

    Gracias por estos videos Pepe, se agradece mucho tener estos contenidos en español. Los transformers que tengo integrados en el cerebro y que me traducen las cosas del inglés se me agotan después de largas horas de exposición. Esto es un bálsamo.

  • @reynaldopereira7613
    @reynaldopereira7613 หลายเดือนก่อน

    si que si por fin se viene lo shido🤩🤩🤩

  • @rjameslower
    @rjameslower หลายเดือนก่อน

    Te aventarias currying vs partial?

  • @rjameslower
    @rjameslower หลายเดือนก่อน

    Se que es de otro lenguaje, pero cual sería la diferencia entre el decorator de python y un Middleware en js

  • @mauriciolugo6239
    @mauriciolugo6239 หลายเดือนก่อน

    Muy buena explicación

  • @LeonardoEnriqueMorenoFlores
    @LeonardoEnriqueMorenoFlores หลายเดือนก่อน

    Muchas gracias, Pepe. Excelente video como siempre.

  • @LeonardoEnriqueMorenoFlores
    @LeonardoEnriqueMorenoFlores หลายเดือนก่อน

    Muchas gracias, Pepe y como siempre es una excelente clase. Y una consulta al ser red full conected, se puede usar RElu y BatchNormalization? muchas gracias.

  • @IATotal
    @IATotal หลายเดือนก่อน

    Excelentes videos!, hay que cuidar un poco sin embargo la parte del audio, un abrazo

  • @christianespana1
    @christianespana1 หลายเดือนก่อน

    Excelente contenido. Muchas gracias ❤

  • @CzIsaac
    @CzIsaac หลายเดือนก่อน

    Woow! Había estado trantando de entender el positional encoding y atención desde hace buen tiempo, tu explicación es bastante clara y rápida. Muchas gracias por el tiempo que le dedicas a explicar estos temas, se nota tu pasión e interés por compartir este conocimiento. Muchas gracias!!!!!

  • @fabio336ful
    @fabio336ful หลายเดือนก่อน

    Muchas gracias por la explicación, primera vez que entiendo el funcionamiento del transformer. Tu energía y pasión se transmite y se hace ameno ver todo el contenido.