ฝัง
- เผยแพร่เมื่อ 5 ก.ย. 2024
- Chào các bạn, hôm nay chúng ta sẽ cùng tìm hiểu về mạng Transformer, một món SOTA trong làng xử lý ngôn ngữ tự nhiên. Nó rất hay nhưng kiến trúc cũng khá trừu tượng với phương châm "Attention is all we need" (ta chỉ cần Attention là đủ)
Trong video này, chúng tôi sẽ giới thiệu và giải thích khái niệm về Transformer - một trong những kiến trúc quan trọng nhất trong lĩnh vực xử lý ngôn ngữ tự nhiên và dịch máy.
Transformer đã tạo ra sự bứt phá đáng kể trong lĩnh vực dịch máy và xử lý ngôn ngữ tự nhiên. Nó đã trở thành cơ sở cho nhiều mô hình thành công như BERT, GPT và Transformer-XL. Tuy nhiên, đôi khi hiểu và nhớ các khái niệm của Transformer có thể gặp khó khăn.
Trong video này, chúng tôi sẽ giải thích kiến trúc và cách hoạt động của Transformer một cách đơn giản và dễ hiểu. Chúng tôi sẽ sử dụng những ví dụ và hình ảnh minh họa để truyền tải các khái niệm một cách trực quan. Bạn sẽ hiểu được các thành phần chính của Transformer như self-attention, encoder, decoder và các khối mã hóa và giải mã.
Video này phù hợp cho những người muốn tìm hiểu về Transformer một cách đơn giản và nhớ lâu. Bạn không cần có kiến thức sâu về toán học hay xử lý ngôn ngữ tự nhiên để theo kịp nội dung của video.
Đừng quên like, comment và đăng ký kênh để không bỏ lỡ các video hữu ích khác trong lĩnh vực trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên. Cùng chúng tôi tìm hiểu và nhớ lâu kiến thức về Transformer một cách dễ dàng và thú vị với "Mì Transformer"!
Link file slide: j.gs/GSjl
Link paper gốc: arxiv.org/abs/...
Xin chào các bạn, rất vui vì các bạn đã ghé thăm vlog Mì AI của tôi!
Hãy join cùng cộng đồng Mì AI nhé!
🎯🎯🎯#MìAI
Fanpage: / miaiblog
Group trao đổi, chia sẻ: / miaigroup
Website: miai.vn
TH-cam: / miaiblog
Sau 03 lần đầu bỏ cuộc với AI vì nản, tôi quyết định rằng mình không thể học theo cách tu luyện toán, lý thuyết suông vì quá là nản. Tôi chọn cách ngược lại, đề ra bài toán trong thực tế, làm đến đâu, cần lý thuyết tôi sẽ đọc lại. Có cái đích đến rõ là học dễ hơn và đỡ nản hơn.
Và thêm nữa, khi lướt quanh các diễn đàn thì có rất nhiều người giống tôi, cũng đang kêu trời với đống toán và rất rất nản. Với mong muốn chia sẻ chút kinh nghiệm học AI theo cách của mình nên vlog này ra đời.
Mong cả nhà ủng hộ và góp ý chân thành cho tôi!
#MìAI
Fanpage: / miaiblog
Group trao đổi, chia sẻ: / miaigroup
Website: miai.vn
TH-cam: / miaiblog
Mong cả nhà ủng hộ và góp ý chân thành cho tôi!
#MìAI
Fanpage: facebook.com/miaiblog
Group trao đổi, chia sẻ: facebook.com/groups/miaig...
Website: miai.vn
TH-cam: th-cam.com/users/MiAIblog
Video hay quá ạ ^^ thanks a
Cảm ơn bác Thắng. Video giải thích rất dễ hiểu.
Cảm ơn bạn. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
em cảm ơn anh Mì, nhờ a mà việc tiếp cận các thuật toán thật sự tự nhiên ạ, chúc anh và gia đình nhiều sức khỏe
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Cảm ơn Mì AI nhiều ạ, một clip rất dễ hiểu.
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Em cũng là 1 người học theo trải nghiệm và muốn giải thích mọi thử theo cảm quan của 1 người bình thường để dể thấu hiểu về các thuật toán , bài của a thực sự rất hay
Mong một ngày nào đó có thể cùng anh làm việc :).
Cảm ơn em rất rất nhiều. Hi vọng trên đường đời anh em ta được làm cùng nhau :D
Xin bổ xung ngay chổ gom kết quả từ các head lại trước khi đưa qua Decoder, phần này tổng hợp các z đầu ra của các head sau khi chạy xong multihead, đó là nó dùng 1 ma trận trọng số để gom các head lại với nhau chứ không phải tính trung bình.
Nguyên bản trong bài Attention is all you need nó thế này:
MultiHead(Q; K; V ) = Concat(head1; :::; headh)WO where headi = Attention(QWiQ; KWiK; V WiV )
Cảm ơn bạn. Mình sẽ bổ sung vào note vì ko quay lại được video!
Anh cho em xin tài liệu phần decoder với.
Cảm ơn Mì AI nhiều
Yeah. Cảm ơn rất nhiều và mong nhận được góp ý của các bạn để video sau sẽ tốt hơn :D
Cảm ơn anh nhiều ạ.
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Cảm ơn anh nhiều, bữa em hỏi Longformer á mà chắc anh tưởng Transformer.
Hi vọng anh tạo ra nhiều clip dễ hiểu và bổ ích như này ạ.
Mà hình như mấy bữa nay anh sụt sịt, mong anh giữ sức khỏe.
Không em. Longformer của em anh nhớ mà. Nhưng mà anh đi từ base lên cho chắc :D
Cảm ơn em nhé, anh đỡ hơn rồi!
cảm ơn a đã làm video giải thích chi tiết ạ!
Thanks em. Cần thêm gì post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Cảm ơn AD nhiều ạ
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Rất hay và dễ hiểu ạ. Cảm ơn anh. 💚
Cảm ơn bạn rất nhiều vì luôn ủng hộ nhé :D
Nhân tiện về transfomer này, anh làm thêm 1 video về cái google bert đi anh 💚, rất mong chờ từng video của anh.
anh có thể làm thêm về hướng dẫn mã code cho mỗi mô hình mạng thần kinh không anh , em tự học và biết được kha khá kiến trúc mô hình deep learning em đang cần luyện code để củng cố kiến thức . Mong anh có thể ra nhiều video code hơn
Okie em. Anh sẽ bố trí nhé. Cảm ơn em ủng hộ nha!
hay a ơi . em cảm ơn
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Anh có làm 1 seri về Rasa, nào anh làm về Rasa liên kết với các mô hình ngôn ngữ đi ạ (ví dụ như Transformer hay PhoBert chẳng hạn ấy ạ)
Yeah. Để anh bố trí nha!
Thanks a, bài giảng rất dễ hiểu. Cho em hỏi là đã có video về BERT chưa ạ
Đợt này anh bận quá. Anh sẽ cố bố trí.
dễ hiểu .thanks anh. hôm nào anh có thể làm 1 bài về CRAFT (Character Region Awareness for Text Detection) không ạ . Vì em thấy ứng dụng cũng khá nhiều. em cảm ơn và chúc kênh của anh ngày càng phát triển ạ
Thanks em. Anh sẽ bố trí ra sớm nha!
Hay quá Anh, đúng cái đang cần :)
Thanks em . Giúp được em là vui nhất :D
Nhờ anh hướng dẫn Bert luôn ạ.
Đây em
www.google.com/search?q=miai+bert&rlz=1C1GCEU_enVN910VN910&oq=miai+bert&aqs=chrome..69i57j69i64.1455j0j1&sourceid=chrome&ie=UTF-8
Hay quá anh ơi.
Cảm ơn em nha!
Fanpage: facebook.com/miaiblog
Group: facebook.com/groups/miaigroup
Website: miai.vn
TH-cam: bit.ly/miaiyoutube
Thanks
Welcome bạn!
Em thấy nhiều câu hỏi trên mạng về mục đích của Feedforward neuron network, nhưng không giải thích kỹ, anh có thể làm 1 bài về FNN trong transformer để hiểu kỹ hơn được k ạ, em cảm ơn anh!
Okie em. Hẹn em vào các bài sau nhé!
Cảm ơn anh ạ
Welcome em nha!
Cảm ơn Mì AI vì bài dễ hiểu này. Ad có thể cung cấp thêm các trang reference được dùng trong bài để thêm khảo thêm được không ạ? Vì cần các file hình ảnh để note lại khi theo dõi bài. Cảm ơn Ad nhiều.
OK bạn. Mình sẽ bổ sung vào phần mô tả nhé!
Đúng cái em đang tìm hiểu anh ơi, thanks anh. Theo anh model này nếu áp dụng vào mô hình classification sequence input liệu có ổn không?
Ổn luôn em!
Tks Mì, nhưng mình thấy anh nói chưa ngắn gọn dễ hiểu cho lắm, đặc biết đến đoạn có cái câu: Đoạn nhầm chút" là mình drop luôn vì loạn với khó hiểu quá
Thanks bạn. Mình sẽ cố gắng lần sau nhé.
Cho em hỏi là cái anh giải thích là quá trình train hay sử dụng mạng vậy ạ. Ví dụ em đã train đc ra file .h hoặc .pth thì đầu vào encoder của em là câu hỏi thì decoder lấy đâu ra câu trả lời có sẵn để masking ạ. Nó dự đoán ra cầu trả lời mà.
Em post lên facebook.com/groups/miaigroup để anh gửi thêm info cho tiện nhé! Trên này ko cho đính kèm gì :(
hay lam nha
Yeah cảm ơn bạn nha :D
Mà từ start là từ khởi tạo lấy bất kì hay nó là từ gì z ạ
Anh chưa hiểu ý em. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi cho tiện nhé!
anh ơi slide này mình còn không ạ , em ấn vào link nhưng không tìm thấy ạ
Em vào phần mô tả của video có link tải đó. nếu chưa biết cách tải từ link đó thì em xem video này: th-cam.com/video/BTs2KU0E8dY/w-d-xo.html&embeds_referring_euri=https%3A%2F%2Fmiai.vn%2F&source_ve_path=OTY3MTQ&feature=emb_imp_woyt
anh ơi sao con bot của em kh gửi tin nhắn được vậy ạ?
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh chụp xem nhé!
dạ cho em hỏi video về bert ở đâu vậy ạ
Em tham khảo qua link này trước nhé : www.miai.vn/2020/12/29/bert-series-chuong-3-thu-nhan-dien-cam-xuc-van-ban-tieng-viet-voi-phobert-cach-1/
Trời, nguyên phần sau em soạn chi tiết post lên cho anh bị anh xóa mất tiêu luôn rồi. Em correct anh phần multiheads anh hiểu sai mất tiêu rồi. Làm vậy những người sau làm theo sai hết trơn
A không xoá gì em nhé! Em cứ bình tĩnh.
a làm mô hình chatgpt đi ạ
Có luôn rồi em. th-cam.com/video/GFkQlFJQFK0/w-d-xo.html
@ e hỏi cách chatgpt hoạt động chứ ko phải cách sử dụng ak
@@mykun8737 À cái đó thì anh chưa tìm hiểu. Đợi nhé!
Anh cho e xin Slide được không ạ. Em không vào đc link Slide. Em cảm ơn a ạ
A đã sửa link rồi nhé. Thanks em!
Anh ơi cho em xin slide với ạ! Link kia em down về là file exe
Ủa em tải link nào mà ra file exe?